おちゃめくらぶ掲示板 - 1659321896

768：御茶目菜子：2011/10/25(火) 15:30:40: 果たしてライトフィールドカメラは将来的に普及するのか？
Lytro社がライトフィールドカメラを2012年に発売すると発表したにょ。
http://dc.watch.impress.co.jp/docs/news/20111020_484997.html
すでに今年の6月に製品のサンプルが公開されていたけど発売はまだ先（数年後）かと
思っていたら意外に早かったにょ。
ライトフィールドカメラというのは何かというと全体の光線を記録するカメラにょ。
これによってピントという概念が無くなるにょ。
実際にどのようなものかというと下記のサンプルページで確かめられるにょ。
https://www.lytro.com/living-pictures
撮影後なのに任意の1点にピントを合わせることができ撮影中にピント合わせをする必要性が
ないことが分かると思うにょ。

今市場で売られているカメラのほぼ100％はカメラオブスキュラを原型としたものにょ。
カメラオブスキュラはピンホールもしくはレンズを通して外の風景などを投影する装置
なのだけど当初は記録する媒体がないため専ら絵を描くための道具として使われて
きたにょ。
そして、光によって硬化する銀板が作られそしてフィルムが作られ一般的に良く知られて
いるカメラというものになったにょ。
デジカメはそのフィルムカメラにおいてフィルムの変わりにCCD（またはCMOS）センサーを
用いているにすぎないにょ。
もちろんセンサーには直接記録はできないので別途記録媒体が必要になるけどね。
しかし、デジカメのカメラとしての基本原理はフィルムがセンサーに変わったこと以外は
フィルムカメラと何ら変わりはないにょ。
そのため技術革新によって価格面と性能面の向上によってデジカメは広く浸透したにょ。
デジカメはデジタル記録であるためPCなどとの親和性が高く液晶モニタさえあれば撮った
写真を何度でもその場で閲覧も可能だし、豆粒サイズの小さなセンサーでもそれなりの
画質で撮影できるため小型化も容易でありケータイなどにも内蔵できるようになった
ということも普及に大きく貢献していると思われるにょ。

では、ライトフィールドカメラとはどんなものなのかというと詳しくは下記のサイトでの
説明を見れば分かるにょ。
http://ednjapan.cancom-j.com/issue/2010/11/76/7451
要するに普通のカメラがレンズから入った光の量を積分で記録しているのに対してライト
フィールドカメラは光線を記録しているということにょ。
誤解を恐れずに言うならば3次元情報を2次元情報として記録するのが普通のカメラで
4次元情報を3次元情報として記録するのがライトフィールドカメラとなるにょ。（正確に
言えば3次元情報を直接記録しているのではなく後述のように2次元記録されている情報
から3次元情報を生成しているのだけど）
ただ、ここで問題になるのはどうやって光線を記録しているかということにょ。
実は原理としては実は非常にシンプルで視差の異なる映像を無数に用意してそれを合成
しているというだけのことにょ。

その無数の映像を撮影する方法にはいくつかあるにょ。
http://ednjapan.cancom-j.com/issue/2010/11/76/7451/3
主な方法は下記の2つにょ。

　(1)多視点撮影
　(2)センサー面上で光線分割

(1)はもっともシンプルで簡単にょ。
これは「カメラアレイ」と呼ばれ要するにたくさんのカメラを平面上に敷き詰めてそれを
同時に撮影すればいいだけにょ。
とはいえ、サイズが大きくなりすぎるし、同時に撮影というのは簡単な話ではなくこれを
実際に行うには至難の業にょ。
これはレールの上を移動させて少しずつずらした映像を撮影するという「移動カメラ」も
1つの方法だけど今度は静止画専用となってくるにょ。
またカメラを多数用意するカメラアレイではなく複眼レンズ（レンズアレイ）を装着して
それで多視点撮影するという方法もあるけどこの場合にはズームが困難になったり
画像の解像度が低下するという問題もあるにょ。

さて、ここまで書いたところで気づくかもしれないけどこれは3D立体視撮影の考えに非常に
似ているにょ。
それもそのはず3Dカメラは2視点なのに対してライトフィールドカメラというのは多視点
カメラだからね。
3D立体視においてはカメラアレイは2台のカメラを横に並べて同時撮影すればいいけど
それを1台のカメラで行うのが昨今の3Dカメラにょ。（センサーとレンズは2台分が筐体に
入っている）
移動カメラは昨今の単眼式で3D静止画が取れるデジカメのように2視点であればレールが
なくても手動でずらしても補正によって実用レベルになるにょ。
またレンズアレイも銀塩一眼レフ用のユニットとしてPENTAXが発売していたようなアタッチ
メント式のものだけではなくPanasonincが発売しているような専用の3Dレンズもあるにょ。
http://dc.watch.impress.co.jp/docs/news/20100921_394217.html
この3Dレンズは原理的にはセンサー上の2点に焦点があるステレオカメラを1つのレンズで
作っているだけであり、センサーの大半は未使用になってしまうため解像の面では
非常に無駄が多いにょ。

ライトフィールドカメラで現実的なのが(2)の方法だけどその中でもマイクロレンズ
アレイを用いたものが本命だと思われるにょ。
一般にマイクロレンズといえばセンサー上の1画素ごとに付けられた微細レンズのことを
示すことが多いにょ。
というのもデジカメで古くから使われてきたCCDセンサーはフォトダイオードの周囲に
格子状の配線が必要になってくるため例えるならば井戸の底に光を導くような作業に
なってしまうにょ。
これがレンズから入った光が平行にセンサーに当たるのならば何ら問題はないのだけど
実際は1点に集まる必要があるためレンズの周囲ほど平行ではなく角度が急になってきて
しまうにょ。
これは10月6日に書いたようにフランジバックの影響が大きいにょ。
フランジバックが短ければ短いほど周辺部の入射角は小さくなるからね。
その結果、十分にセンサーに光が届かず周辺部の画質が悪くなってしまうにょ。
そのデジカメの弱点を補うために用意されているのがそのマイクロレンズにょ。

ただし、ライトフィールドカメラのマイクロレンズアレイはセンサーに直付けされている
マイクロレンズのような1対1ではなく1対多になっているにょ。
簡単にいえば上記のレンズアレイと同じものをカメラ内部で実現しているのがこの
マイクロレンズアレイとなるにょ。
では、このマイクロレンズアレイを通してどのように記録されているのかということは
昨年AdobeとnVidiaが発表した映像を見るのが分かりやすいと思うにょ。
http://japanese.engadget.com/2010/09/23/adobe/

マイクロレンズを通して得られる映像というのは1つ当たりの情報量はわずかでしかないと
いうのが上記映像からもはっきり分かると思うにょ。
したがって、それらを演算によって合成させるということが必要不可欠となるにょ。
それは非常に高い演算性能が必要であるためリアルタイム処理を行うならばCUDAが必要に
なってくるというわけにょ。
ライトフィールドカメラは多視点で撮影した断片的な映像を元に深度情報を演算で求めて
いくわけだけど深度情報があるという時点で3D立体視用の写真も用意に実現できるだけで
なくその深度情報を元にボケ量のコントロールも自在にできてしまうというのが最大の
メリットといえるにょ。

通常のカメラは1点（正確には1面）にしかピントを合わせることはできないにょ。
ピントがずれたところはボケとなっているにょ。
昨今はそのボケを活かしたのも写真撮影の醍醐味となっているわけだけど意図的に作った
ボケとメインとなる被写体がボケている写真（＝ピンぼけ写真）とは全く異なるにょ。
当然ながら深度情報のない普通のカメラではそういったピンボケ写真を後から何とかする
ということはできないにょ。（レタッチである程度は復元できるけどたかが知れてる）
ただし、このピントが合う1面というのもレンズの焦点距離と明るさ、被写体までの距離に
よってはボケているようには見えないという許容ラインが存在するにょ。
それが被写界深度にょ。
望遠レンズで絞り開放で撮影したりマクロ撮影をすればその被写界深度はわずかしかない
ものの広角レンズで数m先にピントを合わせてある程度絞って撮影すれば見た目は画面上
すべてにピントがあったいわゆるパンフォーカスの状態にできるにょ。
使い捨てカメラやトイデジカメなどはこれによってピント合わせ不要にしているにょ。

深度情報を演算で求められるライトフィールドカメラの場合は任意の1点（1面）に後から
ピント合わせができるだけではなく演算によってパンフォーカス写真を作り出すことさえ
可能になるにょ。
深度情報があるためミニチュア写真も演算によって作り出せるにょ。
ミニチュア写真は本来であればシフトレンズが必要になるにょ。
光軸をずらすことで絞りを変えずに被写界深度を変えられるため俯瞰撮影で被写界深度を
浅くすればミニチュアっぽく見えてしまうわけにょ。（絞り開放でパンフォーカスも
可能になる）
ライトフィールドカメラの場合は多数の光軸が記録されているためシフトレンズの必要性も
無くなってしまうにょ。

では、ライトフィールドカメラにはメリットしかないかというとそんなこともないにょ。
マイクロレンズアレイによるライトフィールドカメラの場合は筐体サイズこそあまり
問題にはならないけど一般的なカメラと比べてどうしても解像感で劣ってしまうにょ。
今回Lytro社が発表したライトフィールドカメラはセンサーの画素数も記録画素数も全く
公表されてないけど使用しているのがCCDセンサーやCMOSセンサーである以上はある程度
予想ができるにょ。
16GBモデルで750枚撮影できるということはRAWデータ1枚当たりのサイズは約21MBになって
いるにょ。
これが12bit記録、非圧縮であるならば逆算すれば1400万画素になるにょ。
いくつのマイクロレンズアレイで構成されているかも分からないけど記録できるのが
1100万本と発表されているけど正方形に内接する円の面積は面積比で79％であり、1400万
画素のうち79％が有効活用できるとすれば1100万が有効画素数になり、1画素＝1光軸に
なっているといえそうにょ。

問題は1つのアレイが何画素で構成されて何個のアレイになっているのかということだけど
アレイ数が多ければ多いほど深度情報は正確になっていくけど解像感がどんどん薄れて
いってしまうという問題があるにょ。（アレイ数が多くてもあまりに構成画素数が少ないと
情報量不足で正確な深度を求めるのが困難になってしまうためバランスも重要）
すでに他社が発売しているライトフィールドカメラを見てもセンサーの画素数の1/3～1/5
程度が最大出力画素数となっていることからその程度が現時点では限界なのではないかと
思われるにょ。
Lytro社が用意しているサンプル画像は540x540pixelとなっており、約29万画素となって
いるにょ。
1400万画素のセンサーを使っていると予想されるためそのセンサーのわずか1/48の画素数
でしかないにょ。

出力画素数を上げると処理に時間がかかってしまうためその画素数を落としているという
ことがまずは大きな理由だと思われるにょ。
CUDAを使わないと処理しきれないものがカメラ単体で見れるというのは考えにくいからね。
それにライトフィールドカメラの場合は光軸を正確に記録するためにはレンズは収差のない
理想的なものが求められ手ぶれの無い撮影技術（もしくは完璧な手ぶれ補正技術）が求め
られるにょ。
しかし、そのためには非常にコストがかかってしまうため出力する画素数を落として許容
ラインを下げているのではないかと思われるにょ。
そのためサンプルは等倍鑑賞で十分にキレイに見えているにょ。

Lytro社は一般的なデジカメの置き換えをするものとは考えて無さそうにょ。
デジカメはデジタル記録ということでPCなどの画面上で見る機会が多いものの依然として
プリントの需要も大きいからね。
しかし、他社のライトフィールドカメラを見てもフルサイズセンサーを採用しても最大
出力が300万画素程度しかなくコンデジ用のセンサーだと100万画素程度にょ。
そのためWeb上やタブレット端末での閲覧に焦点を絞ることで価格を下げることにした
と考えられるにょ。

これはQV-10発売当時を彷彿させるものにょ。
QV-10は最初のデジカメではないのだけど安価で登場し、安価にもかかわらず必要十分な
内蔵フラッシュメモリとその場で確認できる液晶モニタを搭載したことがヒットとなり
デジカメの普及に大きく貢献したにょ。
それ以降のデジカメの進化はここであえて書くまでもないと思うにょ。
今までは産業用の高価なライトフィールドカメラだけどLytro社は399ドルからという
（ライトフィールドカメラとしては）低価格な製品を発表することで他社からも
コンシューマ向けのライトフィールドカメラが登場する可能性が出てくるにょ。

ただし、QV-10の時はデジカメというものが世間で知られてない時代であり、それ自体が
新鮮であったことやそれ以降の大きな進化（センサー性能、画素数の向上や記録メディアの
低価格化など）があったため普及をしたにょ。（今となってはコンデジでさえフィルム
時代のコンパクトカメラを追い越し、一眼レフにおいては解像感も高感度画質も完全に
フィルムカメラを凌駕しているといってもいい）
それに対してライトフィールドカメラは原理的に出力画素数の高画素化が難しいという
ことがすでに難点となっているにょ。
つまり、低画素でも撮影時のピント合わせ不要ということを魅力として販売していく必要が
あり、これはQV-10登場時よりもかなりハードルが高くなっているといえるにょ。
しかし、3D液晶搭載の高速CPU搭載のやタブレット端末が普及すれば閲覧環境は広がるため
高画素不要層に受け入れられるのではないかと思うにょ。
2眼の3Dカメラを普及させるよりはずっとハードルは低いためピント合わせの問題だけでは
なくて3Dへの重要度が高まれば普及の可能性はより高くなると思うにょ。
とはいえ、現時点ではかなり厳しそうな感じにょ。