裸眼3Dディスプレイの仕組み5
裸眼3Dディスプレイの本質は、空間中を伝播する光の再生である、というのが前回の話。ところで、そもそもそのデータはどうやって取得するのか？っていうのが今回の話。
空間中を伝播する光を取り込む装置
前回あげた裸眼3Dディスプレイの2つのポイントのうち、2つめのポイントについてもう少し考えてみる。
前回説明したように、裸眼3Dディスプレイは空間中を伝播する光を、光が向かう方向まで区別して再生する装置である。で、それを実行しようと思ったら、まずその光をデータとして記録しておかないといけない。これを実現するには、カメラは裸眼3Dディスプレイの逆のプロセスだ 、ということを利用すれば良い。
インテグラル方式を例にすると、画素（複数画素＋レンズの1セット）が方向ごとに違う光を放っているということが、そのままカメラの逆プロセスだ。ということは、カメラで撮った画像を、そのまま画素（複数画素＋レンズの1セット）から再生してやればいいわけだ。つまり、インテグラル方式の画素数のぶんだけカメラをずらーっとならべて一気に撮影してやれば、空間中の光の情報を全部記録してやることができる。
東芝のグラスレス3Dレグザを例にすると、あれは1視点あたりの画素数が1280x720なので、カメラを1280x720台並べてやれば、必要なデータを取得できる。…が、そんなにたくさんのカメラを実際に用意するのは大変。なので、カメラの数を間引いてやる、という方法が考えられる。足りないカメラの分は、取得した画像から計算によって補完することである程度埋めることができる。
グラスレス3Dレグザでは、2D映像やメガネ式3D用の3D映像から演算によって9視点ぶんの画像を生成している。2D映像はカメラ1台ぶんのデータ。メガネ式3D用の3D映像は、カメラ2台ぶんのデータとみなせる。これらから奥行き推定などの計算を行って、空間中を伝播するの光のデータを補完し、最終的に9視点ぶんのデータを生成している。
データ取得のもうひとつの方法
しかし、補完できるといってもそこはやっぱり完璧に正しく補完できるわけではないので、誤差や補完エラーなんかも起こる可能性があって、立体映像としての画質を損なう恐れがある。カメラを増やせば精度も上がるが、カメラをたくさん使うのは大変である。
そこで、もうひとつの方法として、カメラの撮像素子の画素の前に小さなレンズをたくさん並べたものを置いて、その状態で画像を撮影する、という方法がある。インテグラル方式のディスプレイの仕組みをそのまま逆にしたようなイメージだ。撮像素子上の複数の画素をひとまとめにして、その前に小さなレンズを置く。まとめる画素の数は視点数に相当し、レンズの数は解像度に相当する。例えば、グラスレス3Dレグザ用のデータを取得したいなら、水平9画素をひとまとめにしてその前にレンズを置き、それをを1280x720セット作ってやれば、必要なデータが取得するカメラができる*1。
この方法だと、普通の2D用のカメラに、小さなレンズの集まり（レンズアレイ）を追加するだけで実現できるし、取得したデータも普通の画像データとして扱うことができるので簡単だ*2。
このようなカメラはPlenoptic cameraと呼ばれている。
ちなみに、Plenoptic cameraを使った応用例としては、こういうものもある。
動画：Adobe、撮影後に再フォーカスできる複眼レンズ撮影をデモ - Engadget 日本版
これは、空間中を伝播する光（光線）の情報を全てデータとして記録したものから、特定の位置・方向の光線データだけを切り出してくる、という処理を行っているものと考えられる。空間中に、ある距離に焦点をあわせた状態のカメラを想定して、そのカメラが受け取る光線データを、空間全体の光線データの中から切り出して画像化する、という処理。想定するカメラの焦点距離とか、フォーカス位置とかのパラメータを変えて、それに応じた光線データを切り出してくるようにすれば、任意の位置にフォーカスを合わせた画像や、任意のズームを行った画像などが、撮影を終えた後から自由に再現できるわけだ。
まとめ
裸眼3Dディスプレイ用の映像を取得する方法について説明してみた。空間を伝播する光をデータとして取得するには、カメラをたくさん並べるか、Plenoptic cameraを使えば良い。足りない分は取得できた分から計算して補完することもできる。逆に言うと、裸眼3Dディスプレイの能力を引き出すには、こういう方法で取得した空間中の光線データが必要になる、ということだろう。
3D映像を取り扱うシステムとしては、空間中を伝播する光を取得する装置としてのPlenoptic cameraと、そのデータを再生する装置としての裸眼3Dディスプレイとがそろって初めて完成といえる。現時点で商品化されている製品は、これらの簡易版システムだといえるだろう。
これまで、「空間中を伝播する光のデータ」とさらっと言ってきたが、これって具体的にどういうものなのか？を次回説明してみる。
