パソコン・メモメモ備忘録

気の向くままパソコン関係等で気になることを書き記す。時々更新!

360度パノラマカメラと距離画像撮影 と HMD

HACKist さんの記事。RICOH ThetaS と LiDAR(パノラマ距離画像撮影機?) を組み合わせたシステムを試されている記事。精度的には課題があるが、今後の展開や未来が期待される素晴らしい実験である。

以前も言及したことがあるが、パノラマ画像を撮影して HMD で見る際に、3Dステレオにするのが結構難しい。どの方向を向いてもちゃんと 3D ステレオになっている、というのは、普通のパノラマカメラでは情報が足りない。といっても、両目分2台用意しても駄目で(だいたいもう1台が必ず写り込んでしまう問題も)ある。

一つの解決策は、この記事のように距離画像も一緒に撮影する方法。距離画像から立体構造を再現して、その表面にパノラマカメラの撮影画像を貼り付ければ、カメラ周辺であれば、左右の目の位置の違いからくる視差を含んだ 3D ステレオ画像が生成できる。

より優れた方法は、球体状に多数のカメラを搭載したパノラマカメラを使って、カメラ間の視差から周囲の立体構造を推測して、同じように、撮影画像を貼り付ける。先の方法より優れているのは、1 台のカメラだと、手前のオブジェクトに隠される後ろは全く撮影されないが、HMD の左右の目の視差を生成する際に、多少必要となる(右目で見えない領域と、左目の見えない領域は異なるので)。位置のずれた複数のカメラだと、必要な領域が写っている部分が多少増える可能性がある。

先日やっと原理を理解した ToF 方式の距離センサーは、同じセンサーで普通の撮影も出来そうである。Theta のようなレンズを使って、時分割で、距離とカラーを撮影するカメラもできそう。それを使えば、HMD 用の 3D ステレオなパノラマ画像をリアルタイムで撮影して表示するシステムができる。

非常に面白そうだなぁ。