hirax.net::Keywords::「RICOH」のブログ

■Ricoh ThetaSで全天周／HDR／立体動画の撮影に挑戦してみる その１　

　周囲３６０度、もう少し正確に言えば立体角にして約４πステララジアンの全天周を撮影することができるRICOH RICOH THETA S の撮影動画を、よりリアルに拡張してみたくなりました。そこで、「HDR（High Dynamic Range）」「立体（奥行き）」という２つの軸、つまり、明るさの幅と階調性および３次元的な距離感を、複数のThetaSを組み合わせて撮影する実験を始めました。

　本来、ThetaSは２台の魚眼撮影を表裏にコンパクトに組み合わせることで、全天周撮影を可能にしているところに特徴（および特長）があります。それに対して、HDR撮影や立体撮影を行いたい場合は、役割が異なる複数のカメラを概略球面状に配置するような構成にしたくなります。そのため、多数のThetaSを組み合わせて全天周／HDR／立体動画を撮影しようとすると、「非常にバランスが悪い」構成になってしまいそうです。そこで、今回は、最小限のRicoh ThetaS２台をコンパクトに使い、全天周／HDR／立体動画の撮影に挑戦してみることにしました。

　使うシステムは、右画像のように２台のThetaSを配置した機材です。ひとつは２台のThetaSを３脚上に鉛直に配置したもので、もうひとつは水平に配置したものです。このような配置にした上で、HDR撮影を行いたい場合には、各ThetaSの露出条件を変えつつ動画撮影を行い、異なる２種の露出による動画を組み合わせてHDR全天周動画を撮影します。また、それぞれのカメラから撮影された画像の「視差」から、奥行き情報（距離マップ）を作成することで、３次元情報も持った全天周動画を作りだそう、という狙いです。

　鉛直配置と水平配置の違いは、次のようになります。

• 水平配置：正面（前方）および背面（後方）に対しては、各カメラで撮影された映像をそのまま左右の目用の画像として用いれば、自然な立体動画を撮影することができます。ただし、（左右にカメラが配置されているため）左右方向には他カメラが写っていて、全天周撮影が一部阻害されているというデメリットがあります。また、左右カメラから視差（距離）情報を得ることができるのは、正面・上面・下面・背面を”黄道”状にとりまく領域で、左右方向には距離を（理想的な場合ですら）得られない方向があります。また、HDR撮影する時には、左右カメラが担うべき露出役割には、特に必然性はありません。ひとことで言うと、「前後方向には（HDR撮影を行わなければ）安易に立体視ができる」システムです。
• 鉛直配置：鉛直上下に配置することで、上部カメラには全く「他カメラにより遮蔽される領域（ケラレ）」はありません。また、景色というものは一般的に、上部と下部で明るさが大きく異なっているのが普通です。たとえば、星空と街の夜風景、あるいは、明るく輝く太陽や雲と、木陰に隠れた暗い領域…つまり、この構成では上部カメラと下部カメラの露出条件には必然性が生まれます。また、上下部カメラから直接立体視をすることはできませんが、鉛直方向２台のカメラの視差から距離情報を得ることができる方向は、水平方向３６０度の領域です。距離情報を知りたいのは、周囲水平方向に近いところにある物体であることも多いですし、「頭上方向には無限遠の距離に空があり、足下には地平線まで続く地面がある」という仮定を用いたりすることができます。こちらの構成をひとことでいうと、「変態的構成だけれども、最小限の構成で最大の効果を得ようとする（けれど頭でっかちの計画っぽい）システム」です。

「水平配置のステレオ撮影例（平行法）」

　というわけで、これらの機材を１１月の満月の時期、タイのスコータイ・チェンマイ・バンコクに持ち込んで、遺跡やお祭りや街風景を撮影してみることにしました。（続く）

■Ricoh Theta Sに撮影した風景はHMD(Oculus) で眺めた方が「あの時感じた風景」を思い出せるかも!?　

　昨年（2015年）の１１月の満月の時期は、リコーの全天周カメラをタイの古都（スコータイやチェンマイ）やバンコクで持ち歩き、さまざまな条件の撮影を（コード書きつつ）トライしていました。今日は、その時にThetaを中心とする４πステララジアンの全方向風景をヘッドマウントディスプレイのOculus Riftで眺めてみました。…面白いのは、その時に眺めていた「気球上げコンテスト」や、みんなで借りた（チェンマイの安くて美味しい鍋屋さんに向かう途中の）乗り合いタクシーに乗っている時の感覚や、飲んだ後にピン川近くを歩きつつ眺めた空へと流れていく気球灯籠の景色は、妙味に沿った方向に視界を遮られたHMD(ヘッドマウントディスプレイ）で眺める映像の方が、「的確」かも…と感じたりします。

　１１月の満月の夜、最近１０年くらいはタイのチェンマイに行くことにしています。昔、あの時眺めた景色を、あの時の視点から眺めたならば、一体どんなことを感じるのだろうか…？と考えたりします。

■Ricoh Theta S 撮影動画で３次元の世界を撮影してみよう!?　

　昨年の秋、バンコクの路地を自転車で走りながら、右手でRicoh Theta Sを空に向かって差し上げて動画を撮影しました。その撮影動画を使って、今日は３次元の世界を再構成をしてみました。
　その１例が下に貼り付けた動画です。手に持たれたTheta Sが移動していった「視点・撮影点」を青くマーキングしてあるので、狭い路地を進む自分の軌跡を眺めることもできます。

　今日やってみたことはとても簡単です。多視点からの撮影画像を使って三角測量を行い立体形状を求める手法を全天周カメラであるRicoh の Theta S画像に適用してみただけです。
　解像度的には静止画像からの復元の方が良いですが、ただ移動しながら動画撮影するだけで３次元の世界を撮影できるというのはお手軽感が高いものです。

　ちなみに、Ricoh Theta Sを室内で移動させつつ撮影し、その撮影画像から３次元空間を復元させてみると下動画のようになります。カメラの歪みをきちんと校正していないこともあり、その歪みを反映して復元空間自体も歪んでしまっていますが、今度はそんな歪みも除去して、綺麗な３次元空間を撮影してみたいと思います。

■続「その瞬間に眺めた世界をいつでもリアルに記録していく」　

　一年前の2015年の秋頃に、自転車を漕ぎつつRicoh Theta Sを手に持って、バンコクの裏小路を撮影してみました。その（色んな場所から眺めた）撮影映像を元にして、路地裏の構造を表す３次元情報や、眺める場所・方向に応じて見える風景を表現する関数を推定・生成してみました。下に貼り付けた動画は、その３次元情報のみを使ってレンダリングしてみたものです。

　日記に「その瞬間に眺めた世界をいつでもリアルに記録していく」として書いたように、ポケットに入るくらいの安い（スマホや安カメラといった）機材で、３次元の空間情報あるいは眺める時間空間方向に応じた見え方をキャプチャするようなことも簡単にできたりします。今年2016年の秋頃には、一体どんな世界を切り取ることができるのだろう？と考えたりします。

　今この瞬間の世界で、未来に残したいと誰かが思う場所があれば、その場所を知りたいと思います。その場所に行って、その３次元情報や見え方を表す関数表現や、記録できる限りの多くの情報を眺めに行ってみたい…と考えたりします。

■Ricoh Theta S で2017年旧暦1月満月の夜を撮ってみる　

　思い返せば2015年は忙しかった。長身の国オランダに入り浸ったり、大学病院に入院したり、タイのスコータイやチェンマイあるいはバンコクで Ricoh Theta S と自作治具を抱えて全天周HDR距離マップ付き動画に挑戦したり、人生で２回目のスカートを送風機でめくる実験をしたり…と七転八倒の毎日だった。

　そんな人生七転八倒のお友達 Ricoh Theta S ともっと戯れたい！というわけで、OpenSphericalCameraのTheta S 制御用　Python コードを3.x用に書き換えて、長時間露光の微速度撮影で満月の夜を撮影をしてみた。

　旧暦１月の満月の夜を、露光60秒で20分ほどの時間、微速度動画を撮ってみる。太陽のように明るい満月と、都会に近いけれどそれでも見えるいくつもの星 は、北極星を中心に廻っている。もしも、渋谷のスクランブル交差点や、上野公園の桜の下、あるいは、山手線のホームで眺めてみたら、一体どんな景色が見えてくるだろう。