hirax.net::Keywords::「３次元」のブログ

■Ricoh Theta S 撮影動画で３次元の世界を撮影してみよう!?　

　昨年の秋、バンコクの路地を自転車で走りながら、右手でRicoh Theta Sを空に向かって差し上げて動画を撮影しました。その撮影動画を使って、今日は３次元の世界を再構成をしてみました。
　その１例が下に貼り付けた動画です。手に持たれたTheta Sが移動していった「視点・撮影点」を青くマーキングしてあるので、狭い路地を進む自分の軌跡を眺めることもできます。

　今日やってみたことはとても簡単です。多視点からの撮影画像を使って三角測量を行い立体形状を求める手法を全天周カメラであるRicoh の Theta S画像に適用してみただけです。
　解像度的には静止画像からの復元の方が良いですが、ただ移動しながら動画撮影するだけで３次元の世界を撮影できるというのはお手軽感が高いものです。

　ちなみに、Ricoh Theta Sを室内で移動させつつ撮影し、その撮影画像から３次元空間を復元させてみると下動画のようになります。カメラの歪みをきちんと校正していないこともあり、その歪みを反映して復元空間自体も歪んでしまっていますが、今度はそんな歪みも除去して、綺麗な３次元空間を撮影してみたいと思います。

■中国 深圳にある大芬油画村に行ってみた。　

　香港近く、中国 深圳にある絵画制作を盛んに行っているという大芬油画村に行ってみました。港鉄（MTR）東鉄線最終駅の羅湖駅から 深圳に入り、深圳の地下鉄１号線に羅湖駅から乗り、さらに３号線を乗り継いだところにある大芬駅まで行き、駅から歩いて１０分弱の距離にある大芬油画村を散策してみました。

　通りを歩くと、名画を絵葉書片手に油絵の具を使った複製作業をしている人もいれば、大判のインクジェットプリンタで印刷した下絵に色重ね作業をしているグループもいます。また、香港や世界各地の風景を描いた画を描いている人たちもいます。制作している絵画を眺めていると、人が欲しがりそう＝買いそうな絵を刻々と生産しているように見えて、その需要と供給を結びつけているビジネスネットワークの仕組みを知りたい…と思わされました。「コピー絵画」というキャッチフレーズを付けられることも多い一角ですが、需要に応じたカンバン方式な絵画生産がされていそう…などと考えたりします。たとえば、香港の名所を描いた２５号（803x652mm）くらいの油絵が、香港屋台で１０００円ちょっとで売られていたりして「これは絶対売れるに違いない！」と思います。

　ちなみに、油画村で見かけて約３００円ほどで手にした油画をコンパクトデジカメで撮影し、遊びがてらリアリスティックに３次元化してみたのが右の画像と下の動画です。キャンバスに塗られた絵具の凹凸を眺めていると、リアルな「モノ」として手に入れてみたくなったりします。

■Dual Pixe Raw画像から距離（深度）マップを作成してみる!?　

　撮像素子の各画像素子を２分割して、その情報差を使って任意の場所でオートフォーカスしたりするための生画像データ（Dual Pixel Raw画像）を展開するソフトが公開されていました。 そのツールを使って（微小距離離れた）２視点から同時撮影された画像の情報を元に、言い換えれば２視点（AとB)に記録された光情報をAとA+Bという２形態で記録された画像データとして展開し、写された景色までの距離を各画素毎に算出した深度マップを計算してみました。といっても、やったことは単純で、２視点で撮影した画像パターンの相関をもとに三角測量的に距離を出してみたのが、下に貼り付けた画像です。

　そしてまた、推定した距離画像に、RGB色画像をテクスチャマッピングして３次元的に眺めてみた例が右の画像です。近景を歩く数人と、その後ろに広がる遠景が形作る箱庭のような風景をこんな風に３次元グラフとして眺めてみるのも面白いような気がします。

　ちなみに、Dual Pixe Raw画像から得られた２視点画像を、「視差アニメーションGIF」的に眺めてみたアニメーションは下動画のようになります。立体感をどれだけ感じるかは微妙ですが、割と面白い結果が得られたので、ここにメモしておくことにします。

■Ricoh Theta で実世界情報を手に入れて、非現実の世界を作り出してみる!?　

　持ち歩き用カメラの2016年上半期Best Buyと言えば、それはもちろんRicoh Theta S。…かどうかはわからないけれど、今年の春先にRicoh Theta S撮影動画用に書いたコードを少し修正した上で、そのコードと Theta Sで「作業部屋」を実世界キャプチャしてみました。そして、実世界の情報をPCの中に取り込んだなら、次はその世界を色々と加工してみたくなります。

　…というわけで、取り込んだ実世界を海面の上に浮かべてみました。たとえば海水面が上昇し、「作業机」が海辺になったなら？的世界を作り出してみた…というわけです。実世界のさまざまなデータをTheta Sで手に入れたなら、「実世界を自由自在に加工できたりする」のが面白いところです。

■Ricoh Theta用の極座標自動ステージを作ってみよう！（その心は、どちらもRなθと解きます）　

　これまで、今や誰もが持ち歩いているスマホを使った手持ち移動撮影で、大径レンズを取り付けたカメラにような画像を作り出してみたり（「手持ちスマホ撮影動画からの超巨大開口レンズ撮影」に挑戦してみよう!?　）、あるいは、全天周を撮影することができるRicoh Theta Sカメラを使って、ありとあらゆる情報を手に入れてみようと遊んでみたりしてきました（Ricoh ThetaSで全天周／HDR／立体動画の撮影に挑戦してみる、Ricoh Theta S 撮影動画で３次元の世界を撮影してみよう!?）。

　今日は、それらの続きをやってみよう！というわけで、全天周カメラRicoh Theta用の極座標自動ステージを作って、いくつかの撮影＆後処理を行ってみました。

　まず、左下は試行錯誤的に作っている（途中の）自動制御ステージです。ステージを動かして違う場所から撮影した写真を使えば、もちろん立体的な映像を作り出すことができます。…というわけで、試しに作った立体視用画像が右下の画像です。

　２つの視点から見た映像を並べれば立体的な映像を感じることができるのと同様に、複数視点からの撮影画像を解析すれば、立体的な世界を再現することができます。…というわけで、自動制御ステージに載せたTheta Sで撮影した画像から生成してみた３次元映像が、下に貼り付けた動画です。

　…と、Ricoh Theta用の極座標自動ステージを作りながら、ふとと気付いたことがあります。それは、もしかしたら、あまり目的思考がなく、Ricoh Thetaを使ったRθな極座標系ステージを作ってみたかっただけかもしれない…ということです。（その心は、どちらもRなθと解きます）