hirax.net::Keywords::「全天周」のブログ

■５０００円ポッキリで「”光もモノも3次元的に記録するライトフィールド・カメラ”」を作ってみよう!?　

　「Lytro Cinema、それは光もモノも3次元的に記録する7億画素のビデオカメラ」という記事が面白かったので…けれど、そんなカメラが一体いつ手に入るのか？とか、お財布に小銭しか入ってない人（自分自身のことだけど）には買えないんじゃないか？と思ったので、５０００円ポッキリで「”光もモノも3次元的に記録するライトフィールド・カメラ”」を作ってみることにしました。

　最低限のコストで作る！となると、外装などにお金を掛けるわけには行きません。…というわけで、たとえば右の写真は、外装を作るためにくのスーパーに段ボールをもらいに行き、組み立て作業をしている途中の写真です。

　この段ボール製のカメラは、カメラの撮像面に８４方向から届く光を記録する、あるいは、カメラを向けられた撮影対象物を、84視点から同時に撮影するカメラです。５０００円で作るライトフィールド・カメラの原理は、とても簡単で（というかとても限定的で）、２５００円のWEBカメラでトータル２５００円ナリのレンズ・アレイ・シートで作り出した８４視点の世界を撮影し、撮影された複数の光線場を使って色んな眺め方をしてみよう！というものです。

　今作成中のこのカメラ、８月６日・７日に東京ビッグサイトで開催されるMaker Faire Tokyo2016で展示予定です。展示ブースA-06-06番（「理科教育研究フォーラム」）という場所で、Ricoh Theta S用の360°ライトフィールド撮影キットやRicoh ThetaS用のハンドヘルド全天周ライトフィールド撮影カバー…などに興味がある方がいらっしゃれば、遊びに来て頂ければ（そして何より雑談させて）頂ければ幸いです。

■続 ５０００円で”光もモノも3次元的に記録するライト・フィールド・カメラ”を作ってみよう！？　

　一週間後の８月６日（土）と７日（日）には、東京ビッグサイトで開催されるメイカーフェアー東京２０１６で、５０００円ポッキリで作る「”光もモノも3次元的に記録するライトフィールド・カメラ”」や、Ricoh Theta S で作る全天周多視点（簡素ライトフィールド）カメラを展示する予定です。ちなみに、展示ブースは、A-06-06という覚えやすいけれど、右図のように少しわかりにくい場所で、「理科教育研究フォーラム」という名前で出しています。

　５０００円で自作するライトフィールド・カメラは、下図の説明用パネルのように、凹レンズアレイシートに写し出された景色を１台のUSBカメラで撮影することで、平面上の各領域から周囲各方向の「光」を撮影・処理するというものです。凹レンズアレイシートには１２×７＝８４視点の景色が写し出されているので、８４の異なる視点位置から眺めた光線場を撮影し、そしてさまざまな処理を行う…というカメラです。（全天周ライトフィールドカメラについての説明は、明日にでも書いてみることにします）

　たとえば、下の動画は５０００円ライトフィールドカメラで写している風景動画に関して、好きな箇所（距離）に焦点を合わせ、そしてそれ以外の領域をぼかすリフォーカス処理をしている動画です。安い１台のUSBカメラで全視点の画像を撮影しているので、１視点あたりの画像解像度はせいぜい２００×２００ピクセルと低解像度になってはしまいますが、自分が組み立てたカメラで簡単な処理コードを書くだけで、リフォーカス処理ができるのは結構楽しいものです。

　また、下の動画は光合成による開口径（絞り）可変処理を試している時に写し出されているものです。こうした後処理を必要とする状況がどれだけあるかは…疑問なところもありますが、やはり安く簡単に作ることができるお手製のシステムで、こうした実験ができるのは面白いと思います。

　というわけで、２０１６年の８月６日、７日は東京ビッグサイトでお待ちしております。いらっしゃる方がいましたら、「○×分後くらいに遊びに行くかも！」と伝えて頂ければ、（他を眺め歩きがちな）説明員も戻るようにしようと思います。

■Ricoh Theta S 撮影動画で３次元の世界を撮影してみよう!?　

　昨年の秋、バンコクの路地を自転車で走りながら、右手でRicoh Theta Sを空に向かって差し上げて動画を撮影しました。その撮影動画を使って、今日は３次元の世界を再構成をしてみました。
　その１例が下に貼り付けた動画です。手に持たれたTheta Sが移動していった「視点・撮影点」を青くマーキングしてあるので、狭い路地を進む自分の軌跡を眺めることもできます。

　今日やってみたことはとても簡単です。多視点からの撮影画像を使って三角測量を行い立体形状を求める手法を全天周カメラであるRicoh の Theta S画像に適用してみただけです。
　解像度的には静止画像からの復元の方が良いですが、ただ移動しながら動画撮影するだけで３次元の世界を撮影できるというのはお手軽感が高いものです。

　ちなみに、Ricoh Theta Sを室内で移動させつつ撮影し、その撮影画像から３次元空間を復元させてみると下動画のようになります。カメラの歪みをきちんと校正していないこともあり、その歪みを反映して復元空間自体も歪んでしまっていますが、今度はそんな歪みも除去して、綺麗な３次元空間を撮影してみたいと思います。

■その瞬間に眺めた世界をいつでもリアルに記録していく　

　自分を囲んでいる周りの世界を、あるいは掌の上に載せたものを、他の誰かに見せるために、いつか自分で眺め返す時のために、その瞬間にできる最大限のやり方で記録しています。…といっても、重い特殊な機材を持ち歩くのは辛いので、その時手にしたお手軽機材で、けれど時間が許す限りのやり方で、目にしたものをリアルに撮影したりしています。

　たとえば、2014年くらいのタイ・バンコクでは、自転車でうろうろする時、いつでも全天周の動画を撮影していたりしました。そして、１年後の2015年には同じく自転車で通り抜けたバンコク路地裏は、３次元で（暗い部分から輝いている部分まですべて記録する）HDRな世界になっていました。あるいは、チェンマイで１１月の満月に眺める「空へ灯籠を流すお祭り」をヘッドマウントディスプレイを掛ければ、もう一度眺めたりすることができます。

　今年は、色んな物質で作り上げられた周囲の世界を、その素材感を伝える特性や立体的な形も含めて撮影することがようになりました。たとえば、安っぽいプラスチックの外装や、油で汚れて鈍く黒光りする金属塊や、年期を経た木板のさまを、リアルに写し出してコンピュータ画面の中で眺めることもできるようになりました。本当の世界ほどにリアルではないけれど、現実が持つ複雑なさまを、少しづつ記録して残すことができるようになっています。

　2016年の今年は、やはりバンコクを自転車でウロウロしつつ、記録する情報の次元や内容を、またバージョンアップできたら面白いな！と思っています。遠くに見える大通りを走るバスや、近くの路地裏を区切る土壁や、店の机に並ぶアジアな小物、そんなものを昨年より少しでもリアルに記録できたら面白いな、と思っています。

■Ricoh Theta用の極座標自動ステージを作ってみよう！（その心は、どちらもRなθと解きます）　

　これまで、今や誰もが持ち歩いているスマホを使った手持ち移動撮影で、大径レンズを取り付けたカメラにような画像を作り出してみたり（「手持ちスマホ撮影動画からの超巨大開口レンズ撮影」に挑戦してみよう!?　）、あるいは、全天周を撮影することができるRicoh Theta Sカメラを使って、ありとあらゆる情報を手に入れてみようと遊んでみたりしてきました（Ricoh ThetaSで全天周／HDR／立体動画の撮影に挑戦してみる、Ricoh Theta S 撮影動画で３次元の世界を撮影してみよう!?）。

　今日は、それらの続きをやってみよう！というわけで、全天周カメラRicoh Theta用の極座標自動ステージを作って、いくつかの撮影＆後処理を行ってみました。

　まず、左下は試行錯誤的に作っている（途中の）自動制御ステージです。ステージを動かして違う場所から撮影した写真を使えば、もちろん立体的な映像を作り出すことができます。…というわけで、試しに作った立体視用画像が右下の画像です。

　２つの視点から見た映像を並べれば立体的な映像を感じることができるのと同様に、複数視点からの撮影画像を解析すれば、立体的な世界を再現することができます。…というわけで、自動制御ステージに載せたTheta Sで撮影した画像から生成してみた３次元映像が、下に貼り付けた動画です。

　…と、Ricoh Theta用の極座標自動ステージを作りながら、ふとと気付いたことがあります。それは、もしかしたら、あまり目的思考がなく、Ricoh Thetaを使ったRθな極座標系ステージを作ってみたかっただけかもしれない…ということです。（その心は、どちらもRなθと解きます）