hirax.net::Keywords::「3次元」のブログ

■フェルメールの「ミルクを注ぐ女」の３次元空間復元動画　

　フェルメールの「ミルクを注ぐ女（”Milkmaid”）」を凸版が３次元空間として復元したものを（参考：フェルメール「ミルクを注ぐ女」に描かれていたのは「空の水差しを押さえつける女」だった!?）、グルグル回しながら動画撮影しました。この動画ファイルに対して戸九兆点抽出や空間認識コードを走らせたら、フェルメールが描いた３次元空間データを手元に作り出すこともできるかも。

■アニメ画像を「リアル」にする本末転倒な画像処理を考えてみよう!?　

　というわけで、アニメ画像を「リアル」にする本末転倒な画像処理を考えてみよう!?を書きました。

　とはいえ、普通の画像や風景やリアル３次元の人物ポートレートだけでなく、アニメ画に対する画像処理って少し面白いような気もします。色んな絵描きさんの手癖や好みを真似た画像処理・レンダリングを行うことで、雰囲気ある２次元アニメ画を作り出すのも、かなり面白いような気がします。

■レンブラント・ライトをレンブラント「ユダヤの花嫁（イサクとリベカ）」に当てて3次元的に眺めてみよう!?　

　Raking light photography（測光線写真）と呼ばれる「側面から光を当て、美術品の凹凸を浮き上がらせるための写真」があります。そういった凹凸情報、あるいは凹凸情報を微分したような画像を使うことで、美術品の修復を行う際の参考情報にしたりします。ちょうど、１７世紀の偉大な画家レンブラントが、「側面上方から光を当てる」レンブラント・ライトで被写体を描き出したのと同様に、絵画の微妙な形状や姿を映し出すのがRaking light photography（測光線写真）です。

　そうした測光線写真は数多く公開されていて、たとえば、、そのレンブラントの「ユダヤの花嫁（イサクとリベカ）- "The Jewish Bride (Isaac and Rebecca)"」であれば、こんな風に公開されていたりします。

　こうしたRaking light photography(測光線写真) を眺めると「私たちは３次元情報を感じる」…ということは、コンピュータにだって測光線写真から絵画の３次元情報を復元できるはず…ということで、2014年の終わり近くの今日…WebGLベースのレンブラントの「ユダヤの花嫁（イサクとリベカ）３次元風…を作ってみました。

■５０００円ポッキリで「”光もモノも3次元的に記録するライトフィールド・カメラ”」を作ってみよう!?　

　「Lytro Cinema、それは光もモノも3次元的に記録する7億画素のビデオカメラ」という記事が面白かったので…けれど、そんなカメラが一体いつ手に入るのか？とか、お財布に小銭しか入ってない人（自分自身のことだけど）には買えないんじゃないか？と思ったので、５０００円ポッキリで「”光もモノも3次元的に記録するライトフィールド・カメラ”」を作ってみることにしました。

　最低限のコストで作る！となると、外装などにお金を掛けるわけには行きません。…というわけで、たとえば右の写真は、外装を作るためにくのスーパーに段ボールをもらいに行き、組み立て作業をしている途中の写真です。

　この段ボール製のカメラは、カメラの撮像面に８４方向から届く光を記録する、あるいは、カメラを向けられた撮影対象物を、84視点から同時に撮影するカメラです。５０００円で作るライトフィールド・カメラの原理は、とても簡単で（というかとても限定的で）、２５００円のWEBカメラでトータル２５００円ナリのレンズ・アレイ・シートで作り出した８４視点の世界を撮影し、撮影された複数の光線場を使って色んな眺め方をしてみよう！というものです。

　今作成中のこのカメラ、８月６日・７日に東京ビッグサイトで開催されるMaker Faire Tokyo2016で展示予定です。展示ブースA-06-06番（「理科教育研究フォーラム」）という場所で、Ricoh Theta S用の360°ライトフィールド撮影キットやRicoh ThetaS用のハンドヘルド全天周ライトフィールド撮影カバー…などに興味がある方がいらっしゃれば、遊びに来て頂ければ（そして何より雑談させて）頂ければ幸いです。

■続 ５０００円で”光もモノも3次元的に記録するライト・フィールド・カメラ”を作ってみよう！？　

　一週間後の８月６日（土）と７日（日）には、東京ビッグサイトで開催されるメイカーフェアー東京２０１６で、５０００円ポッキリで作る「”光もモノも3次元的に記録するライトフィールド・カメラ”」や、Ricoh Theta S で作る全天周多視点（簡素ライトフィールド）カメラを展示する予定です。ちなみに、展示ブースは、A-06-06という覚えやすいけれど、右図のように少しわかりにくい場所で、「理科教育研究フォーラム」という名前で出しています。

　５０００円で自作するライトフィールド・カメラは、下図の説明用パネルのように、凹レンズアレイシートに写し出された景色を１台のUSBカメラで撮影することで、平面上の各領域から周囲各方向の「光」を撮影・処理するというものです。凹レンズアレイシートには１２×７＝８４視点の景色が写し出されているので、８４の異なる視点位置から眺めた光線場を撮影し、そしてさまざまな処理を行う…というカメラです。（全天周ライトフィールドカメラについての説明は、明日にでも書いてみることにします）

　たとえば、下の動画は５０００円ライトフィールドカメラで写している風景動画に関して、好きな箇所（距離）に焦点を合わせ、そしてそれ以外の領域をぼかすリフォーカス処理をしている動画です。安い１台のUSBカメラで全視点の画像を撮影しているので、１視点あたりの画像解像度はせいぜい２００×２００ピクセルと低解像度になってはしまいますが、自分が組み立てたカメラで簡単な処理コードを書くだけで、リフォーカス処理ができるのは結構楽しいものです。

　また、下の動画は光合成による開口径（絞り）可変処理を試している時に写し出されているものです。こうした後処理を必要とする状況がどれだけあるかは…疑問なところもありますが、やはり安く簡単に作ることができるお手製のシステムで、こうした実験ができるのは面白いと思います。

　というわけで、２０１６年の８月６日、７日は東京ビッグサイトでお待ちしております。いらっしゃる方がいましたら、「○×分後くらいに遊びに行くかも！」と伝えて頂ければ、（他を眺め歩きがちな）説明員も戻るようにしようと思います。