hirax.net::Keywords::「Lytro」のブログ

■ライトフィールドカメラを「妄想カメラ」にしてみよう!?　

Lytroカメラで作る「透け透けカメラ」

　深夜、「ユー・ガット・メール！」とコンピュータが音声アナウンスしました。 確認すると、こんな指令メールが届いています。

　目の粗い生地の服を着た人を見かけます。 たとえば、「2方向以上から撮影した画像」とか「（数コマ撮影した）動画」をもとにして、衣服を透けさせることは可能なのでしょうか？

　カメラレンズと被写体の間に（たとえば）レースのカーテンのようなものがあったとしても、大きなレンズ（つまり被写体をさまざまな異なる向から眺めるレンズ）で撮影すると、ピントがあった箇所だけを（強調して）写し取ることができます。 つまり、「繊維の目が粗い衣服」を着ている人がいたとき、口径の大きなレンズで・衣服の内側の体表面にピントを合わせて撮影すれば、衣服を透けさせ・（衣服の）内側を映し出すことができる、というわけです。

　しかし、一般的なカメラがピントを合わせることができるのは、ごく単純な平面（単純な曲面）上の領域になりますから、複雑な形状をした（衣服の内側にある）体表面にピントを合わせる、といったことはできません。 そこで、今回は「任意（全て）の点に対してピントを合わせることができるカメラ」を使うことにします。 、

　使用するカメラ、繊維の目が粗い服を「透けさせてしまう」カメラとして使うのは、ライトフィールドカメラというジャンルに属するLytroという名前のカメラです（参考：ライトフィールドカメラを「巨乳ビジョン」にしてみよう!?）。 多眼レンズを撮像素子の前に配置させることで、カメラの主レンズに入射する光が来る方向と輝度を撮影することができる特殊カメラです。 このカメラで、「繊維の目が粗い衣服」を着ている人を、（衣服と人の空間ディメンジョンに対して）口径の大きなレンズで撮影＝異なる方向から撮影し、写された三次元領域の中にある「（衣服繊維色とは違う）肌色」の部分を抽出すれば、衣服の向こうを透かして見ることができる「妄想カメラ」のできあがり、というわけです。

　Lytroカメラで作る「妄想（透け透け）カメラ」のモデル は、右の写真、身長２１ｃｍのスタイリッシュな方です。そして、「（お洒落な）目の粗い衣服」はローソン１００で「三角コーナー用水切りネット」を切って作りました（右の写真は水切りネットを４枚重ねしていますが、今回の実験ではネット１枚のみで衣服を作りました）。

　この（目の粗い衣服を着こなした）モデルさんを、後から任意の位置にピント合わせをすることができるライトフィールドカメラLytroで撮影したのが下の写真です。 この写真の上でマウス操作をしてみれば、後から焦点・視点位置を変えることができることがわかると思います。

　Lytroカメラで撮影した写真群（左は１視点からの画像を再構成した例）をもとに、（写された）三次元領域の中にある肌色部分を抽出したのが、右の写真です。 つまりは、異なる視点から（繊維の隙間を通して）透けて見える肌色を選んでレンダリングし（描き）、繊維を消して見せる妄想カメラです。後から違う方向から見ることができて、後から違う任意の場所に焦点を合わせることができるなら（そして何らかの事前情報があるのなら）、こんな妄想カメラ（透け透けカメラ）を作ることもできるだろう、というわけです。

　

　「衣服を透けさせるカメラを作ることができるか？」…その答はYES！です。そういうものを作りたいと思う心、そこにほんの少しの技術をトッピングすれば「作れないものはない」…それが答えです。

■Lytroカメラで作る「透け透けカメラ」　

　『ライトフィールドカメラを「妄想カメラ」にしてみよう!? -Lytroカメラで作る「透け透けカメラ」- 』を書きました。

「衣服を透けさせるカメラを作ることができるか？」…その答はYES！です。そういうものを作りたいと思う心、そこにほんの少しの技術をトッピングすれば「作れないものはない」それが答えです。

■５０００円ポッキリで「”光もモノも3次元的に記録するライトフィールド・カメラ”」を作ってみよう!?　

　「Lytro Cinema、それは光もモノも3次元的に記録する7億画素のビデオカメラ」という記事が面白かったので…けれど、そんなカメラが一体いつ手に入るのか？とか、お財布に小銭しか入ってない人（自分自身のことだけど）には買えないんじゃないか？と思ったので、５０００円ポッキリで「”光もモノも3次元的に記録するライトフィールド・カメラ”」を作ってみることにしました。

　最低限のコストで作る！となると、外装などにお金を掛けるわけには行きません。…というわけで、たとえば右の写真は、外装を作るためにくのスーパーに段ボールをもらいに行き、組み立て作業をしている途中の写真です。

　この段ボール製のカメラは、カメラの撮像面に８４方向から届く光を記録する、あるいは、カメラを向けられた撮影対象物を、84視点から同時に撮影するカメラです。５０００円で作るライトフィールド・カメラの原理は、とても簡単で（というかとても限定的で）、２５００円のWEBカメラでトータル２５００円ナリのレンズ・アレイ・シートで作り出した８４視点の世界を撮影し、撮影された複数の光線場を使って色んな眺め方をしてみよう！というものです。

　今作成中のこのカメラ、８月６日・７日に東京ビッグサイトで開催されるMaker Faire Tokyo2016で展示予定です。展示ブースA-06-06番（「理科教育研究フォーラム」）という場所で、Ricoh Theta S用の360°ライトフィールド撮影キットやRicoh ThetaS用のハンドヘルド全天周ライトフィールド撮影カバー…などに興味がある方がいらっしゃれば、遊びに来て頂ければ（そして何より雑談させて）頂ければ幸いです。

■続 ５０００円で”光もモノも3次元的に記録するライト・フィールド・カメラ”を作ってみよう！？　

　一週間後の８月６日（土）と７日（日）には、東京ビッグサイトで開催されるメイカーフェアー東京２０１６で、５０００円ポッキリで作る「”光もモノも3次元的に記録するライトフィールド・カメラ”」や、Ricoh Theta S で作る全天周多視点（簡素ライトフィールド）カメラを展示する予定です。ちなみに、展示ブースは、A-06-06という覚えやすいけれど、右図のように少しわかりにくい場所で、「理科教育研究フォーラム」という名前で出しています。

　５０００円で自作するライトフィールド・カメラは、下図の説明用パネルのように、凹レンズアレイシートに写し出された景色を１台のUSBカメラで撮影することで、平面上の各領域から周囲各方向の「光」を撮影・処理するというものです。凹レンズアレイシートには１２×７＝８４視点の景色が写し出されているので、８４の異なる視点位置から眺めた光線場を撮影し、そしてさまざまな処理を行う…というカメラです。（全天周ライトフィールドカメラについての説明は、明日にでも書いてみることにします）

　たとえば、下の動画は５０００円ライトフィールドカメラで写している風景動画に関して、好きな箇所（距離）に焦点を合わせ、そしてそれ以外の領域をぼかすリフォーカス処理をしている動画です。安い１台のUSBカメラで全視点の画像を撮影しているので、１視点あたりの画像解像度はせいぜい２００×２００ピクセルと低解像度になってはしまいますが、自分が組み立てたカメラで簡単な処理コードを書くだけで、リフォーカス処理ができるのは結構楽しいものです。

　また、下の動画は光合成による開口径（絞り）可変処理を試している時に写し出されているものです。こうした後処理を必要とする状況がどれだけあるかは…疑問なところもありますが、やはり安く簡単に作ることができるお手製のシステムで、こうした実験ができるのは面白いと思います。

　というわけで、２０１６年の８月６日、７日は東京ビッグサイトでお待ちしております。いらっしゃる方がいましたら、「○×分後くらいに遊びに行くかも！」と伝えて頂ければ、（他を眺め歩きがちな）説明員も戻るようにしようと思います。