hirax.net::Keywords::「立体動画」のブログ

■微小4次元計測をしてみたい　

デジタルカメラ、実体顕微鏡、動画の三題話

最近はデジタルカメラ(以降、デジカメと呼ぶ)が大流行りである。実験の記録に使うと大変便利だ。ところで、実体顕微鏡の接眼部からデジカメで撮影するという話題が

• 今日の必ずトクする一言「デジタルカメラで超望遠、超接写のナゾ」 ( http://www.bekkoame.or.jp/~jh6bha/higa9801.html#980130)

といっても、実体顕微鏡にはCCDなどを接続してあることが多いため、単に実体顕微鏡の接眼部をデジカメで撮影するだけでは面白味が少ない。もちろん、高いCCDカメラの代りにメガピクセルのデジカメを使えるメリットは大きいとは思う。

しかし、実体顕微鏡(双眼式)で何が良いかといえば、立体に見えることである。しかし、CCDカメラの接続は一眼式になってしまう。これまで、一つの実体顕微鏡に2つのCCDを接続できるような実体顕微鏡は見たことがない。そこで、接眼部からデジカメ撮影をする方法なら、立体撮影をすることができるので、実体顕微鏡の長所を生かすことができる。

これがそのサンプルである。交差法と平行法の両方を示す。立体に見えるはずである。

交差法 (寄り眼バージョン)

平行法 (ロンパリバージョン)

それでは、3次元計測を行ってみる。まずは、マーキングをする。基板上とICチップ上にA,B,C,Dという4つのマーキングを行う。

計測のためにマーキングしたもの(配置は交差法)

奥行き方向(Z方向としておく)に違いがある場合には、左右の画像でX方向のずれが生じる。そのずれ量を計算してやれば、Z方向の計測を行うことができる。つまり3次元計測を行うことができる。

左右画像の(x,y)の差をとり視差を出す。すると、(A,B,C)とDの間で違いが有り、Z方向の距離が違うのがわかる。

この結果から、(x,y,z)を描くと以下のようになる。x-y座標上にzの値を書いてある。Dのポイントのみがz方向に近いのがわかる。

マーキングポイントの(x,y,z)座標

もちろん、本来は光学系から係数などを導くのだが、今回は行っていない。大雑把な説明である。また、同じようなやり方で、3次元表面計測も行うことができる。

ソニーの「DigitalMavica」の素晴らしい所は光軸合わせが簡単なだけではない。動画をmpegファイルとして撮影することができる。というわけで、2台買えば実体顕微鏡の画面を立体動画として保存できる。それが微小四次元計測である。

残念ながら、今回は1台しか使えないので、動画サンプルを示すだけである。mpegファイルをgifに変換したものを以下に載せておく。TFT液晶の拡大画面である。映像の終わりで実体顕微鏡の接眼部からカメラを外しているのがわかると思う。

動画サンプル MPEG形式 507kB
動画サンプル GIF形式155kB (上を縮小したもの)

その他関連情報

• デジタルカメラ大実験(http://www.asahi-net.or.jp/~gg9m-knst/digicame/index.html)

■「モーニング娘。」を立体にするのだ！　

時間と空間の遠近感ソフトを作る

　京都にいた頃、いくつかのホテルでバイトしたことがあった。都ホテル、鴨川沿いのホテル、あるいは、蹴上の辺りにあるホテルなどでベッドメイクやら、会場設営のバイトなどをした。有数の観光地である京都の街中はもう色んな旅館やホテルが数多くあふれているのだから、そんなバイト口は一年を通してあった。

　そのバイトに行った色んな旅館の中でも、京都へ行ってすぐにバイトしたホテルは凄かった。その旅館の入り口には「暖簾」がかかっていた。京都の旅館なら、入り口に暖簾がかかっているのは当たり前じゃないの、と言われるかもしれない。しかし、その旅館の「暖簾」はその旅館への車の出入り口に設置してあったのである。

　ニホンに憧れ、"A Book of Five Rings"に憧れるスティーブン・セガールのような外国人であれば、「日本人は車ですら暖簾をくぐり、それほどまでに日本人にとって礼節とは大切なものなのデスカ！」と感嘆するかもしれないが、それは少々違う。何しろ、その旅館、いやホテルは名神高速の京都インターチェンジのすぐ横にあった。つまりは、京都インターチェンジの周りのホテル街にあったのである。

　いや、ここまで書いても、先のニホンに憧れる外国人なら（今でもそんな人がいたら良いのだが…）、「なるほどなるほど、高速道路と言えば江戸時代の街道デス。ツマ〜リ、高速のインター周りのホテル街は江戸時代で言えば街道の宿場町なのデスネ！」とやはり感嘆するかもしれない。そんな感嘆と感動が的を射ているかどうかはともかく、とにもかくにも一風変わったバイト先だった。

　そして、そのバイト先にはいくつも私の好奇心をくすぐるものがあったのだが、そのうちの一つが「立体テレビ」だった。その旅館ホテルには、離れのような作りの特別室という部屋が二部屋ほどあり、特別室には「立体テレビ」なるものが設置してあったのである。といっても、その「立体テレビ」は何か部品が足りないのか、あるいは二十四時間故障中だったのかよく判らないのだけれど、とにかくその「立体テレビ」が動いてるのを見たことはなかった。動いているのを見たことが無く、どんなものだか判らなかったから、なおさら想像力を刺激したのである。もちろん、そのホテルの業種がらどんな番組がテレビから飛び出してくるのかも興味があったのも確かだ。
 

　で、先週どこかで流れていた「モーニング娘。」の音楽を聞いて、何故かその「立体テレビ」のことを思い出した。何故かは判らないのだけれど、思い出してしまったのだからしょうがない。しょうがないから、そんな「立体テレビ」を自分で作ってみることにした。といっても、立体テレビで表示するための特殊なビデオ素材などしか見ることができないのもツマラナイ話なので、普通のビデオ（= 2Dビデオ）を勝手に立体化して、その立体ビデオを見ることができるようなものを作ってみることにした。

　ビデオの立体化の原理はとても簡単、単に「時間軸と空間軸を少しばかりシャッフルするだけ」である。

人間が視覚から立体感を得る原因の一つが左右の目で見る景色の違い、すなわち両眼の視差である。その両眼視差を利用して、立体感を付加してやるのである。つまり、動画の各瞬間の画像を右目用と左目用の二つの画像に分けて、その二つの画像に少しばかり差をつけてやることで、両眼視差を人工的に与えれば良いのである。

といっても、「動画の中のある瞬間の画像」を右目用と左目用に分けた二つの画像の間に「少しばかりの差をつける」といっても、そんな画像を作るのはそんなに簡単ではない。そこで、ちょっとこんな風に考えてみるのだ。「動画の中のある瞬間の画像」と「少しだけ差がある画像」はどこかにないだろうか？もし、そんな画像が何処かにあるならば、その画像をちょっとばかり拝借すれば良いだけの話なのである。そんな画像は果たしてあるのだろうか？

　そう、そんな画像はとても近くにある。答えは簡単、「動画の中のある瞬間の画像」の「少しだけ時間的に差がある瞬間の画像」が探している答えなのである。「動画の中のある瞬間の画像」と「その次の瞬間の画像」は「ほんの少しだけ色々な位置が違ってはいるけれど、だけど全体的にはほとんど同じような画像」なのである。そんな画像を両眼で別々に眺めてみれば、適度の両眼視差により立体感を得ることができるハズなのである。

　というわけで、普通の動画像に対して、「時間的に前後に並んだ二つの画像を空間的に左右に並べて」、平行法で眺める動画像に変換するソフトウェアを作ってみた。それが、これperspective.exeである。もちろん、いつものように動作保証一切無しのアルファ版ソフトだ。

• perspective.exe ( perspective.lzh 475kB)

perspective.exeの動作画面

例えば、まずは素材として以前作成した「モンローウォークの動画」を再生している画像を下に示してみよう。Real形式で圧縮したオリジナル動画はこちら(original.rm 9kB )である。
 

モンローウォークの動画のワンシーン

この動画をこのperspective.exeで処理するとあらあら不思議、なんと下のように、二つの画像が並んだ「平行法で眺める立体動画像」が作成されるのである。ちなみに、この立体化した動画像のreal形式動画像はこちら(perspective.rm 11kB )である。
 

上の動画を立体化した動画の１シーン

　この交差法で眺める動画像を上手く立体視するコツは、遠くを眺めるようにして、ぼんやりと動画像を眺めてみれば良いだろう。そうすると、立体動画像で眺めるモンローウォーク（半裸）を眺めることができるハズだ。
 

　ところで、先のこのソフトの立体化の原理を読んで、「いや、それだと動きによってはとても不自然になるに違いない」という人も数多くいることだろう。そんなアナタのその理屈は非常に正しい、と思う。しかし、まずは動画像を変換して自分の目で確かめてみてもらいたい。人間の感覚は時にとても簡単に騙されるのである。いや、あるいは人間の想像力の処理がスゴイのかもしれない。とにかく、本来不自然なはずの「立体動画像」も実際に眺めてみるとかなり自然な立体感を感じさせるのである。

というわけで、この原理の是非は次回以降に回すとして、まずはこのperspectiveを使って色々な動画像を立体化して眺めてみるべきと、私も色々な動画像を眺めてみたわけなのだけれど、試しに下のような「モーニング娘。」のライブビデオなんかも立体化してみた。
 

飛び出す「モーニング娘。」

　で、この立体動画像を眺めながら、ちょっと私は考え込んでしまった。動画像中を走り回る「モーニング娘。」のメンバー達が手の届きそうな近くへ飛び出して見えたり、またあるいは、手の届かない遙か向こうの後ろにふと見えたりするのだ。それは確かに遠近感のある立体画像なのではあるが、ただの遠近感のある立体動画というわけだけでもないような気がしたのである。

　何しろ、その走り回り、飛び出したりするメンバー達が今はもう実は「モーニング娘。」ではなかったりするのだ。何かそんなことを考えると、今眺めている動画像の奥行きが単に空間的な奥行きだけではなくて、何か時間的な奥行きを感じさせるような気がしたのである。時間的な距離を何か感じさせるような気がしたのである。

　そう、そういえばこのperspective.exeが作る立体動画像は「時間的に前後に並んだ二つの画像を空間的に左右に並べて」みたものであった。つまりは、ビデオテープに記録された時間軸と空間軸をほんの少しばかりシャッフルすることで、遠近感を作り出しているのである。だから、perspective.exeが作る遠近感・奥行きは、実は「時間的な遠近感・奥行き」なのである。それを人間が勝手に「空間的な遠近感・奥行き」であるかのように錯覚していただけなのである。

　だから、私がこの「モーニング娘。」の立体動画を眺めて、そしてもういなくなったメンバーなどを眺めて、何か時間的な奥行きを感じたりしても、それも実は結構正しかったりするのかもなぁ、なんて思ったのである。そんなことを考えながら辞書を引くと、遠近法を指す"perspective"は同時に「時間の向こう、見通し,展望,前途」なんてふうにも書いてあって、それを読みながら、ふ〜ん…としみじみ納得してみたりしたのである。
 

■Stereo images "Time for Space Jiggle"　

　かつて、「モーニング娘。」を立体にするのだ！で「時間軸と空間軸を少しばかりシャッフルするだけ」で立体動画を作ったが、それを思い出させるStereo images "Time for Space Jiggle"。これはとても興味深い立体写真である。
　この立体像の面白いところは、両眼で見ても結構立体的に見えるところじゃないかと、ふと思った。両目で眺めている景色の同期はあまりとれていないんじゃないか、と。

■全自動立体コピー「ピエリモ」　

　複数のカメラで人を撮影し、こんな立体動画を生成してしまったり、あるいは「その人の可愛いフィギア」を作り上げたり、さらには「その人をガラスの中に閉じこめてしまったりする」全自動立体コピー「ピエリモ」。

■プルフリッヒ効果で飛び出すラトルバック立体動画　

　ラトルバックが逆転する瞬間のスローモーション映は、立体動画として眺めることができます。片目だけサングラスをかけて、ラトルバック動画を眺めるとプルフリッヒ効果（錯視）"The Pulfrich Illusion"により、チューインガムが逆回転し始める瞬間から、ガムが立体的に見えてきます。平面的なディスプレイからガムが奥へ前へ飛び出して回る姿が見えてきます。

　片目だけサングラスやフィルターをかけて動画を眺めても良いですし、100円ショップでサングラスを買って、上のような片目サングラスを作って眺めてみても面白いと思います。そして、他の動画も眺めてみれば、立体的に見えるものがたくさんあるかもしれません。