hirax.net::Keywords::「ヘッドマウントディスプレイ」のブログ

■ニコンの超多機能ヘッドホン UP300x とUP300　

　ニコンが発表したヘッドマウントディスプレイ付きヘッドホン UP300x (UP300)が、さまざまな機能大盛りで凄い。何しろ、8GB(UP300は4GB)のフラッシュメモリを内蔵し、640×480画素の0.44 型 透過型LCDも備え、音楽も動画も再生可能なら、さらにはUSBは当然、無線LANも装備しているのである。

　そして、驚くことに、UP300xは（おそらく2軸の）加速度センサまで搭載しているのである。頭が上下左右に動くさまを認識するモーションセンサー付きで、電池込み385グラム、AV入力付き・・・ときたら、ハードウェア改造マニアの心を惹くこと間違いなしだと思う。

　改造用に何台も欲しい。しかし、販売価格は6万円代ナリ・・・というところが哀しいところだ。

■「もう少し力があれば…」と感じさせる存在こそが、明日の「いつでもどこでも当たり前な道具」になっていく　

　視野角110度の両目への立体表示と各種センサによるヘッドトラッキングが没入感バツグンの世界を生み出す…と噂のOculus Riftを体験してきました。空に浮かぶ島の上を、翼広げたドラゴンになって滑降しつつ、頭上をふと見上げると、液晶画面が映し出しているはずの青空と雲が妙にリアル…と感じました。

　ほんの少し先の未来に「いつでもどこでも当たり前な道具」となっている存在は、この今の瞬間の時点では「もう少しパワーがあれば…」と感じさせる・思われている存在なのかもしれない…と思います。それはたとえば、アラン・ケイの言葉で言えば、（作られたばかりのMacintoshに対して言った）「50ccしかないホンダ」みたいな存在です。

　次の時代の「当たり前にみんなが使う道具・環境」のレースは、今時流行りの３Dプリンタなんか追い越して、（Oculus Riftみたいな映し出すデバイスや、それが映し出す映像を撮影し・作り出す環境といった）この手のインフラがトップに躍り出て、第２コーナーを駆けているのかもしれない…と、ふと考えました。

■遠赤外線や近赤外線カメラをHMDに取り付けて「赤外線視覚動物」になってみよう!?　

　ヘッドマウントディスプレイ（HMD）に、サーモカメラや赤外線カメラを付けて、世界を眺めてみました。Oculus Rift とは比べものにならないくらいの小さなHMDを使ってみたのですが、それでも可視光とは違う視覚を持った動物になったかのような心地になります。

　たとえばサーモカメラを取り付けると、こんな世界になります。ノートPCの熱さが「これはマズイぞ！」と冷や汗をかくほどに実感することができて、窓から外を見上げると、言葉通りに冷たい秋の青空が広がり、けれど雲は熱く輝いています。

　そして、サーモカメラ（遠赤外線）ではなくて、近赤外線カメラをHMDに取り付けて「近赤外線（視覚）動物」になってみると、世界はこんな感じに見えてきます。目の前にあるハッピーハッキングなキーボードは、なんとビックリ！超ハッカー仕様な無刻印モデルに変身します！（もちろん、可視光ではちゃんと文字は見えます…）

■美術館での「偏光カメラ撮影」から「VR表示」までに必要な作業の解説編　

　今夏、趣味で作った「偏光カメラ」で撮影した画像から、さまざまな「VR表示」を行ってみました。…そこで、特に美術館内で「巨匠の絵画を複製表示する仕組み」の作り方を書き留め・整理しておこうと思います。

　まずは、（たとえばカメラのレンズ前で偏光フィルムを回転させつつ動画撮影を行うなどして）撮影対象の表面で反射する反射光と物体内部で色づく光を区別する仕掛けを作ります。とても単純な仕組みとしては、カメラのレンズ前で偏光フィルムを回転させた際の動画輝度分布から、その際の輝度最小値を「内部拡散光」として、輝度最大値を「内部拡散光（色）＋表面反射光（色）」として、内部拡散光（色）や表面反射光（色）を決める方法があります。

　そういった光反射の特性を（たとえばOpenGL Shading Languageなどで表現してやるなどして）、タブレットやスマホで（周りの環境光を感じ取りつつ）リアルな表示をしてみたり、WEBブラウザで周囲の環境光下で見えるさまをインタラクティブに表示させることができます。

　ちなみに、美術館内での撮影は、（三脚使用が禁止されていることが多いので）手持ち動画撮影を行った上で、（偏光フィルムを回転しつつ撮影している動画に対して）手振れ補正を行う必要があります。…というわけで、「偏光カメラ撮影」から「VR表示」までの手順としては、偏光情報を記録しつつ動画撮影→動画を手振れ補正→（動画中の）画素機度の最小・最大値から内部拡散光（色）＋表面反射光（色）の推定→反射特性の推定→お好みに応じてVR表示…という具合になります。また、美術館内の環境光分布は、リコーのThetaなどを利用して撮影しておくのが良いかもしれませんね。

　次は、スマホ等をヘッドマウントディスプレイにするハコスコでも使って、美術館に行ったつもりになれるVRキットでも作ってみようと思います。

■Ricoh Theta Sに撮影した風景はHMD(Oculus) で眺めた方が「あの時感じた風景」を思い出せるかも!?　

　昨年（2015年）の１１月の満月の時期は、リコーの全天周カメラをタイの古都（スコータイやチェンマイ）やバンコクで持ち歩き、さまざまな条件の撮影を（コード書きつつ）トライしていました。今日は、その時にThetaを中心とする４πステララジアンの全方向風景をヘッドマウントディスプレイのOculus Riftで眺めてみました。…面白いのは、その時に眺めていた「気球上げコンテスト」や、みんなで借りた（チェンマイの安くて美味しい鍋屋さんに向かう途中の）乗り合いタクシーに乗っている時の感覚や、飲んだ後にピン川近くを歩きつつ眺めた空へと流れていく気球灯籠の景色は、妙味に沿った方向に視界を遮られたHMD(ヘッドマウントディスプレイ）で眺める映像の方が、「的確」かも…と感じたりします。

　１１月の満月の夜、最近１０年くらいはタイのチェンマイに行くことにしています。昔、あの時眺めた景色を、あの時の視点から眺めたならば、一体どんなことを感じるのだろうか…？と考えたりします。