hirax.net::Keywords::「デスクトップ」のブログ

■iOS 8のメニュー画面には「フロントカメラを使った環境光のリアルタイムマッピングレンダリング」くらいはして欲しい!?　

　iOS 7のアイコン表示時の新機能として、画面の傾きに応じてアイコン位置を変えることで、画面の中に描かれたアイコンや背景に遠近感を与える、というものがあります。

　思い起こせば、「未来の立体ディスプレイ」を作る と称して、同様の遊びをしてみたのが８年前…それが今やスマホで実現できる時代になった、と考えると感慨深くもあり、同時に身の回りの世界というのは１０年程度ではあまり変わり栄えしないのだな…とも思わされます。

　さて、今日は（iOS 7の先の未来で登場するはずの）iOS 8のアイコン表示では「これくらいはして欲しい!?」というものを、iPad miniで行ってみました。やってみたことは、iOS 7同様に加速度センサ値を使って背景とアイコンに遠近感を与えつつ、（ディスプレイ面を向く）フロントカメラから「ディスプレイ面にあたる光（色）分布」を取得して、その状況をリアルタイムに反映したアイコンや背景をレンダリングをする実験をしてみました。それが、下の動画です。動画前半でiPad miniを色々な向きで眺めた後に、その後「さまざまな色の光」をiPad miniに色んな方向からあてるさまを撮影したものです。

　iPad miniの加速度センサとフロントカメラから得られる値・映像をもとにして、「（使用者が手に持つ）iPad miniは”こんな光”に囲まれていて」「使用者は”こんな風＝向きに”iPad miniを持っていて」…そして、「画面内のオブジェクトはこんな風に光を受け・反射しているはず」…だから、使用者からは「こんな風に（リアルタイムに）見える」はず…というものをレンダリングしてみました。

　だから、傾ければ「オブジェクト面の反射光沢の状態」や「オブジェクトの間の距離感」も変わりますし、照明状態が変わると「画面中にある各種オブジェクトの色・見え方」も当然変わります。青い光に照らされている時には、青色波長に対応する光しか（背景もアイコンも）反射・返すことをしませんし、照明スペクトルが赤色ならば、赤色の反射光しか返しません（画面上に反映させません）。

　iOS 7はともかく…iOS 8くらいになった暁には「フロントカメラを使った環境光のリアルタイムマッピングレンダリング」くらいはして欲しい…と思いませんか？（…そんな過剰で不必要でつまりはムダなことには電流消費したくないぜ！という声がたくさん聞こえてきそう…）