hirax.net::Keywords::「クリムト」のブログ

■巨匠が描いた絵画の「鮮やかな絵具自身の色」や「絵具の表面が作り出す輝き」を感じてみよう!?　

　巨匠が描いた絵画の「鮮やかな絵具自身の色」や「絵具の表面が作り出す輝き」を感じてみよう!? を書きました。

　鮮やかな絵具自身の色を眺めれば、普通に撮影・印刷されたカタログではわかりづらい絵画の色使いがわかるかもしれないですし、絵具の表面が作り出す輝きからは、表面の反射特性を作り出した巨匠の筆使い（のかすかなさまを）を感じることができるかもしれません。

　ちなみに、この記事に書いた方法でクリムトの"Frauenbildnis"もVR表示してみましたが、これなどは特に本物を観た時の印象にかなり近いかと思います。

■手の上に乗る「クリムトの絵画」を作ってみよう!?　

　フィラデルフィア美術館所蔵のゴッホ「ひまわり」をタブレット上で再現してみよう!?と同じく、手作りの自動回転偏光フィルタ付きデジカメで撮影したフィラデルフィア美術館所蔵のクリムト（Klimto ）"Frauenbildnis"を、iPad mini上で作り出してみました。実物は高さ２メートルを超えるような大きな絵画ですが、それを掌の上で小さくミニチュアで再現して眺めてみるのも、結構楽しいものです。

■フィラデルフィア美術館所蔵のクリムト絵画を高解像度でリアルなVR表示にしてみよう!?　

　手作り感満載の（行き当たりばったりで作ったまさに手作りの）マブチモータ的な自動回転偏光フィルタカメラを使い、フィラデルフィア美術館で撮影した巨匠名画をリアルに写し取るシリーズ、クリムトの女性ポートレート（超巨大）のVR表示を、もう少し高解像度にしてみました。…手作りカメラで撮影した特殊画像データは比較的低解像度なので、普通のカメラで高解像度に撮影された画像と組み合わせることで、視覚的には結構高解像度に見えるリアルなVR画像の作成を狙ってみたというわけです。それはちょうど、JPEG画像が、色情報は低解像度でも明暗情報の解像度が高ければ自然に見える…ということと少し同じような「狙い」のもとに作ってみたVR画像表示です。

■美術館での「偏光カメラ撮影」から「VR表示」までに必要な作業の解説編　

　今夏、趣味で作った「偏光カメラ」で撮影した画像から、さまざまな「VR表示」を行ってみました。…そこで、特に美術館内で「巨匠の絵画を複製表示する仕組み」の作り方を書き留め・整理しておこうと思います。

　まずは、（たとえばカメラのレンズ前で偏光フィルムを回転させつつ動画撮影を行うなどして）撮影対象の表面で反射する反射光と物体内部で色づく光を区別する仕掛けを作ります。とても単純な仕組みとしては、カメラのレンズ前で偏光フィルムを回転させた際の動画輝度分布から、その際の輝度最小値を「内部拡散光」として、輝度最大値を「内部拡散光（色）＋表面反射光（色）」として、内部拡散光（色）や表面反射光（色）を決める方法があります。

　そういった光反射の特性を（たとえばOpenGL Shading Languageなどで表現してやるなどして）、タブレットやスマホで（周りの環境光を感じ取りつつ）リアルな表示をしてみたり、WEBブラウザで周囲の環境光下で見えるさまをインタラクティブに表示させることができます。

　ちなみに、美術館内での撮影は、（三脚使用が禁止されていることが多いので）手持ち動画撮影を行った上で、（偏光フィルムを回転しつつ撮影している動画に対して）手振れ補正を行う必要があります。…というわけで、「偏光カメラ撮影」から「VR表示」までの手順としては、偏光情報を記録しつつ動画撮影→動画を手振れ補正→（動画中の）画素機度の最小・最大値から内部拡散光（色）＋表面反射光（色）の推定→反射特性の推定→お好みに応じてVR表示…という具合になります。また、美術館内の環境光分布は、リコーのThetaなどを利用して撮影しておくのが良いかもしれませんね。

　次は、スマホ等をヘッドマウントディスプレイにするハコスコでも使って、美術館に行ったつもりになれるVRキットでも作ってみようと思います。