hirax.net::inside out::2017年10月07日

■スマホ撮影画像の「距離マップ」を使って「レンブラント」写真を撮ってみる　

　AppleのiPhone新機能の紹介記事、”コスプレをiPhone 8 Plusの新機能「ポートレートライティング」で撮影するとこうなる”がとても面白いです。内容は、（おそらく）スマホのステレオカメラなどを使って得られる「スマホの撮影画像に写る各点までの距離マップ」を使った画像処理により、さまざまな照明効果を使った写真撮影や動画撮影ができるというものです。紹介記事中では、 ”iPhone 8 Plus / Xの新機能「”ということだったので、普通のスマホで同じことをやったらどうなるか？を簡単に確かめてみることにしました。

　やったことはとても簡単です。まず、普通のスマホ（iPhone 6s ）で撮影位置を少し動かしながら画像を撮り、その画像から３次元・距離マップ情報を作り出します。そして、その距離情報を使って、撮影画像の色画像に適切な階調変換や照明処理を掛けてやるわけです。

　距離マップ情報が無い場合、つまり、色画像情報だけだと、（もしも単純に処理をしたとすると）「同じ色・輝度の場所は同じような画像処理を掛ける」ことになってしまいます。すると、階調変換処理により被写体だけを浮かび上がらせようとしても、背景にも同じ階調変換処理が掛かってしまい、できばえがイマイチということになってしまいます。けれど、距離マップ情報があれば、被写体だけを上手く浮かび上がらせた処理も、割と楽にできるというわけです。

　というわけで、撮影した生画像（左下画像）から、他撮影画像（右画像）との視差で生成した距離マップを処理データとして使いつつ作成した「レンブラントライティング」を掛けてみたのが右下画像です。「同じ明るさの場所に対して同じような階調変換」が掛けられているのではないことがわかるかと思います。そして、被写体（マネキン頭部ですが）だけを浮かび上がらせることもわかるのではないでしょうか。

　眺めていると、「レンブラントライティング」だけでなく、色んなリライティングの「モード」を、スマホのカメラで試したくなります。