hirax.net::Keywords::「スマホ」のブログ

■続 ３００円くらいで「高性能な立体顕微鏡」を作ってみよう!?　

　３００円くらいで「高性能な立体顕微鏡」を作ってみよう!?で試した、約300円で買ったスマホ用レンズで特殊撮影＋後処理＋３D表示をするソフトウエアを、スマホ（iOS）単体で行うことができるようにする作業をしています。

　そんな「３００円でできるスマホ立体顕微鏡ソフト」を作る作業をしていると、スマホが「ありとあらゆるセンサー」と「昔のスパコンレベルの計算能力」を備えているために、なんだかとても楽しくてハマっているところです。

　いわゆる「８月３１日まで」の夏休みの終わり･･･までに終えることはできそうにないですが、９月の終わりくらいまでには一旦リリースしたいなと思っています。

■スマホ撮影画像の「距離マップ」を使って「レンブラント」写真を撮ってみる　

　AppleのiPhone新機能の紹介記事、”コスプレをiPhone 8 Plusの新機能「ポートレートライティング」で撮影するとこうなる”がとても面白いです。内容は、（おそらく）スマホのステレオカメラなどを使って得られる「スマホの撮影画像に写る各点までの距離マップ」を使った画像処理により、さまざまな照明効果を使った写真撮影や動画撮影ができるというものです。紹介記事中では、 ”iPhone 8 Plus / Xの新機能「”ということだったので、普通のスマホで同じことをやったらどうなるか？を簡単に確かめてみることにしました。

　やったことはとても簡単です。まず、普通のスマホ（iPhone 6s ）で撮影位置を少し動かしながら画像を撮り、その画像から３次元・距離マップ情報を作り出します。そして、その距離情報を使って、撮影画像の色画像に適切な階調変換や照明処理を掛けてやるわけです。

　距離マップ情報が無い場合、つまり、色画像情報だけだと、（もしも単純に処理をしたとすると）「同じ色・輝度の場所は同じような画像処理を掛ける」ことになってしまいます。すると、階調変換処理により被写体だけを浮かび上がらせようとしても、背景にも同じ階調変換処理が掛かってしまい、できばえがイマイチということになってしまいます。けれど、距離マップ情報があれば、被写体だけを上手く浮かび上がらせた処理も、割と楽にできるというわけです。

　というわけで、撮影した生画像（左下画像）から、他撮影画像（右画像）との視差で生成した距離マップを処理データとして使いつつ作成した「レンブラントライティング」を掛けてみたのが右下画像です。「同じ明るさの場所に対して同じような階調変換」が掛けられているのではないことがわかるかと思います。そして、被写体（マネキン頭部ですが）だけを浮かび上がらせることもわかるのではないでしょうか。

　眺めていると、「レンブラントライティング」だけでなく、色んなリライティングの「モード」を、スマホのカメラで試したくなります。

■スマホで「（光の波長ごとのイメージを取得する）分光撮影カメラ」を作ってみよう！　

　一番身近にある各種センサを備えたコンピュータ、いわゆるひとつの「スマホ」を使って簡単に特殊撮影をしたり・色々遊んぶツールを作っています。そのひとつとして、スマホを使った「（光の波長ごとのイメージを取得する）分光撮影カメラ」があると一体どんなことができるかを確かめてみたくなり…試しにスマホ分光カメラを作って蛍光灯を撮影してみました。撮影し蛍光灯は、右上に貼り付けたいたって普通の蛍光灯です。

　スマホ分光カメラで撮影した分光画像を、カメラから観た時の画像XY座標と光の波長方向軸（長波長←→短波長）で眺めてみた動画が下に貼り付けた動画です。眺める景色を、その光の波長ごとに分解したイメージとして意識することは少ないので、こうして眺めてみると少し面白い気がします。

■安顕微鏡レンズを付けたスマホでレコードを撮影して音声化してみよう!?　

　最近のデジカメでレコードを撮影すると「レコード溝がクッキリ見える」という話を読んだ。ということは、”スマホでレコードを撮影すると音声再生するアプリができる時代が来そう”と思って呟くと、「思ったことは一体いつやるの！？今でしょ！今！」と諭された。…確かに、思ったことは、その時にやらないといつまで経っても何もできないような気もしてきます。

　そこで、ディスクユニオン横浜関内店に行くと、ちょうど「本日だけ！650円以下の全商品が100円！セール」をやっていたので、薬師丸ひろ子「セーラー服と機関銃」を買い、300円くらいの安い顕微鏡キットを付けたiPhone 6sでレコード溝を撮影してみました

　撮影手順は、静止画像で何枚も撮るのは面倒だったので、顕微鏡キットを取り付けたiPhone 6sを高速度撮影モードにして、レコードの上を滑らせながらの撮影です。そして、高速撮影動画を位置合わせ合成し、溝の太さをデジタル化することで、左右チャンネルを合成した音声ファイルを作成してみました。

　撮影した動画例は、下のようになります。実際には、レコード針が進む方向にとても長い画像ですが、左下の画像例は、それを圧縮したり・一部を拡大してみたものです。

　デジタル化したレコード溝の太さを、グラフにしてみたものが、下の画像です。また、音声ファイル（WAV）化してみたものもここに置いておきます。
　今回処理してみたのは、とても短い時間分なので、音楽として聞こえるようなものではありません。けれど、普通のスマホ＋300円くらいで、アナログレコードの音声デジタル化撮影が（普通に？）できるようになっているのは、何だか少し面白いものです。

■空を限りない青空にするスマホ版「偏光カメラ」を作ってみよう!?　

　3年半くらい前に作った（コンパクトデジカメを使った）偏光カメラを、スマホ版として作り直してみました。スマホに、秒24回転くらいの回転偏光フィルタユニットを取り付けることができるようにして、スマホを240コマ／秒くらいの高速撮影モードにすることで、秒24コマの特殊な動画撮影を行うことができるカメラを（今や一人一台誰もが持ちつつあるスマホを使って）仕立ててみた…というわけです。

　空を限りなく青空にして、そこにあるものの色を可能な限り純色にする、そんな特殊な動画撮影を、ほぼ全てのスマホで行うことができるようになります。一体どんな特殊撮影が可能になるかというと…たとえば、下に貼り付けた画像は、普通に撮影した画像（左）と映り込みを極限まで減らして、色をできるだけ鮮やかにした画像（右）の例です。

　右上の画像では、物体表面の散乱反射光が（可能な限り）減らされています。つまり、空気の中で生じる光散乱光をとても減らした結果、まるで「空気が無い宇宙空間に、街が佇んでいる」ような、「昼間のような、夜間のような」…不思議な街景色になっていることがわかります。

　色鮮やかにするだけでなく、たとえば下に貼り付けた動画のように、その他にも色んなことができます。…けれど、そんなエトセトラは、また週末にでも遊んでみることにしようと思います。