hirax.net::Keywords::「カメラ」のブログ

■全てのデジカメをリアル妄撮カメラにしてしまう狂気！無線LAN内蔵SDカードアダプタPQI Air Cardと機械学習の間違った使い方　

　先日、機械学習を使い人体姿勢を推定するアルゴリズム（コード）openposeをキッカケに、人を妄想的に脱衣させてしまうPC画像処理ソフト（ディープラーニングによる姿勢推定openposeで「男子の夢な（衣服の下を透視する）妄撮カメラ」を作ってみよう!?）や、そのスマホアプリ化（ディープラーニング姿勢推定openposeで「妄撮カメラ iOS版」を作ってみる!?）、さらにはiOSネイティブアプリケーション化をしてみました（機械学習による姿勢推定openposeで「妄撮カメラ iOS版（ネイティブアプリ）」を作ってみる!?）。…今日は、その最終駅として、お仕事で使うようなPCでもなく・いつも持ち歩くスマホでもなくて、もはや過去の遺物になりつつある「デジタルカメラ」をリアル妄想撮影カメラにしてみることにしました。

　実際のところ、そんなことはとても簡単です。すでに、撮影した画像をサーバに投げるだけで、姿勢推定や脱衣画像を自動生成するコードは書いてあるので（ディープラーニング姿勢推定openposeで「妄撮カメラ iOS版」を作ってみる!?）、その機能をデジカメから使うようにするだけで良いのです。…というわけで、内部で動作するLinuxを自由に使うことができる無線LAN内蔵SDカードアダプタPQI Air Cardを使い、SDカード内のJPGファイルに対して自動で人体姿勢推定と脱衣画像合成処理をするRubyコードを書いてみました。もちろん、こんなことはPQI Air Cardで動くRubyを知っている人であれば、実に簡単にできる作業です（デジカメ内部でRubyを動かす狂気！無線LAN内蔵SDカードアダプタPQI Air Cardの間違った使い方）。

　まずは、PQI Air CardにRuby（あるいはCurlなど)を（前記のリンク先などから）インストールしておきます。それと同時に、PQI Air Card が起動時から外部無線LANアクセスポイントに接続してクライアントとして動作する設定にしておきます（autorun.shから/usr/bin/w2を呼ぶだけですね）。そして、autorun.sh の最終端からRubyコードを起動して、/mnt/sd/DCIM内の".JPG"ファイル群に対して妄撮画像処理を実行させてやると、デジカメで撮影した（そしてSDカード内に保存された）写真に写る人が、いつの間にか中二妄想的な脱衣姿になってしまう…というわけです。

　そんなSDカードを作り、作ったSDカードをデジカメに刺して、撮影画像を妄想撮影してみた処理例が、右上の２枚の写真です。まずは左に写る画像が（PCに写る画面を）デジカメで撮影した画像で、デジカメ内部で（サーバを経由して）生成された妄想撮影画像結果が２枚の右側に写る画像です。

　機械学習の力を活用したopenposeを使い、SDカードのDCIMディレクトリのJPGファイルをフルオートマチックに妄想撮影画像にしてしまうRubyコードをウンストールしたのが右のSDカードです。このSDカードを刺すだけで（刺したら最期）、ほぼ全てのデジカメが妄撮カメラに変身してしまいます。レンズを向けた風景に写るひと全てが、一皮も二皮も剥けた姿に変わってしまうのです。中二男子には素晴らしい道具ですが、それ以外の人にとっては単なる極悪ツールです。

　ちなみに、そんな極悪もしくは中二男子の妄想的機能を備えたRubyコードが動くSDカードを刺したコンパクトデジカメです。つまり、世界初のリアル妄撮コンパクトデジタルカメラ。…世界を変えることはないでしょうが、このカメラをひとたび手にしたならば、あなたが見る世界を・周りに存在する世界を見る目を変えてしまう…かもしれません。

　書いたコードは、ここからダウンロードできるようにしておきます。

■WEBカメラアプリ「私、脱いだらスゴイんです！ー筋肉自慢 版」　

　WEBベースのカメラアプリ、「私、脱いだらスゴイんです！ー筋肉自慢 版」を書いてみました。先日作った「妄撮アプリ」、つまりはopenpose を使った人体姿勢推定からの脱衣的な画像処理を、取り回し良いように修正を入れた上で、スマホ対応のWEBカメラアプリ（撮影・画像処理アプリ）にしてみたものです。

　画像処理のサーバ側は、Python/bottleという、恐ろしいチープさなので、サーバが無反応とかエラー返すことも多そうな気もしますが、「まぁ気にしない」ということにしておきましょう。

　WEBカメラアプリ「私、脱いだらスゴイんです！ー筋肉自慢 版」のURL、"/lookInside/muscle" というURLを眺めると、当然「これはアレだな。muscle部分を変えれば、違う用途にも動きそうだな。"lookInside"が”手続き”で、"muscle"部分がーどんなキーワードにもとづくかーなんだな」と思われそうです。･･･もちろん、実際のところ、そういう作りにしていますが、この記事を書いた時点では look inside できるのは "muscle" だけにしてあります。

■続「妄撮カメラソフト」WEBアプリ版（胸限定）を作ってみた。　

　春が終わる頃、京都の街を散歩中に学生時代を思い出し、「男子の夢な（衣服の下を透視する）妄撮カメラ」を作りました。そして、梅雨が終わり夏本番に入る頃、そのコードをもとにして、WEBカメラアプリ「私、脱いだらスゴイんです！ー筋肉自慢 版」を動かしてみました。…ただ、筋肉自慢ソフトというのは、「かつての自分がやりたかったこと」とは違う「画像入れ替え処理」のせいか、心のモチベーションがどうにも上がらないな、とも感じていました。

　そこで、自分で使い倒すソフトにするなら「こうありたい（こういう機能が欲しい）」という初心に戻り、「妄撮ソフト（胸限定）」として、多少のコードを書いてアップデートさせてみました。 　

　使い方は簡単で、右のQRコードもしくは、上記のリンクからカメラソフトを立ち上げ、「カメラ撮影/もしくは撮影済みなどの画像を選択」した上で、「妄想する！（Strip it off!）」ボタンを押すと、その妄想が現実のものとして具現化するのです。
　HTML5ベースで動くので、特に環境を選ぶことはないと思いますが、動作テストをしたのはApple iPhone 6s(iOS10/iOS11 Safari)のみです。
　また、試しに使っているようすを撮影したものが、下に貼り付けた動画です。簡単に「現実の世界から妄想が生まれる」さまがわかるかと思います。

■スマホで「（光の波長ごとのイメージを取得する）分光撮影カメラ」を作ってみよう！　

　一番身近にある各種センサを備えたコンピュータ、いわゆるひとつの「スマホ」を使って簡単に特殊撮影をしたり・色々遊んぶツールを作っています。そのひとつとして、スマホを使った「（光の波長ごとのイメージを取得する）分光撮影カメラ」があると一体どんなことができるかを確かめてみたくなり…試しにスマホ分光カメラを作って蛍光灯を撮影してみました。撮影し蛍光灯は、右上に貼り付けたいたって普通の蛍光灯です。

　スマホ分光カメラで撮影した分光画像を、カメラから観た時の画像XY座標と光の波長方向軸（長波長←→短波長）で眺めてみた動画が下に貼り付けた動画です。眺める景色を、その光の波長ごとに分解したイメージとして意識することは少ないので、こうして眺めてみると少し面白い気がします。

■空を限りない青空にするスマホ版「偏光カメラ」を作ってみよう!?　

　3年半くらい前に作った（コンパクトデジカメを使った）偏光カメラを、スマホ版として作り直してみました。スマホに、秒24回転くらいの回転偏光フィルタユニットを取り付けることができるようにして、スマホを240コマ／秒くらいの高速撮影モードにすることで、秒24コマの特殊な動画撮影を行うことができるカメラを（今や一人一台誰もが持ちつつあるスマホを使って）仕立ててみた…というわけです。

　空を限りなく青空にして、そこにあるものの色を可能な限り純色にする、そんな特殊な動画撮影を、ほぼ全てのスマホで行うことができるようになります。一体どんな特殊撮影が可能になるかというと…たとえば、下に貼り付けた画像は、普通に撮影した画像（左）と映り込みを極限まで減らして、色をできるだけ鮮やかにした画像（右）の例です。

　右上の画像では、物体表面の散乱反射光が（可能な限り）減らされています。つまり、空気の中で生じる光散乱光をとても減らした結果、まるで「空気が無い宇宙空間に、街が佇んでいる」ような、「昼間のような、夜間のような」…不思議な街景色になっていることがわかります。

　色鮮やかにするだけでなく、たとえば下に貼り付けた動画のように、その他にも色んなことができます。…けれど、そんなエトセトラは、また週末にでも遊んでみることにしようと思います。