2006-01-31[n年前へ]
■「撮影後に画像処理で手ブレ補正するデジカメ」 
カメラ内のジャイロセンサーにより「シャッターボタンを押した際のカメラの揺れ・ブレ軌跡」を計測し、画像処理でモーションブラー(カメラに対して物体が動くことにより生じるブレ)を除去(デコンボリューション)するというオリンパスのデジタルカメラμ810(紹介記事)。上記メーカサイトでデモを眺めることができます。撮影後の「ユーザ処理」がどんな手順であるかとか、「補正画像の品質度合いの目安」などを知ることができます。
ジャイロセンサーで計測した「カメラの動きを示す数値」を撮影画像のタグ内部に記録しているのであれば、また色々と別の楽しみ方も考えることもできそうですね。関連情報は「モザイク消し器の真実」「アダルトビデオの科学」「恋のインパルス応答」などでしょうか。
2006-02-12[n年前へ]
■斜め配置CCD・CMOSの秘密 前編
「hirax.netラボ」と題して、「斜め配置CCD・CMOSの秘密 前編 (2006.02.12)」というものを書いてみました。ラボなんて言っても、旧名称は「自主学習」だったページですから、大した内容ではありません。もちろん、話の確からしさなんて怪しいものです。
話の内容は、「画素を45度回転させ斜めに配置した」クリアビッドCMOSセンサをSONYが発表した時に、Fast & First 情報掲示板(No.9601, No.9603)で書かれていた「斜め配置センサと通常配置センサの解像度」についてのエトセトラ、です。Fast & First 情報掲示板を面白く読みながら、書かれていたことを自分なりに整理して、つらつら考えた内容をメモしてみたというわけです。
■斜め配置CCD・CMOの秘密 前編
「画素を45度回転させ斜めに配置した」クリアビッドCMOSセンサをSONYが発表した時に、Fast & First 情報掲示板(No.9601, No.9603)で「斜め配置センサと通常配置センサの解像度」について少し書かれています。それを面白く読みながら、書かれていたことを自分なりに整理して、つらつらと考えごとをしてみました。その内容を前編・中編・後編としてまとめてみることにします。あくまで撮像素子の部分だけを考え、後の画像処理の部分については全く考えていません。また、素人のテキトーな自主学習なので、内容について信頼性が全然ないことをお断りしておきます。
撮像素子を45度傾けると高解像度に
通常の撮像素子の画素は垂直・水平方向に綺麗に並んでいます。例えば、撮像素子の画素を適当に描いてみると右のような感じになります。つまり、単位長さ1×1の大きさの正方形状画素が（各画素が垂直・水平方向に並びながら）平面をびっしり埋めている、というイメージです。こんなイメージ画像を描いてみた後に、水平(あるいは垂直)方向の解像度、すなわち「単位長さあたりの画素数」がどうなるかを考えてみることにします。
この場合、画素の大きさが1なのですから、距離(単位長)1あたり画素が1個あることはすぐにわかります。つまり、水平(垂直)方向の解像度は「単位長さ辺り1画素」となっているわけです。試しに、水平(垂直)線を任意の場所で描いてみると、「長さ1あたり画素を必ず1個横切る(長さ1あたり画素が1個ある)」ということを確認することができます。
それでは、この撮像素子中の画素配置を45度傾けた(回転させた)場合、水平(垂直)方向の解像度はどのようになるでしょうか？ この場合も、適当なイメージ画像を描いて考えてみることにしましょう。…そこで、右のように、各画素の配置を「45度」回転させた撮像素子を描いてみます。そして、水平(垂直)線を任意の場所で描いてみると、「ほぼ(つまりごく限られた特殊な条件を除き)」全ての箇所で「長さ√2あたり画素を必ず2個横切る(長さ√2あたり画素が2個ある)」ことがわかります。
つまり、水平(垂直)方向に対しては、単位長あたり「2 / √ 2 = √ 2 ≒ 1.4」個の画素があることになるのです。つまり、撮像素子の画素を45度斜めに傾いた配置にすることで、1.4倍の解像度化を実現することができた、ということになります。もちろん、（この状態で）45度斜めの方向に対する解像度は「単位長1あたり1個の画素」ということになっているわけですから、逆に言えば、水平・垂直方向に各画素が綺麗に並んでいる配置の場合には、45度斜めの方向に対する解像度が「水平・垂直方向よりも1.4倍高かった」ということになるわけです。
視覚特性は斜め方向には鈍い
ところで、人間の視覚特性は斜め方向に対しては感覚が鈍くなっています。ということは、人間が画像を眺める際には、その画像の斜め方向の解像度は低くても構わない、ということになります。斜め方向の解像度は低くても構わないから、その分水平・垂直方向の解像度が高い方が良い（アラが目立たない）というわけです。つまり、「ごくごく単純に考える限りは」画素配置を45度斜めに傾けたタイプの撮像素子の方が、人間の視覚特性と特性が合っていて都合が良い、という風に思えます。
それでは、現在多く発売されている製品で使われている撮像素子を45度傾ければ高解像度化するか、というとそうはなりません。それは、現状の撮像素子では（本来モノクロの）撮像素子をカラー化する時の手順中において、(多くの場合)すでに45度回転のテクニックが使われているからです。
RGGBフィルタを使ったカラー化の場合
本来「カラー」でない撮像素子をカラー化するためには、色のついたフィルタを撮像素子の前にとりつけることになります。例えば、原色フィルタと呼ばれる「赤・緑・青色のカラーフィルタなどを各画素の前にとりつけるシステム」では、赤色・緑色・青色それぞれの光の割合がわかるように、各画素の前にRGB(Red, Green, Blue)いずれかの色のフィルタをつけます。例えば、右のイメージ図はRGGB配列のベイヤー配列のカラーフィルタのイメージ図です。近隣4画素のうち、1画素ずつに青色と赤色のフィルタを張り、残り2画素に緑色のフィルタが張られています。緑色の画素が青色と赤色の画素の2倍の量にされているのは、人間が感じる視覚特性は緑色の成分によるところが大きいからです。
それでは、話を簡単にするために、人間が感じる視覚特性への寄与が大きい緑色に割り当てられた画素だけを抽出して、フィルタ方式のカラー撮像素子における解像度を考えてみることにします。右の画像は、緑色の画素だけを描き、そして各画素間の境界線中心を点線で描いてみたものです。このように、補助線を描いてみると、緑色を担う各画素がどのように配置しているかがわかりやすくイメージできるようになります。この点線で描かれた緑色の画素配置をひとことで大雑把に言ってしまえば、√2×√2の大きさの画素が45度傾いた状態で配置されている、ということになります。つまり、つまり、RGGB型のベイヤー配列のカラーフィルタを使ったカラー撮像素子においては、すでに45度回転配置により高解像度化のテクニックが（視覚特性への寄与が大きい緑色に対して）使われているというわけです。
実際、右の画像で、水平(垂直)線を任意の場所で描いてみれば、「ほぼ(つまりごく限られた特殊な条件を除き)」全ての箇所で「長さ2あたり画素を必ず2個横切る(長さ2あたり画素が2個ある)」ことがわかります。つまり、単位長さ1に対して水平(垂直)方向には画素が1個の解像度がある、というわけです。本来は「√2×√2の大きさの画素」ですから、もしも45度回転したような配置にしなければ、水平(垂直)方向には長さ√2あたり1画素の解像度しかなかった、ということになります。しかし、緑色が斜めに配置されたRGGB配置にすることで、緑色画素を45度回転させることができて、結果として1.4倍の高解像度化がされていることになります。
RGGBフィルタCCDを45度回転させたらどうなる…？
それでは、カラーフィルタがRGGBの配置をしている撮像素子を45度回転させた場合にはどのようなことが起きるのでしょうか？ 例えば、右の画像のように回転・配置させてみた場合には、解像度はどのようになるのでしょうか。右の配置は、ちょうど冨士フィルムのハニカムCCD（資料1資料2）と同じような場合なのですが、この場合に人間の視覚特性上重要な水平・垂直方向の解像度はどのようになっているのでしょうか？ …上の例と同じように、このRGGBフィルタCCDを45度回転させた場合でも考えてみることにしましょう。
さきほどと同じく、この右の画像には緑色の画素だけを描いてあり、そして各画素間の境界線中心を示す直線を描いてあります。すると、この場合というのは、「√2×√2の大きさの画素」が水平垂直方向に綺麗に並んでいることがわかります。そして、この画像中で水平(垂直)線を任意の場所で描いてみれば、全ての箇所で「長さ√2あたり画素を必ず1個横切る(長さ√2あたり画素が1個ある)」ことがわかります。長さ√2あたり画素が1個ということは、単位長さ1あたりならば水平(垂直)方向に画素が0.7個の解像度ということになります。
つまり、RGGBフィルタCCDを45度回転させてしまうと、視覚特性上重要な緑色の水平・垂直方向の解像度が「単位長あたり1画素」から「単位長あたり0.7画素」に低下してしまっている、ということになります。ということは、単純に「人間にとって重要な緑色の解像度」だけを考えるのであれば、（RGGBフィルタを使った場合）斜め配置センサは決して有利とはいえない、ということがわかります。
クリアビッドCMOSセンサの場合
単純に「人間にとって重要な緑色の解像度」だけを考えるのであれば、（RGGBフィルタを使った場合）斜め配置センサは決して有利とはいえないというのであれば、先日発表されたクリアビッドCMOSセンサの場合には一体どうなっているのでしょうか…？謳い文句の「画素を45度回転させ斜めに配置することで、1画素の面積を大きくしながら(高感度にしながら)、解像度は維持」というものは一体どういうことなのでしょうか？
そこで、SONYのサイトにある情報(右にページ・サムネイルで示したページ)を見てみると、RGGB配置のカラーフィルタを使っているわけではないことがわかります。4画素×4画素中に緑色を12画素を配置し・赤色と青色を2画素ずつ配置するという独自の配列です。つまり、大胆に言ってしまえば、ほとんどの画素を緑色担当にしているわけです。よくあるカラーフィルタの配置とは全く違うわけです。
ほとんどの画素が緑色担当ということは、非常に大雑把に言ってしまえば、緑色単色のモノクロ撮像素子のようなものですから、一番最初に「撮像素子を45度傾けると高解像度に」で書いたように、45度回転配置による高解像度化の効果が生じます。クリアビッドCMOSセンサの場合、1画素の面積を大きくすることで高感度を実現しようとしています。つまり、通常であれば1×1の大きさの画素の面積を大きくして、√2×√2の大きさにしてあります。そして、その画素を斜め45度に回転させたモノクロ撮像素子のようなものであるわけです。…ということは、結局のところ、上で考えてみた「RGGBフィルタを使ったカラー撮像素子」と全く同じ解像度であることがわかります。なるほど、赤色と青色の画素数を減らし、その分の面積を緑色に回すことで、高感度と高解像度を両立させようという考え方であるようです。
色情報の解像度はどうなる？ハニカムCCDなら…？
ところで、クリアビッドCMOSセンサの場合には、赤色と青色の画素数を減らしているわけですから、色情報の解像度をある程度低く設定しているわけです。また、「RGGB配置を45度回転させた」富士フィルムのハニカムCCDは（視覚特性上重要な）緑色に関する限り解像度の点で有利には見えないわけですが、やはり何らかのメリットはあるはずです。そこで、そういった点について、中編・後編で考えてみたいと思います。
2006-02-18[n年前へ]
■クリアビッドCMOSセンサのヒミツ
Tech総研ブログ平林 純@「hirax.net」の科学と技術と男と女に「クリアビッドCMOSセンサのヒミツ〜私たちの「色空間分解能」を確かめてみよう〜」を書きました。斜め配置CCD・CMOSの秘密 前編に書いたことの「続き」になります。今回の記事の補足などは、hirax.netの方にでも書いてみようと思っています。
それはともかく、今回の記事中後半に出てくる「画像の違い」を見分けることができるかに挑戦してみると面白いのではないか、と思います。
2006-02-19[n年前へ]
■(Thinkpad加速度センサにも対応した)万華鏡ソフト
後輩が「C言語」勉強のために作ってきた「万華鏡ソフト」に、少しだけ手を入れたものを公開しておきます。JPEGあるいはWindows Bitmapフォーマットの画像群を「(Thinkpad加速度センサにも対応して)万華鏡を通して眺めることができる」というソフトウェアです。（Kaleidoscopes.2006021901.lzh (561.kB)） 動作させているところを撮影した動画はこのようになります。画像を滑らかに切り替えながら、「綺麗な万華鏡の世界へあなたを誘う」という感じのものになります。
ちなみに、最近のThinkpadの加速度センサにも対応していますので、最近のThinkpad上で"KaleidoScopeThinkpad.exe"を動かせば、あなたがThinkpadを動かす仕草に応じてグリグリと万華鏡の中の世界が動きます。また、それ以外のPCでも"KaleidoScopeOther.exe"を動かせば、適当に万華鏡の世界を眺めることができます。
結構綺麗な画像が生成されるので、表示中の画面を(平面を埋めるように並べ)壁紙にする機能も加えてみました。「終了」「画像出力」「壁紙設定」などは「右クリックで表示されるメニュー」から選ぶようにしてあります。いっそのこと、「Flickr から適当な写真を色々取ってきて、万華鏡の世界に飾っておく」なんていう機能を加えてみても、面白いかもしれませんね。
」など。