CP+ 技術アカデミー 垂直分離型Foveonイメージセンサーについて
CP+の技術アカデミーに行ってきたので、そのまとめです。
まずはデジタルカメラのイメージセンサの種類について
画像は配布資料からの抜粋です
イメージセンサーにはベイヤーとフォビオンの二種類があります。この二種類はそもそも、光の捉え方から考えが違います。
ベイヤーは光を粒子として捉えてます。センサーの前面にカラーフィルターを置いて、光の三原色である赤、緑、青を分離し、それぞれの光子をセンサーに取り込んで、デジタルデータとして取り出しています。
それに対して、フォビオンは光を波として捉えています。光は色によって波長が異なり、シリコンに侵入する深さが色によって異なります。波長の短い青は0.4マイクロメートルくらいしか侵入しないのに対し、波長の長い赤は4マイクロメートル近くまで侵入します。フォビオンはこの光とシリコンの特性に着目し、カラーフィルターを使わず色を再現できるセンサーです。
Foveon X3センサーが最初に開発されたのは2002年でした。第一世代のフォビオンは2268x1512の340万画素x3で約1000万画素。第二世代のフォビオンは2008年のSD14に搭載された2640x1760x3の1400万画素。第三世代はいわゆるMerrillセンサーで4704x3136x3で4600万画素。
順調に解像度を増やしていったのですが、フォビオンはその特性上データ量が3倍になってしまうので、もし同じ構造でベースを2000万画素に増やすと6000万画素になってしまいます。この点を改善したのが最新のクワトロセンサー。5424×3616というベースの解像度を持ちながら、二層目、三層目を4ピクセル分結合することで画素数を減らすことができました。
クワトロセンサーはトップの層で輝度情報を得られるので、その情報を元に、下層のデータを復元します。最上面ではすべての色の情報を得られているし、センサーに入った光子は全て捕捉しているので、データは一切欠落しておらず、それゆえオリジナル情報を再現することが可能になります。
しかし、これは事実ではありません。「光の三原色」という概念をもう一度考え直す必要があります。
そもそも色とは何でしょうか？赤い光子、青い光子が飛んでいるのでしょうか？
そうではありません。光には波長と放射量の二つの性質しかありません。その光が目に入り、網膜の細胞が化学変化を起こして脳に信号を伝え、それを脳が色に変換しているのです。この「光の感じ方」に絶対的な尺度はありません。脳内の反応なので、個人、年齢、性別、文化などによって異なり、比べる方法はありません。
ディスプレイはRGBの三色で色を表現していますが、センサーもこれと同じでいいのでしょうか？例えば青よりもさらに波長の短い紫は、RGBセンサーだと「暗い青」としてしか認識されません。同様に、赤よりも波長の少し長い色も「暗い赤」として記録されます。これでは正確な色再現に問題が出てきます。
少し話を変えて、人間以外の色の把握を見てみましょう。
例えば鳥の目は紫外線を捉えることができるので、４種類の色を捉えることができます。紫外線以外の三色は理想的なRGBの波長に近いのですが、それぞれの色が捉えられる範囲はかなり広くなっています。
同様に、人間の目も捕捉出来る色の範囲は重なりあっています。この重なっている部分を脳内で分離して、色として認識しているのです。しかし、人の目の特徴は鳥とは違い、赤から黄色に渡る範囲（500nm～600nm）をより繊細に認識できることにあります。これの理由はわかりませんが、おそらく進化の過程で、赤や黄色に敏感であること、例えば血の色、果物、仲間の顔色など、黄色から赤色を識別できることが、生存に有利な状況があったのではないでしょうか。
もう一度フォビオンの分光特性に戻りましょう。
フォビオンは人間の目に近い分光特性を持っています。それは、すなわち、人間の目と同じく、全ての波長を捉えられる、全ての色を測定できることを意味します。RGBだけを捉えるセンサーでは、捕捉できない波長が出てきてしまうのです。
色というものをもう一度考えなおしてみましょう。
色というのは、連続する光です。それをデジタルカメラで記録し、そのデータを元にRGBで再現された液晶ディスプレイで見たり、CMYKに変換され、それぞれのインク粒子を混ぜあわせたプリントで見たりします。そのどれもが人間の脳の働きで「同じ色」に感じるのです。
色を表現する方法は一つではありません。このように、元々は異なる波長だった光を、様々な方法で表現できる。RGBはその手段の一つにすぎないのです。
ここで少し話を変えて、モノクロ写真について考えてみましょう。
写真表現の中で、モノクロ写真は長い歴史があり、愛好家もたくさんいます。現在もモノクロセンサーを搭載したカメラが市販されています。
モノクロセンサーは一般的なベイヤーセンサーからカラーフィルターを取り外したものです。カラーフィルターによって光が損失してしまうので、フィルターのないモノクロセンサーはモノクロ写真に適していると考えられています。しかし、はたしてそれは真実でしょうか？
なので、明るいところと暗いところでは、私たちの色の認識の仕方が異なるのです。例えモノクロ写真でも、明所と暗所では色の把握の仕方が異なり、それゆえ、見えている世界も変わってくるのです。このような変化に対応するためには、やはりカメラが正確な色を把握できなければいけません。
しかし、RGBフィルターセンサーでは、補足する色がRGBのみでその中間の色は「盲点」となり、データに記録されません。
上の図の480nm付近と580nm付近はRGBではカバーできない「三原色の盲点」です。例えば黄色がこの盲点に当たるのですが、ちょうど緑と赤の間に入って、正確な色と輝度が測定できません。この欠点を補うために、RGBセンサーでは周辺の他の色の情報を混ぜて、混色として黄色を表現しています。しかし、これは純粋な黄色とは違うので、周辺にある別の色も誤って増幅されてしまい、結果として本来有り得なかった色が作られてしまうのです。
フォビオンセンサーには、色の盲点はありませんから、全ての色を再現できます。
また、先ほどの明所と暗所の目の細胞の違いからくる色の感じ方も、フォビオンセンサーならデータ処理で対応できます。全ての波長の色を測定できるので、細胞のピークの違いに合わせた処理を、簡単に行うことができるのです。
ここにシグマの社員が朝焼けを山から撮った写真があります。山と山との間にある暗い部分は、実際に目撃した時には杆体細胞の働きによって少し青みがかって見えます。この微妙な青は、RGBセンサーでは潰れて黒くしか写りません。しかし、フォビオンセンサーなら、実際に眼にした光景と同じ画像を再現できるのです。
モノクロセンサーで同じことをしようと思ったらフィルターを使用するしかありません。しかし、フォビオンなら事前に何も準備しなくても、ただその光景を写すだけで、フィルターを使用したのと同じ効果が得られます。フォビオンのモノクロは、単に光子の量を測定しただけではありません。それぞれの波長の色がどれくらいの強さだったのか、途切れることなくしっかりと記録することができるからです。
最後に、シグマの写真への思いを述べさせていただきたいと思います。
まず、自然に対して謙虚であれ、ということです。どんな波長の光も取りこぼさない。そこにある全ての光を情報として補足すること。
次に、人の感受性を尊重すること。光の捉え方は、個人によっても、時間によっても異なります。その違い全てに対応することです。
最後に、写真を撮る道具を作ることへのこだわりです。今回はセンサーの話が中心でしたが、カメラにとってセンサーは網膜に当たります。それに加えて、眼としてのレンズ、脳としての画像処理エンジン、その全てにこだわっていくことで、本当の写真表現ができると考えています。
世界は複雑に出来ていますし、人間もまた複雑です。とてもRGBの三色で割り切れるものではありません。しかし、複雑だからこそ出来る表現があると思っています。
人間の画像処理はとても優秀で、まだまだできていないことが多いです。特にフォビオンはノイズが混ざると色が変わってしまうので、ノイズ対策がとても重要になってきます。
クワトロセンサーは、高解像度時代に対応するために開発されました。高解像度を維持しつつ、データ量を抑え、またノイズ対策を行っているので、今まで以上の画像を作ることができます。
ありがとうございました。
質疑応答
Q:JPEG SUPER HIというモードがクワトロにはあるが、これは何なのか？
A:ベイヤー方式の画像処理技術はものすごく進歩していて、少ないデータからでも優れた画像が作れる。今回、その技術をフォビオンに応用して、フォビオンデータをベイヤー的に処理したらどの程度の大きさの画像ができるのか試してみた。実際かなり優れた結果が出たので、試してほしい。
Q:クワトロで一番上だけ４分割したのはなぜか？
A:理論的には緑を４分割することもありえたが、最上層で全ての色の情報を取っており、一番データ量が多いので、それを分割して解像度を上げることにした。
以上です。
