山木社長Q&A Part2:フォビオン・クワトロセンサーは本当に3600万画素以上の解像度なのか？（その１）
元記事：Sigma Q&A Part II: Does Foveon’s Quattro sensor really out-resolve conventional 36-megapixel chips?
技術的背景：フォビオンX3センサーと通常のセンサーの違い
フォビオン社は撮像素子を開発しているシグマの子会社だが、センサーの構造は他のメーカーのものとは全く異なっている。フォビオンのセンサーは、それぞれのピクセルが赤・緑・青の各色を同時に取り込むことができるので、ベイヤー配列のセンサーと比べて解像度に優れていると、長い間宣伝してきた。
しかし、クワトロと名付けられたフォビオンの最新のセンサーは、これまでのフォビオンセンサーとは異なる構造をしている。最上部の青の層と比べて緑と赤の層の解像度が少ない。しかし、シグマはこのセンサーが、実際の画素数よりも遥かに多い「ベイヤー換算」の解像度を持つと主張している。クワトロセンサーは最上部に1900万画素の受光部しか持たないが、これはベイヤー換算で3900万画素に相当するとしている。
これは本当に正しいのだろうか。それとも、単なるマーケティング的な「願望」にすぎないのだろうか？
今年の2月に日本の横浜で行われたCP+の会場で、私たちイメージングリソースはシグマCEOの山木和人氏、フォビオン社ジェネラルマネージャーのシリ・ラマスワミ氏、そしてソフト部門の副部長であるルディ・グトッシュ氏に話を伺うことができた。インタビューの前半は主に山木氏との会話だったが、この後半ではクワトロセンサーが技術的にどのように機能しているのかについてと、その解像度がどれくらいなのかについて集中して質問した。
山木和人CEO、シリ・ラマスワミ、ルディ・グトッシュの各氏
技術的背景：フォビオンX3センサーと通常のセンサーの違い
インタビューに進む前にフォビオンセンサーの構造と、他のセンサーとの違いについて確認しておいたほうが良いだろう。もちろんここで解説する内容も全てではないので、もっと詳細が知りたい人はフォビオン社の解説ページやウィキペディアを参照されたい。本当のマニアを自称するならフォビオンの学術論文を読むべきだ。
通常のセンサーは色のついたフィルターを使ってセンサーに入る光を赤・緑・青の三色に分離する。それぞれの受光部ではひとつの色しか検知できない。最も普及しているフィルターの配列方法はいわゆるベイヤーフィルターで、これは1974年にイーストマン・コダックで働いていたブライス・ベイヤー氏によって考案された。ベイヤーフィルターの配列はチェスのボードのようで、緑を感知するピクセルが青と赤の二倍あるのが特徴だ。
フォビオンX3センサーはそれぞれのピクセルで赤・緑・青の三原色を全て捉えることができる。それに対してベイヤーセンサーは一つのピクセルで一色しか検知できない。フォビオンX3センサーは、光がシリコンに浸入する時に、シリコンの深さによって到達する色が違うという特性を利用している。その結果、全てのピクセルで赤・緑・青の光の三原色を得ることが可能になる。
上の図はベイヤーセンサーとフォビオンX3センサーの比較である。構造を比較してみると、同解像度の場合、フォビオンセンサーの方がモザイクフィルターを利用したベイヤーセンサーよりも高い解像度を持つのは理にかなっているように見える。なぜなら、最終的にはベイヤーセンサーではバラバラに記録された赤・緑・青の各色を結合して各ピクセルでフルカラーの色を作らなければならないのに対し、フォビオンセンサーでは最初からフルカラーのデータを記録できているからだ。モザイクフィルターを使うと捕捉できる情報が少なくなるのは避けられない。
それでは具体的にフォビオンセンサーがベイヤーセンサーに対してどれほどの解像度を持ち、どのような特徴があるのか、という疑問は残る。フォビオン社によるこの質問に対する答えは、「フォビオンX3で撮られた画像は、同サイズの画像の場合、ベイヤーセンサーに対して二倍の解像度を持つ」というシンプルなものだ。この計算はセンサーの構造を考えれば理解しやすい。というのも、人間の視覚が持つ解像度は緑色に最も近いからだ。ベイヤーセンサーはそのピクセルの半分が緑色なので、画像サイズに対して半分の解像力しか持たないという考えは当たっているように見える。
この問題に関しては、インタビューの中でも取り上げる。その前に、新しく発表されたクワトロセンサーについて見てみよう。
フォビオンX3センサーの弱点の一つは、ベイヤーセンサーと比べてノイズが多いということだ。この理由はおそらく、センサー構造そのものにノイズが発生しやすいことに起因している。各層は縦に分離しているので光子が消失しやすいし、それぞれの画素で捉えられるのは純粋な色ではなく、混ざった色なので、そのデータから正確に色を再現することが難しいのだろう。この点についてはインタビューでも触れる。
一般論として、他の条件が全て同じだったら、受光面積が大きいほうがノイズは少なくなることはよく知られている。しかし、受光面積が大きくなってしまうと解像度が低くなる。それは本当に正しいのだろうか？クワトロセンサーでは、この矛盾する二つの要素を同時に解決したように見える。高解像度で偽色がなく、それでいて大きな受光面積による低ノイズを実現したという。クワトロセンサーの構造を見てみよう。
フォビオンの新しいセンサーであるクワトロセンサーは、およそ2000万の青の画素を持っているが、緑と赤は490万画素しかない。
上の図はクワトロセンサーの構造を表したものだ。最上部の青の層は下層の緑と赤に比べて四倍の画素を持っている。フォビオン社によるとこの構造でも、色解像度を含めて、これまでの構造と同じ解像度を維持できており、なおかつ色ノイズを劇的に減少できたという。この主張はいささか大げさに聞こえるし、三層のうち二層の画素が極端に少ないので、本当にそうだとパッと見では理解し難い。
これらの点についてインタビューで尋ねてみた。以下がその内容である。
IR(Imaging Resources)：私たちイメージングリソースは、クワトロセンサーについて話し合ってきたのですが、解像度をどのように考えればいいのか、なかなか結論が出ませんでした。発表によるとベイヤー換算で3900万画素相当の解像度を持っているとのことですが、青の層に対して緑と赤の層は少ない解像度しか持っていません。もちろん、通常のベイヤーセンサーでは全体の画像サイズに対して少ない輝度情報しか持っていませんが、どうやってこの3900万画素相当という数字を計算したのですか？
シリ・ラマスワミ（FOVEON）：さきほどおっしゃられたように、ベイヤーであれフォビオンX3であれ、センサーの構造と実際の画像との間には大きな隔たりがあります。しかし、今回の解像度については、クワトロセンサーでもメリルセンサーと同じように単純な話です。クワトロセンサーの場合は最上部の層が輝度を測定しており、その解像度が最も高いので、それをベイヤーセンサーの輝度情報と比較しているだけです。結果としては単純にフォビオンセンサーは同サイズのベイヤーの画像の二倍の解像度を持ちます。
IR：単に二倍するだけなのですか？
FOVEON：そうです。この数字は昔から変わっていません。フォビオンの解像度はベイヤーの二倍です。
IR：その数字は実際にベイヤーで撮られた画像と比較して得られたものなのですか？
FOVEON：もちろん、実際の画像を比較しています。二倍という数字はセンサー構造から論理的に導かれるものでありますが、実際の測定でもそれが証明されています。フォビオンは全ての色を同じピクセルで補足し、高解像度な画像を作る。実際の撮影がそれを証明していますし、それは最初からずっと変わっていません。
IR：つまり、それは裏付けのある数字なのですね。理論的に予測できるものが実際の撮影で裏付けられ、正しいと証明されている。
FOVEON：はい、実際の測定で、私たちの計算が間違っていないことを確認しています。
IR：ベイヤーセンサーでは、私たちの視覚が緑に一番敏感であるという特性を利用して輝度情報を得ていますが、実際の緑色のピクセルは、画素数に比べて半分しかありません。例えば2000万画素のセンサーだったら、緑色の1000万画素しか輝度情報がないことになります。しかし、実際は赤や青の画素からもある程度の輝度情報を得ているのではないですか？
FOVEON：そうです。もちろん、輝度情報は単純に緑だけからなるのではありません。しかし、現実にはベイヤーセンサーの緑のフィルターは人間の視覚ととても似通った働きをしているので、輝度情報の大半はやはり緑から来ています。青と赤から得られる輝度情報は極わずかで、解像度に与える影響はほとんどないんです。
また、解像度がどれくらい得られるかは被写体によって大きく変わります。理論的に得られる最大の解像度を実際に撮ることはほとんど不可能です。例えばご存知のように、いくつかのケースではモアレが発生て解像度が落ちます。ベイヤーではセンサーで全ての色が等しく処理されるわけではないので、モアレが発生してしまいます。このような状況ではほとんどの情報が使い物になりませんから、解像度も何もあったものではありません。高解像度はそれよりも、なめらかな階調に寄与することの方が実際は多いのです。
IR：なるほど、面白いですね。テスト画像を撮影する時に、私が作った小さな花飾りを使うんですが、黒地に赤、緑、青を重ねたものや、緑地に赤や青を重ねたものを撮影します。そうすると面白いことにものすごく大きな違いが出るんですよ。黒地に緑色が最も解像度が高く、画面中央では理論値に近い解像度を出せます。しかし、とりわけ青地に赤の組み合わせはものすごくぼやけます。しかし、フォビオンではどの組み合わせを撮影しても全く同じなのです。
FOVEON：はい、それは実際私たちもチェックしていることです。全ての色に対して均一な解像度を持っているのがフォビオンです。
IR：以前シグマの本社を訪問した時社長と話をしたのですが、最上層は青の情報をすべて持ってるから便宜上「青色」を担当していると説明していますが、実際は他の色も吸収していますよね。なので、一番上は青と言うよりは輝度情報に近いと。これについてもう少し説明をいただけますか。もちろん、今話した内容以上のことは言えないのかもしれませんが、解像度を得るためにどうやって輝度情報を取っているのか、説明をお願いします。
山木：分光特性の図があったのでそれを見ながら話しましょうか。
IR：それは助かります。
FOVEON：では始めましょう。先ほども話したように、フォビオンは人間の視覚、とりわけ網膜が光に反応するあり方にとても似通っています。人間の視覚はとても幅広い色に反応して情報を得ているのですが、フォビオンもそれと同じで、三つの層それぞれが全ての色と輝度情報を得ています。それなので、問題になるのは、いったいどのようにすれば最も簡単に色と輝度の情報を取り出せるのか？ということです。また、どのやり方が、最もノイズが少なくデータを得られるのかと。
IR：なるほど。そしてもちろん、最下層の赤を担当する画素ではほとんどわずかの青しか得られないのですね。
FOVEON：たくさんはないですね。
IR：けれども、わずかに混ざっている。
FOVEON：はい、いくらかは残っています。そして緑はもっとたくさん最下層に残っています。
IR：なるほど。
FOVEON：当然ですが、この方法にはいくつか弱点があります。例えばフォビオンが高感度に弱いということは、多くの人が既に知っていると思いますが、現在のベイヤーセンサーと同じようにはできません。
IR：色を取り出すのに各層のデータの差を計算しなければいけないので、もしノイズが混入したらその数字が大きくなってしまうのですね。
FOVEON：そうです。フォビオンは各色を引き算で求めていきます。しかし、この方式にも長所があって、それは各層のデータを組み合わせることができるということです。もし各ピクセルで一色しか測定できなかったら、そのデータを組み合わせることはできません。データを組み合わせることで、フォビオンはノイズの少ない、とてもきれいな絵を作ることができるのです。
