Nikon Imaging
Japan
At the heart of the image.

ザ・ワークス Vol.41 シーン認識システム

シャッターを切るとき、プロフォトグラファーは経験則に基づいてフォーカス、露出、ホワイトバランスを調整します。「シーン認識システム」は、その一連の脳の判断を、撮影者の脳に代わってカメラがサポートするという、まったく新しい概念を実現したシステムです。デジタル一眼レフカメラ ニコンD3とD300の「シーン認識システム」の誕生エピソードを、開発者の視点から紹介します。

竹内 宏 (たけうち・ひろし)

映像カンパニー 開発本部第三開発部第一開発課所属
1995年入社後、フィルムカメラの測光技術開発を経て、デジタル一眼レフカメラの測光、TTL調光の技術開発に携わる。D3、D300に搭載されたシーン認識システムの開発では主動メンバーとして奔走。休日はCOOLPIXで愛娘のショット&動画撮影を楽しむほか、仲間とサンバの演奏をするのを一番の楽しみにしている

進化した光学技術と情報処理技術の融合でプロの脳の判断をシミュレート

1005分割RGBセンサーをD3のペン
タ部から取り外し、説明する竹内
さん。
センサー上に鮮明な像を結ばせる
回折格子

発表から話題になったシーン認識システムを搭載したD3、D300がいよいよ登場しました。 まず、シーン認識システムとはどんなものなのか教えてください

「技術的には、1005分割RGBセンサーから得た色情報や輝度情報などから被写体を解析し、その結果を AF(オートフォーカス)、AE(自動露出)、AWB(オートホワイトバランス)に応用させて、より高精度な制御を行うものです。F5に初めて搭載された 1005分割RGBセンサーは、主に測光用センサーとして露出の精度を高めてきました。今回はプリズムと測光用レンズの間に回折格子を設けることで、 1005分割RGBセンサーが被写体の色と明るさをより正確に検出できるようになり、AEやAWBの精度を一段と向上させ、さらに被写体の画面内での位置変化までも認識して、AFの分野にも応用できたことが大きな特徴です。」

1005分割RGBセンサーで得た情報を、AF、AE、AWBのすべてに応用するのですか? 高性能化するカメラ技術においても、まったく新しい発想ですね。

「はい。カメラの常識を根底から変えた、といってもいい画期的な技術です。3D-RGBマルチパターン測光では、センサーから得た情報で露出精度を格段に高めましたが、さらに明るさ以外のさまざまな要素の「認識」を人間の脳に近いレベルに進化させたのが、今回のシーン認識システムです。たとえばファインダーを覗いたとき、「何が写っているんだろう」「被写体がどんな風に動いているのだろう」など、被写体を認識する人間の複雑な判断を、ある程度カメラに委ねてしまおうというのが趣旨です。今までAE、AF、AWBの技術は、それぞれ単独で進化を遂げてきました。しかし、個々の技術は成熟しても、その間をつなぐ技術がなかった。シーン認識システムは、まさに個々の優れた技術を結ぶ基盤技術。特にプロのフォトグラファーは、経験則に基づいて露出、フォーカス、ホワイトバランスといった緻密な計算を脳で自然に行いますが、この複雑な計算を1005分割RGBセンサーで捕らえた色や輝度の情報をもとにサポートします。」

よりプロフォトグラファーの脳に近い判断をサポートする。それを実現するハードウェアとして、 今回は回折格子が大きなポイントになっているようですね。

「そうですね。パッと見るとただの小さなプラスチックの板ですが、実はここに施されたギザギザがとても重要です。回折格子は特殊なフィルターで、ナノメートルオーダーの精密な加工がされています。これにより光を赤・緑・青に分光し、1005分割RGBセンサーに、より適切に光を入射します。センサーの能力をフルに引き出すことで、赤・緑・青に分かれた光がより鮮明な色を再現し、AE、AF、AWBへ情報を渡すための高度な演算を可能にしています。また、この演算もさまざまな情報の合わせ技ですから、演算の規模がものすごく大きい。今回のシーン認識システムの開発キーワードは“進化した光学技術と情報処理技術の融合”といえるでしょう。」

AF、AE、AWBへのシーン認識の応用で、性能、機能を飛躍的に向上

ステッパー用レンズコート開発後に交換レンズの設計
部門に異動になったことで、 カメラへの転用を思いついたと
語る田中さん。

具体的にどのような機能に生かされているのですか?

「まず柱になっているのが「被写体判別」と「被写体追尾」です。1005分割RGBセンサーで得た情報から、まず背景、前景を判別し、被写体の人物の肌の色を識別。さらにその部分の大きさを判断します。この被写体判別情報をオートエリアAFに使って、人物を重視したフォーカスを自動で行います。また、被写体の平面方向の動きをとらえてダイナミックAFに反映させることが可能になりました。被写体がフォーカスポイントから外れても、常に被写体にピントが合った画像を撮影することができます。これが被写体追尾による「3D-トラッキング」です。」

これはすごい。ファインダーをのぞいたときに違いがすぐにわかります。 スポーツ撮影などに生かせそうですね。

「まさにそうですね。D3とD300に搭載された51点AFシステムによってAFの性能は格段に上がりましたが、さらに3D-トラッキングが実現したことで、被写体をずっと真ん中にして追うのではなく、追いながら自由な構図で撮影できます。例えばテニスの試合なら、被写体のプレイヤーがバックハンドとフォアハンドのときでは、左右の余白のとり方を変えたいと感じますよね。スピーディーな動きに合わせてアングルを切り替えられる、撮影しながら構図の工夫ができることは、大きなアピールポイントだと思います。」

肌の色の識別ということで素朴な疑問ですが…。 肌の色は万国万別。肌の色の違いも識別できるのですか?

「明るさの違いで、人の目から見ると違う色に見えますが、どんな肌でも色としての傾向がとても似ているんですよ。被写体を識別するときは、肌の色の傾向で判断しています。」

AEやAWBではいかがですか?

「画面内のハイライト部分をきめ細かく解析して、マルチパターン測光、i-TTL-BL調光に応用して、より正確な露出制御を実現しています。またAWBでは、以前から測光センサーのデータをホワイトバランスに応用していましたが、今回はさらに複雑な解析をすることで、いかなる照明下でも適切に光源を判別します。たとえばカメラには、森の中にいるときの緑と、蛍光灯などの緑の光が、同じ緑色に見えてしまいます。つまり1枚の画像からでは「何の緑色なのか」を判別することが困難なのです。シーン認識システムは、撮影画像からの情報に加え、1005分割RGBセンサーからの情報も用いてデータベースと照らし合わせ光源の判別を行うことで、屋外の緑か、室内の蛍光灯なのかを判別する精度が向上しています。」