※本ブログは、米国時間 9 月 28 日に公開された ‛ From optics to AI: diving into Surface camera innovation ’ の抄訳です。 対応する Surface デバイスでビデオ通話を始めると、カメラ システムは照明や色の状況の変化に合わせて反応します。日差しが移り変わったときも、部屋が暗くなったときも、被写体の背後に明るい窓が映り込んだときも、自然な色合いと細部のディテールを保ちつつ、気になるノイズを抑えて鮮明さを維持するように設計されています。 最新の Surface Pro 12 インチと Surface Laptop 13 インチ Surface は、専用設計のカメラ モジュール、イメージ シグナル プロセッサ、オンデバイス AI、そしてラボとフィールドでのテストを連携させることで、こうした体験を実現しています。エンジニアは、各デバイスの電力と熱の制約の範囲内で、ハードウェア、ファームウェア、画像処理、AI を一体としてチューニングしています。AI Noise Reduction Gen2 と AI Enhancement は、Snapdragon X2 シリーズ プロセッサを搭載した一部の Surface Pro および Surface Laptop 構成でご利用いただけます。 DXOMARK に委託したテストは、こうした統合的なアプローチを外部の視点から評価する指標となっています。テスト対象の構成は、ノート PC カメラ ランキングでそれぞれ第 1 位と第 2 位を獲得しました (注 1)。このランキングは、テストと同じカメラ ハードウェア、ファームウェア、設定を備えたデバイスにのみ適用され、変更される場合があります。 現代の働き方においてカメラ エンジニアリングが重要な理由 自宅、オフィス、会議室、あるいは出張先など、どこから参加する場合でも、ビデオ通話は今や職場における主要なコミュニケーション手段となっています。従業員、顧客、同僚はカメラの映像を即座に目にするため、画質は非常に目立つ要素です。 Surface のカメラ開発は、「仕事で遭遇するさまざまな照明条件のもとで、人物を自然かつ鮮明に映し出す」という明確な目標から始まります。この目標を達成するには、光学、電子回路、ファームウェア、画像処理、AI、電力および熱設計、インダストリアル デザイン、そして Windows との統合を、1 つのイメージング パイプラインの中で連携させる必要があります。 Surface はイメージング システム全体を設計 イメージング パイプラインは、Surface 専用に設計されたカメラ モジュールから始まります。このモジュールは、レンズ、センサー、赤外線フィルター、電子回路をひとつにまとめたアセンブリであり、マイクロメートル単位の精度が求められます。モジュールには、画質を実現すること、デバイスのデザインと調和すること、そして消費電力を最小限に抑えることが求められます。 モジュールで取り込まれた画像は、次にイメージ シグナル プロセッサ (ISP) に送られます。ISP は、センサーの生データを通話や録画で表示される映像に変換する処理エンジンです。ISP には数十の処理ブロックと数千の調整可能なパラメーターがあり、コントラスト、トーン マッピング、収差補正、色、シャープネス、ノイズなどの画像特性を制御しています。 これらのパラメーターは、個別に最適化することはできません。シャープネスを上げるとノイズが目立ちやすくなり、ノイズを過度に低減すると本来のディテールが失われる場合があります。また、顔の露出を補正すると、背景の見え方も変わることがあります。そのため Surface のエンジニアは、カメラのチューニングを多変数の最適化問題として扱っています。モデリング、管理されたラボ評価、フィールド テスト、そして人が結果の画像をどのように知覚するかを評価する心理視覚分析を組み合わせ、測定可能な性能と自然な見た目の出力とのバランスを取っています。 ハイブリッド (AI と従来型) の画像処理パイプライン Surface のエンジニアは、それぞれの処理を、パイプラインの中で最も適した部分に割り当てています。ISP は数百の画像処理を担当します。さらに Surface のエンジニアは、各カメラ システムの特性に合わせて、数百万のパラメーターを持つ専用の AI モデルも開発しています。これらのモデルは、小さく遠くにある物体 (たとえばハエ) を、ドット欠け (デッド ピクセル)、センサー ノイズ、その他の画像アーティファクトと見分けるといった、従来の処理では特に解決が難しい課題に対応します。画質と電力効率の要件に応じて各処理を ISP または AI に配置することで、元のシーンの特徴を保ちながら、鮮明で自然な見た目の映像を生み出しています。 実際の通話が、スタジオのような照明のもとで行われることはめったにありません。明るい窓を背にして座ったり、薄暗い部屋で作業したり、暖色系と寒色系の光源の間を移動したり、1 つの強い色が支配的な空間から参加したりすることもあるでしょう。こうした条件下では、シーンの変化に応じて露出、ノイズ、ディテール、色のバランスを取ることが、イメージング システムにとって大きな課題となります。 AI Noise Reduction (AINR) は、ディテールを保ちながら映像のノイズを除去します。低照度の環境でもよりクリーンな映像を提供するため、より幅広い環境で安心してカメラを使用できます (注 2)。 Surface のチューニングでは、相反する複数の目標のバランスを取っています。被写体をはっきりと見せつつ部屋の雰囲気を損なわないこと、ノイズを抑えつつ質感を保つこと、そしてシーンが変化しても調整が目立たないことです。 低照度は特に厳しい条件です。センサーが受け取る有効な画像情報が少なくなる一方で、ノイズが目立ちやすくなるためです。単純なノイズ低減では、よりクリーンな画像が得られる代わりに細かなディテールが失われてしまいます。Snapdragon X2 シリーズ プロセッサを搭載した一部の Surface Pro および Surface Laptop 構成では、Surface は ISP のチューニングと AI Noise Reduction Gen2 を組み合わせています。AI Noise Reduction Gen2 は、薄暗い部屋などの低照度環境で、意味のあるディテールを保ちながら目に見えるノイズを低減するよう設計された自社開発モデルです。 大きな単色の背景や特殊な照明は、従来のホワイト バランス システムを惑わせ、不安定または不正確な色を生む原因となります。AI 支援によるオート ホワイト バランスは、シーンを分析して色の再現性と安定性を高めます。

AI 支援オート ホワイト バランス (AWB) は、シーンの特性をインテリジェントに分析し、全体的な色の再現性と安定性を向上させます。大きな単色の背景など難しい背景では、色が正確に再現されない場合があります。AI 支援 AWB により、シーンが変わっても安定した一貫性のある色合いを保ちながら、より正確に色を再現できます (注 2)。 撮影した映像を保ちながら向上させる AI Surface カメラ パイプラインの AI は、元のシーンの内容、色、雰囲気を保ちながら、撮影した映像を向上させます。Surface カメラの AI モデルは自社で開発されており、各カメラ システム固有の特性に合わせて最適化されています。 これらのモデルは、人工的なテクスチャを生成することなく、元の画像と映像の信号をもとに処理を行います。AI Noise Reduction Gen2 は、低照度環境で不要なノイズと本来のディテールを見分けるよう設計されています。AI Enhancement は、中程度から明るい照明のもとで、ノイズを低減しながら質感、局所コントラスト、鮮明さ、ディテールの向上に役立ちます。 AI Enhancement は、中～高照度のシーンでより多くのディテールを引き出してノイズを低減し、映像をよりシャープに、局所コントラストをより高く見せます (注 2)。 これらのモデルは完全にデバイス上で動作するため、画像や映像のデータはクラウドに送信されて処理されることなく、ローカルにとどまります。Surface カメラ チームによると、モデルのメモリ使用量は 8 MB 未満です。AI Noise Reduction Gen2 は 586,000 個のパラメーターで 1 フレームあたり 1,200 億回の演算を、AI Enhancement は 132,000 個のパラメーターで 1 フレームあたり 700 億回の演算を実行します。また、チームは NPU 上でフル フレームの入出力を 30 フレーム/秒で、フレーム落ちなく処理できることを実証しています。 NPU のアーキテクチャはシリコン プラットフォームごとに異なるため、Surface は各モデルを対象の NPU に合わせて最適化しています。モデルのアーキテクチャをプロセッサに合わせることで、効率的なフル フレームの AI 処理が可能になります。これにより NPU は、ユーザーが AI を別途操作することなく、カメラの品質を継続的に向上させることができます。 ユーザーが実際に体験することをテスト Surface のエンジニアは、モデリング、管理されたテスト、フィールド評価、心理視覚分析を組み合わせています。ラボでの測定では、再現可能な条件下で個々のコンポーネントがどのように動作するかを確認し、知覚評価では、完成した映像が人にとって自然に見えるかどうかを評価します。チームは数千時間に及ぶテストと詳細なパラメーター チューニングを実施しました。 調整可能な照明と画質テスト機器を使って複数のシナリオをテストする Surface カメラ ラボ エンジニアは、明るい日差しから薄暗いリビング ルームまでの照明を再現し、変数の変化に対してシステムがどのように反応するかを測定します。続いてフィールド テストで、ラボの外で起こる照明、背景、被写体の組み合わせを評価します。両方の環境から得られた知見は、ISP のパラメーター、ファームウェア、AI モデルのチューニングに反映されます。 こうした知見を組み合わせることで、エンジニアは、条件の整わないシーンでも、調整を目立たせることなく、予測可能で自然な見た目の結果を生み出せるようになります。 世代を重ねて築かれたカメラ イノベーション Surface Laptop と Surface Pro の世代を重ねるごとに、カメラ モジュール、ISP のチューニング、AI モデル、NPU の演算能力が進化し、イメージング パイプラインを強化してきました。対応する構成では、専用設計のカメラ ハードウェア、Surface の設計ガイドラインに沿って構成されたイメージ シグナル プロセッサ、そして自社開発の AI モデルが、1 つのイメージング システムとして動作します。 個々のテクノロジーはデバイスの世代ごとに進化を続けていますが、Surface のアプローチは一貫しています。それは、実際の業務環境を想定して設計すること、シーンの内容と特徴を保つこと、そして高度な処理によって鮮明さ、色、ディテールをリアルタイムで向上させることです。 イノベーションは単独で生まれるものではありません。数え切れないほどの設計上の選択、テクノロジー、エンジニアリングのブレークスルーが連携し、より優れた体験を生み出した成果です。まだご覧になっていない方は、本シリーズの最新ブログ 『Engineering touch into modern computing: The evolution of haptics on Surface』(Microsoft Community Hub) もぜひご覧ください。Surface を開発するチームの舞台裏のストーリーは、今後もお届けしていきます。どうぞご期待ください。 注 1：2026 年 4 月に DXOMARK に委託して実施した、Surface Pro 13 インチ (Snapdragon® X2 Plus (10 コア)/16 GB/256 GB) および Surface Laptop 13.8 インチ (Snapdragon® X2 Plus (10 コア)/16 GB/256 GB) のテストと、2026 年 6 月 16 日時点の DXOMARK ノート PC カメラ ランキングに基づきます。本記載は、テストと同じカメラ ハードウェア、ファームウェア、設定を備えたデバイスにのみ適用されます。ランキングは変更される場合があります。詳しくは DXOMARK の『Laptop Ranking』(https://www.dxomark.com/laptops/) をご覧ください。 注 2：結果は、構成、設定、使用するビデオ会議プラットフォームによって異なる場合があります。 Join the conversation