ファーウェイMate70に搭載されているカメラは、どのような光源であっても被写体の色合いを忠実に再現するとして人気になっている。この背後にはマルチスペクトルイメージング技術があり、スマホカメラだけでなく、医療などさまざまな分野に応用が期待されていると先看評測が報じた。
ホワイトバランスを超える色再現能力
昨2024年11月に発表されたファーウェイのMate70シリーズが売れている。注目されているのは、「紅楓原色映像システム」（ホンフォン）と名付けられた色再現能力だ。どんな光源下であっても、被写体の自然な色合いを再現する。
一般的なスマホカメラには、オートホワイトバランス（AWB）が搭載されている。これは自動で光源の色を推定して、色味を調整してくれる機能だ。例えば、電球色の照明を使った室内では、暖色系の光源となり、あらゆる被写体の色が赤みがかることになる。それをそのまま記録をしてもいいのだが、そうすると人間は違和感を感じることになる。人間は、それまでの経験から被写体の色を記憶しており、被写体本来の色を知っている。そのため、正確に色を再現した写真を見ると、「赤み被りをしてしまった」と感じるのだ。
そこで、AWBは、撮影する映像のうち、最も明るい部分を白とみなし、その部分の色が白になるように全体の色を調整する。さらには、全体の色彩からデータベース化された光源データと照合し、光源を推定し、微調整を行う。これで、人間が感じる色彩に近づくというものだ。
夕焼けの赤みを薄めてしまうホワイトバランス
ところが、このAWBも完璧ではない。データベースにある標準的な光源ではうまく機能するものの、特殊な光源下ではうまく機能しないことがある。例えば、夕焼けの風景だ。夕焼け時には光源が赤に偏り、あらゆるものが赤く染まる。しかし、AWBは空を白とみなして調整をするために、過剰に赤みを取り除いてしまう。そのため、全体の色が薄くなったような写真になってしまうのだ。光源の色を表現したい場合は、AWBをオフにして手動で撮影する必要がある。
ファーウェイの紅楓は、このような場合でも、被写体の本来の赤みを再現できる。
決め手になっているマルチスペクトルセンサー
紅楓のキモとなっているのは、マルチスペクトルイメージセンサーだ。与光科技（ユーグワン、https://www.seetrum.com/）との共同開発で、この与光科技は清華大学ナノオプティックエレクトロニクス研究室（https://nano-oelab.ee.tsinghua.edu.cn）での研究成果を商業化するために設立された企業だ。
Mate70のカメラユニットは大きな円状になっているが、この中心部分にマルチスペクトルイメージセンサーが配置されている。
9枚の写真を撮り合成して1枚にするiPhoneカメラ
一般的なカメラ用のCMOSセンサーにはRGB（赤緑青）の3色のカラーフィルターがつけられている。これにより、RGBそれぞれの色の明るさを把握し、それを合成することで１枚の写真を生成する。
しかし、実際には、これだけでなく、さまざまに複雑なことをしている。例えば、アップルのiPhone 11以降では、画像処理システムとしてDeep Fusionが搭載されている。これは１回シャッターを押しただけで、合計９枚の写真を内部的に撮影し、合成するというものだ。露光時間が1/25秒、1/85秒、1/200秒、1/350秒のものを２枚ずつ、さらに長時間露光のものを１枚撮影し、この9枚の写真からAIが最も鮮明な場所を選び出して合成している。
このような技術は、計算イメージング（Computational Imaging）と呼ばれ、スマホカメラだけでなく、医療や土木、ロボットなど幅広い分野に応用され始めている。
RGB3色ではなく、９色をセンシングする紅楓
ファーウェイの紅楓カメラには、RGBだけでなく、波長が異なる9色のカラーフィルターが搭載されている。この紅楓カメラは映像を撮影するためではなく、色彩を測定するためだけに使われる。
つまり、これまでのAWBは、RGB3色の情報に基づいてホワイトバランス補正をしていたが、紅楓では9色の情報に基づいてホワイトバランス補正をするため、光源の色を正確に推定することができ、どのような光源下でも、被写体の本来の色を再現できるようになったのだ。
幅広い応用が期待されるマルチスペクトルイメージング技術
このマルチスペクトルイメージング技術は、幅広い分野への応用が期待をされている。例えば、医療分野では、皮膚の乾燥、敏感などの症状が出ている場所を、撮影することで特定ができる。また、設定を変えることで、くすみ、色素斑などの予兆を察知することもでき、皮膚疾患や美容の分野での応用が期待されている。
また、被写体のスペクトルを分析し、データベースと照合することで、その被写体の材質なども判別できるようになる。生花と造花をスマホ撮影した写真から判別することも可能になる。
さらに、大きな期待が寄せられているのが生成AIの分野だ。生成AIが生成する映像は非常にリアルになったとは言え、それでもどこかつくり物の印象が免れない。これは色彩再現が粗いため、リアルな色とはどうしても異なるからだ。しかし、マルチスペクトルイメージング技術による色彩データがそろってくれば、皮膚の色や衣類の色を正確に再現することができるようになり、人間の目にはもはや本物と見分けがつかないリアルな映像が生成できるようになる。
「スマホのカメラはもはや進化が止まっている」とはよく聞くフレーズだが、それは単に画素数の数字しか見ていないから出てくる言葉だ。光学センサーとしては進化は頭打ちになっている、というよりこれ以上画素数を向上させることに実用的な意味はなくなっているが、その背後にあるAI技術が、今、猛烈に進化を始めている。医師が医療診断にスマホで撮影した写真を使うなどということが起きるのも、そう遠くないかもしれない。
