Appleは、「現実環境を背景に仮想オブジェクトを表現する方法およびシステム」に関する特許（特許番号10,733,804）を取得しました。この特許は、iPhone、iPad、そしておそらくMacに搭載される予定の拡張現実（AR）機能と照明機能、そして噂されているARヘッドマウントディスプレイ「Apple Glasses」に関係しています。
ARでは、現実環境の映像（例えば、現実環境のビデオ画像）に、現実環境との空間的な関係性を持つ1つ以上の仮想オブジェクトのオーバーレイが組み合わされます。ARアプリでは、仮想オブジェクトは理想的にはビューに統合され、現実オブジェクトと仮想オブジェクトが区別できなくなります。
Appleによると、これは仮想オブジェクトを現実世界と同じ照明条件で照明または表示すること、そして仮想オブジェクトが現実世界の一部に影を落とすなどして照明を変化させることが重要だという。しかし、拡張現実シーンでは照明条件は通常不明かつ任意であるため、現実世界と仮想オブジェクトの照明を一致させることは困難、あるいは不可能である。
Appleは、ARアプリケーションにおいて現実世界と仮想世界のオブジェクトの照明を統一する一つの方法として、現実環境から放射される光を推定することを挙げています。しかし、最先端の一般的なアプローチでは、環境光を推定するために、鏡などの追加の装置や、魚眼カメラなどの特殊なカメラが必要になります。このため、これらのアプローチの適用範囲は明らかに制限されています。さらに、一般的なアプローチのほとんどは、環境光の方向しか推定できず、光源の位置を推定することはできませんでした。
この問題に対処するための様々な解決策がありますが、Appleはどれも満足のいくものではないと考えているようです。Appleは、特に照明条件が不明な環境において、ARアプリケーションの適用性を高めるために、現実環境のビュー内に仮想オブジェクトを表示する方法を提供したいと考えています。
発明の概要は以下のとおりです。「本発明は、現実環境のビューにおいて仮想オブジェクトを表現する方法に関するものであり、第一カメラで撮影された人間の顔の少なくとも一部の第一画像の画像情報を提供するステップと、人間の顔に特有の少なくとも一つの特徴を提供するステップと、第一画像における顔の画像領域の少なくとも一部を第一画像の顔領域として決定するステップと、第一画像の顔領域と人間の顔に特有の少なくとも一つの特徴に基づいて顔に当たる少なくとも一つの第一光を決定し、そして、少なくとも一つの第一光に基づいて、現実環境のビューにおいて表示装置上の仮想オブジェクトをブレンドするステップとを含む。本発明はまた、現実環境のビューにおいて仮想オブジェクトを表現するシステムに関する。」
