噂の「Apple Glasses」(拡張現実/仮想現実/複合現実ヘッドマウントディスプレイ(HMD))は、新たに出願された特許(番号20200342231)からもわかるように、「認識されたオブジェクトと関連付けて合成現実コンテンツを提示」できる可能性がある。
Appleは特許出願の中で、仮想現実(VR)と拡張現実(AR)が、ユーザーの世界観を「驚異的に」変える能力を持つため、ますます普及していると指摘しています。例えば、VRとARは学習、ゲーム、コンテンツ制作、ソーシャルメディアやインタラクションなどに利用されています。これらの技術は、ユーザーが自身の存在をどのように認識するかが異なります。VRはユーザーを仮想空間に転移させるため、VRでの認識は現実世界での認識とは異なります。一方、ARはユーザーの現実世界での認識に新たな何かを加えます。

Appleによると、これらの技術は、ハードウェアコンポーネントの小型化、ハードウェア性能の向上、ソフトウェア効率の向上などにより、より一般的になりつつあるとのことです。例えば、ユーザーは、ハンドヘルドディスプレイ(ビデオパススルー機能を備えたAR対応のスマートフォンやタブレットなど)で、ユーザーの周囲のライブビデオフィードに重ねてARコンテンツを体験することができます。
別の例として、ユーザーはHMDまたはヘッドマウントディスプレイ(光学シースルーグラスなど)を装着することでARコンテンツを体験できます。さらに別の例として、ユーザーは、ユーザーの視野を囲み、コンピューターに接続されたHMDを使用してVRコンテンツを体験できます。
合成現実は、物事をさらに一歩進めます。合成現実(SR)環境とは、完全にまたは部分的にコンピューターによって作成された環境を指し、個人が電子システムを介して感知したり、相互作用したりすることができます。SRでは、個人の動きが監視され、SR環境内の仮想オブジェクトは、1つ以上の物理法則に従って変化します。
例えば、SRシステムは、数歩前方に歩いている人物を検知し、その人物に提示されるグラフィックや音声を、実際の状況における風景や音の変化と同様に調整します。人物は、触覚、嗅覚、視覚、味覚、聴覚など、いずれかの感覚を用いてSRオブジェクトとインタラクトしたり、感知したりすることができます。
特許出願の概要は次のとおりです。「一実施形態では、方法は、画像センサーから画像データを取得すること、画像データ内の物体の一部を認識すること、物体の一部に関連付けられた合成現実(SR)コンテンツ(複合現実、拡張現実、拡張仮想現実、仮想現実コンテンツなど)を取得すること、および物体の一部に関連付けられたSRコンテンツを表示することを含む。一部の実施形態では、SRコンテンツは、物体に対する電子機器またはユーザーの向きに依存する。一部の実施形態では、SRコンテンツは、物体に関連付けられたセンサーデータに基づいて生成される。」