Appleは、噂されている「Apple Glasses」の将来の機能を示唆する「コンテンツが埋め込まれた輝きによる視線追跡の方法とデバイス」に関する特許(番号10,768,698)を取得した。
Apple Glassesは、拡張現実(AR)、仮想現実(VR)、複合現実(MR)向けに期待されているヘッドマウントディスプレイ(HMD)です。このデバイスの登場は、噂の信憑性にもよりますが、来年か2022年頃になると予想されています。ヘッドマウントディスプレイになるかもしれませんし、「通常の」メガネのようなデザインになるかもしれません。あるいは、両方のデザインが用意されるかもしれません。Apple Glassesは、動作するためにiPhoneに接続する必要の有無は不明です。他の噂では、Apple GlassesにはカスタムメイドのAppleチップと、「リアリティ・オペレーティングシステム(ROS)」と呼ばれる専用オペレーティングシステムが搭載される可能性があるとされています。

Appleは特許出願の中で、仮想現実(VR)、拡張現実(AR)、複合現実(MR)が、ユーザーの世界観を変える能力を持つため、ますます普及していると指摘しています。例えば、VR、AR、MRは、学習、ゲーム、コンテンツ制作、ソーシャルメディアやインタラクションなどの用途に利用されています。
これらの技術は、ユーザーの存在認識において異なります。VRはユーザーを仮想空間に転移させるため、VRにおけるユーザーの認識は現実世界におけるユーザーの認識とは異なります。一方、ARはユーザーの現実世界における認識に新たな何かを加えます。MRはVRとARを組み合わせた技術です。
これらの技術は、ハードウェア部品の小型化、ハードウェア性能の向上、ソフトウェア効率の向上などにより、ますます普及しつつあります。例えば、ユーザーは、コンピュータに接続され、ユーザーの視野を囲むヘッドマウントデバイス(HMD)を用いてVRコンテンツを体験することができます。また、ユーザーは、周囲の状況を確認できるHMD(光学シースルーグラスなど)を装着してARコンテンツを体験することもできます。
一例として、HMDはインタラクティブなAR/VR要素への入力としてユーザーの視線を追跡します。また、視線追跡は、ユーザーの視線方向や注視点に関する状況認識にも使用されます。さらに別の例として、視線追跡は中心窩レンダリングを実行するために使用され、焦点が合っていないコンテンツの解像度を下げて消費電力を削減します。
Appleは、視線追跡はAR/VR体験にとって有用な入力手段であると述べています。しかし、視線追跡は多くの場合、HMDに固定された発光ダイオード(LED)を用いて実現されます。これにより、HMDのハードウェアコストと設置面積が増加します。Appleは、コンテンツに埋め込まれたグリント(光)の方がより優れた解決策だと考えています。
本発明の概要は次のとおりです。「一実施形態では、方法は、視線追跡用に提供される複数の輝きを AR/VR コンテンツ ストリームの 1 つ以上のコンテンツ フレームに埋め込むことによって AR/VR コンテンツ ストリームを合成することと、1 つ以上の AR/VR ディスプレイを介して、HMD のユーザに AR/VR コンテンツ ストリームを表示することと、画像センサを介して、複数の輝きを含む AR/VR コンテンツ ストリームの 1 つ以上のコンテンツ フレームに対応する光強度データを取得することであって、光強度データには、複数の輝きが投影された HMD のユーザの目の投影が含まれることと、光強度データに基づいて HMD のユーザの目の向きを決定することとを含む。」