Appleは、噂の「Apple Glasses」に関して（私の数え方では）10億件目の特許を取得しました。これは、拡張現実（AR）/仮想現実（VR）/複合現実（MR）ヘッドマウントディスプレイ（HMD）です。この特許は、「イベントカメラ付きAR/VRコントローラー」に関するものです。
HMDは、拡張現実（AR）システムや仮想現実（VR）システムにおいて、ユーザーの視野内に仮想的なグラフィックオブジェクトを提示するためによく使用されます。これらのオブジェクトは、周囲の現実世界の環境を補完または置き換える役割を果たします。AR/VRシステムには、この仮想体験を強化するために、ユーザーが仮想的なグラフィックオブジェクトとインタラクションできるようにする補助的なデバイスが搭載される場合があります。
例えば、セカンダリデバイスは、仮想体験のコンテキストにおいて剣やその他の道具に対応する場合があります。AR/VRシステムは、セカンダリデバイスとHMDまたは他のデバイスとの対応関係を追跡することで、仮想体験における剣の描写を更新し、セカンダリデバイスの動きを反映させることができます。
このような対応関係を決定する既存の技術としては、1台以上の従来のフレームベースカメラから取得した画像データを用いて、セカンダリコントローラの位置と向きを特定し、その位置と向きを時間経過にわたって追跡する方法があります。このようなフレームベースカメラの解像度は着実に向上しており（例えば、10～20メガピクセル以上）、AR/VRシステムはセカンダリデバイスの位置と向きをより高精度に特定・追跡することが可能です。
しかし、Appleは、精度の向上にはトレードオフが存在すると述べています。従来のフレームベースカメラの画像データには、フレームベースカメラの各ピクセルセンサーにおける絶対的な光強度に関する情報が含まれています。このピクセルごとの絶対的な光強度に関する情報が、1000万～2000万画素のカメラに含まれる1000万～2000万画素に掛け合わされると、AR/VRシステムはHMDとセカンダリデバイス間の対応関係を決定するために膨大な量のデータを処理しなければなりません。
そのため、フレームベースカメラの解像度向上に伴う精度向上には、膨大なデータ処理に必要なレイテンシの増加や電力バジェットの増加といったトレードオフが伴います。Appleは、Apple Glassesでこうした限界を克服したいと考えています。
Apple Glassesに関しては、噂の信憑性にもよりますが、来年か2022年に登場予定です。ヘッドマウントディスプレイになるかもしれませんし、「普通の」メガネのようなデザインになるかもしれませんし、あるいは両方になるかもしれません。Apple GlassesはiPhoneに接続して動作させる必要があるかもしれませんし、そうでないかもしれません。他の噂では、Apple GlassesにはカスタムメイドのAppleチップと「rOS」（リアリティ・オペレーティングシステム）と呼ばれる専用オペレーティングシステムが搭載される可能性があると言われています。
特許の技術的側面に興味のある方は、次の点に留意してください。
ヘッドマウントデバイス（HMD）のイベントカメラから出力されるピクセルイベントのストリームから光強度データを取得する方法。各ピクセルイベントは、イベントカメラのピクセルセンサーがコンパレータ閾値を超える光強度の変化を検出したことに応答して生成される。
イベントカメラから視認可能な、二次デバイス上に配置された光源群は、光強度データを用いて、光源に関連付けられた定義済みの照明パラメータを認識することによって識別される。光強度データを用いて、HMD参照フレームにおける光源の位置データが生成される。二次デバイスとHMD間の対応関係は、HMD参照フレームにおける位置データを、二次デバイス参照フレームを基準とした光源のそれぞれの既知の位置にマッピングすることによって決定される。
