Appleが新たに取得した「深度ベースのタッチ検出」に関する特許（特許番号10,572,072）は、同社がARKit、噂の「Apple Glasses」、そしてiOS、iPadOS、そしておそらくmacOSデバイス上の拡張現実/仮想現実に関して依然として大きな計画を持っていることを示している。
ARKit を使用すると、開発者は最新のコンピューター ビジョン テクノロジを活用して、インタラクティブ ゲーム、没入型ショッピング体験、工業デザインなど、現実世界のシーン上に詳細な仮想コンテンツを構築できます。
Apple Glassesについては、噂の信憑性次第で、今年、来年、あるいは2021年に登場予定です。動作させるためにiPhoneに接続する必要の有無は不明です。また、Apple GlassesにはカスタムメイドのAppleチップと「rOS」（リアリティ・オペレーティングシステム）と呼ばれる専用OSが搭載されるという噂もあります。
Appleは特許情報の中で、ユーザーの指が実際の環境表面に触れたタイミングと場所を検出することで、ユーザー、環境、そしてハードウェアシステム（例：コンピュータやゲーム機）の間で直感的なインタラクションを実現できると述べています。カメラを用いたタッチ検出は、表面に埋め込まれたセンサー（例：静電容量センサー）を利用する方法に比べて多くの利点があります。
さらに、ヘッドマウントデバイス（HMD）やスマートフォンなどの最新のデジタルデバイスには、深度カメラを含む視覚センサーが搭載されています。現在の深度ベースのタッチ検出アプローチでは、深度カメラを用いてカメラと指の間、およびカメラと環境表面の間の距離を測定します。
1つのアプローチは、固定深度カメラのセットアップを必要とするため、動的なシーンには適用できません。もう1つのアプローチは、まず指を識別し、指をセグメント化し、次に指先の中心から隣接するピクセルを塗りつぶします。十分なピクセルが塗りつぶされた時点でタッチが検出されます。
しかし、このアプローチはピクセル深度データの正規化を考慮していないため、「かなりエラーが発生しやすい」可能性があるとAppleは述べている。Appleは、
特許の概要は次のとおりです。「指または他の物体と表面との接触を検出する動作を改善するためのシステム、方法、およびコンピュータ読み取り可能な媒体が記載されている。一般的に、本明細書に開示される技術は、物体と表面を識別するために深度マップを利用し、物体が表面に接触しているかどうかを判定するために分類器を利用する。」
物体の「距離」は、カメラではなく表面を基準として測定されるため、カメラの姿勢に対する不変性の尺度となります。物体と表面間の距離測定値は、識別器または「特徴ベクトル」を構築するために使用できます。この識別器を分類器に適用すると、物体が表面に接触しているかどうかを示す出力が生成されます。分類器は機械学習に基づいており、実行時処理を開始する前にオフラインで学習させることができます。一部の実施形態では、時間フィルタリングを使用して表面検出処理を改善できます。
