Appleは、Macのジェスチャー認識技術を少なくとも検討していることを示す新たな特許（特許番号10,719,214）を取得しました。この新しい特許は「リモートデバイス向けの拡張3Dインターフェース」と名付けられています。
現在、コンピュータにはキーボード、マウス、ジョイスティック、タッチスクリーンなど、様々な種類のユーザーインターフェースデバイスや方式が存在します。Appleは、ユーザーの身体の各部位を3次元で検知するコンピュータインターフェースも提案されていると指摘しています。その一例が、奥行き認識センサーを用いたジェスチャー認識システムです。
3次元センサーは位置情報を提供し、これを用いて対象の身体部位によって生成されるジェスチャーを識別します。ジェスチャーは、身体部位の形状と、一定時間内の位置と向きに基づいて認識されます。ジェスチャーは分類され、関連する電子機器への入力を決定します。
もう一つの例は、インタラクティブなビデオディスプレイシステムです。ディスプレイ画面に映像が表示され、カメラがディスプレイ画面の前方にあるインタラクティブエリア内の物体に関する3次元情報を捕捉します。コンピュータシステムが、物体の位置に応じてディスプレイ画面に映像を変化させるよう指示します。このような技術は、将来のiMacやスタンドアロンMacのディスプレイに搭載される可能性があります。
Appleによる発明の概要は次のとおりです。「コンピュータシステムの操作には、ディスプレイ画面上にユーザーインターフェース要素を表示することが含まれます。ユーザーの上肢の遠位部による3次元空間内での第1ジェスチャーは、その遠位部の一部が表面上に載っている間に検出されます。第1ジェスチャーに応答して、ユーザーが選択したディスプレイ画面の領域が識別され、対応するユーザーインターフェース要素が表示されます。対応するユーザーインターフェース要素が表示された後、その部分が表面上に載ったままの状態で遠位部による第2ジェスチャーが検出され、選択された領域に表示されているユーザーインターフェース要素の1つが選択されます。」
