Appleが新たに出願した「予測的ヘッドトラッキングによるバイノーラル音声録音」に関する特許（特許番号20200236489）は、今後発売予定のAirPods、AirPods Pro、あるいは噂されているオーバーイヤー型ヘッドセット「Apple Studio」において、さらに優れた音質が実現されることを示唆しています。実現すれば、イヤホンやヘッドセットはユーザーの頭の動きに合わせて入力音声を調整できるようになるでしょう。
これは、iPad、iPhone、Macで拡張現実（AR）や仮想現実（VR）のシーンを視聴する際に便利かもしれません。噂されている「Apple Glasses」には、おそらくオーディオ機能が内蔵されるでしょう。
Appleは特許出願の中で、仮想現実（VR）はユーザーが没入型の人工環境を体験したり、その環境とインタラクトしたりすることを可能にし、ユーザーはまるでその環境に物理的に存在しているかのような感覚を得られると述べています。例えば、仮想現実システムは、奥行きの錯覚を作り出すために立体的なシーンをユーザーに提示し、コンピュータがシーンの内容をリアルタイムで調整することで、ユーザーがシーン内を移動しているような錯覚を与えることができます。
ユーザーが仮想現実システムを通して画像を見ると、一人称視点でシーン内を移動しているような感覚を抱くことがあります。同様に、複合現実（MR）は、コンピューター生成情報（仮想コンテンツと呼ばれる）を現実世界の画像や現実世界の風景と組み合わせることで、ユーザーの世界観を拡張または追加したり、現実世界のオブジェクトの仮想表現を3次元（3D）仮想世界の風景と組み合わせたりします。ヘッドトラッキングによるバイノーラルオーディオは、この体験に貢献します。
したがって、仮想現実のシミュレートされた環境および/または混合現実の混合環境は、複数のアプリケーションにインタラクティブなユーザー エクスペリエンスを提供するために利用される可能性があります。
本発明の概要は次のとおりです。「レンダリングデバイスが、ヘッドセットから受信したヘッドトラッキングデータに基づいて、異なる可能性のあるヘッド位置の複数のオーディオストリーム（例えば、最後の既知の位置と、1つ以上の予測または可能性のある位置のオーディオストリーム）をレンダリングし、複数のオーディオストリームをヘッドセットに送信する、予測ヘッドトラッキングバイノーラルオーディオレンダリングの方法および装置。」
ヘッドセットは、現在のヘッドトラッキングデータに基づいて、実際の頭部の位置に最も近いオーディオストリームを1つ選択して再生します。どのオーディオストリームも実際の頭部の位置と正確に一致しない場合は、最も近い2つのオーディオストリームがミックスされることがあります。複数のオーディオストリームをヘッドセットに送信し、ヘッドセット側でオーディオストリームを選択またはミックスすることで、ヘッドトラッキングの遅延を軽減または解消できる可能性があります。
