Appleは、iPhoneやiPadでコンピューター生成現実画像を「撮影」し、デバイス上のオブジェクトを現実世界のシーンに重ね合わせることができる「コンピューター生成現実用メディアコンポーザー」の特許（番号20200043237）を申請した。
このアイデアは3次元（3D）コンテンツ、特にコンピュータ生成現実（CGR）コンテンツを記録またはストリーミングするためのシステム、方法、およびデバイスに関するものです。特許出願において、Appleは既存のコンピューティングシステムとアプリではCGRコンテンツの記録やストリーミングが「十分に」実現されていないと述べています。
このテクノロジー大手は、3D 空間でポイント オーディオ ソースを知覚できる 3D または空間オーディオ環境を作成するオーディオ オブジェクトをユーザーが操作できるようにしたいと考えています。
CGRの例としては、仮想現実（VR）と複合現実（MR）が挙げられます。仮想現実（VR）環境とは、1つ以上の感覚に対するコンピュータ生成の感覚入力のみに基づいて設計されたシミュレーション環境を指します。VR環境は、人が感知したり、相互作用したりできる仮想オブジェクトで構成されています。例えば、コンピュータ生成による樹木、建物、人物を表すアバターなどの画像が仮想オブジェクトの例です。人は、コンピュータ生成環境内における自分の存在のシミュレーション、またはコンピュータ生成環境内における自分の物理的な動きのサブセットのシミュレーションを通じて、VR環境内の仮想オブジェクトを感知したり、相互作用したりすることができます。
VR環境はコンピュータ生成の感覚入力のみに基づいて設計されているのに対し、複合現実（MR）環境とは、コンピュータ生成の感覚入力（例：仮想オブジェクト）に加えて、物理環境からの感覚入力、またはその表現も組み込むように設計されたシミュレートされた環境を指します。仮想性の連続体において、複合現実環境は、一方の端が完全に物理環境であり、もう一方の端が仮想現実環境である中間の任意の場所に位置しますが、その両方は含まれません。
一部のMR環境では、コンピュータ生成の感覚入力が物理環境からの感覚入力の変化に反応することがあります。また、MR環境を提示する電子システムの中には、物理環境に対する位置や向きを追跡し、仮想オブジェクトが現実のオブジェクト（つまり、物理環境の物理的な物体またはその表現）と相互作用できるようにするものがあります。例えば、システムは動きを考慮し、仮想の木が物理的な地面に対して静止しているように見えるようにすることがあります。
複合現実の例としては、拡張現実（AR）や拡張仮想現実（AR）などが挙げられます。拡張現実（AR）環境とは、1つ以上の仮想オブジェクトを物理環境またはその表現に重ね合わせたシミュレートされた環境を指します。例えば、AR環境を提示する電子システムには、透明または半透明のディスプレイが搭載され、それを通して人間が物理環境を直接見ることができる場合があります。
本システムは、透明または半透明のディスプレイ上に仮想オブジェクトを表示するように構成することができ、これにより、システムを使用する人は、仮想オブジェクトが物理環境に重ねて表示されるのを知覚する。本明細書において、物理環境の少なくとも一部の光が透明または半透明のディスプレイを通過するHMDは、「光学シースルー」HMDと呼ばれる。
Appleによる発明の概要は次のとおりです。「一実施形態では、コンピュータ生成現実（CGR）体験に関連する複数のデータストリームを用いて、CGRコンテンツの合成ストリームを形成し、録画またはストリーミングを容易にします。メディアコンポジターは、レンダリングされたフレームの第1データストリームと追加データの第2データストリームを取得します。レンダリングされたフレームコンテンツ（例：3Dモデル）は、CGR体験中に複数の時点においてレンダリングされた現実および仮想コンテンツを表します。」
「第2データストリームの追加データは、CGRエクスペリエンスに関連し、例えば、オーディオ、オーディオソース、CGRエクスペリエンスの検出された属性を識別するメタデータ、画像データ、CGRエクスペリエンスに関係する他のデバイスからのデータなどです。メディアコンポジターは、レンダリングされたフレームコンテンツと複数の時点の追加データを整合させる合成ストリームを形成します。例えば、個々の時点に対応するタイムスタンプ付きのn次元データセット（画像など）を形成することによります。」
