Appleは拡張現実（AR）に関する特許を2件申請しており、どちらも論理的には（少なくとも私にはそう思えますが）、iPhoneに関連するものと思われます。そのうちの1件（特許番号9,560,273）は、少なくとも1台のカメラを搭載した「ウェアラブル情報システム」に関するものです。
このシステムは、少なくとも1台のカメラと、低電力モードおよび高電力モードを備えています。高電力モードは、少なくとも1台のカメラの少なくとも1つの視野内に少なくとも1つの物体が検出されると起動されます。
特許出願の中で、AppleはARが新しいユーザーインターフェースパラダイムとして「特に物体認識と姿勢推定のためのコンピュータービジョンアルゴリズムに基づいて、大きな進歩を遂げてきた」と述べています。「カメラを搭載したヘッドマウントディスプレイは以前から知られていました。
Appleは、ユーザーの周囲を常に監視し、興味深い物体を探すARベースの情報システムの成功を阻む大きな障害の一つとして、アプリケーションプロセッサやGPU（グラフィックス・プロセッシング・ユニット）で実行される画像処理アルゴリズムの消費電力の高さを挙げている。同社は、低解像度の画像を撮影し、低電力モードで既知のシンボル（例えば、スマートフォンのユーザーの顔や画像）と照合できるカメラを搭載したウェアラブル情報システムを提案している。
低解像度の画像に既知のシンボルが見つかった場合、ウェアラブル情報システム（Appleはこれを電話と呼んでいます）が起動し、高解像度の画像を撮影して結果を検証し、電話に出たり、それに類する操作をするために電話のロックを解除します。目標は、画像に基づいて電力効率の高いロック解除を実現することです。例えば、電話が手元にある状態で電話がかかってくるとすぐに、画面のロックを解除するためにユーザーが視界に入っているかどうかを確認するといったシナリオが考えられます。
特許番号9,558,581は、「仮想情報を現実環境に提示する方法」に関するものである。この特許は、少なくとも1つの表示装置を備えたシステムセットアップを提供するステップであって、システムセットアップは表示装置上に仮想情報をブレンドするように適合されているステップを規定している。本発明はまた、この方法を実行するためのソフトウェアコードセクションを含むコンピュータプログラム製品に関する。
Appleは特許出願の中で、ARシステムの主要な機能の一つとして、POI（Point of Interest）などの仮想情報を現実世界の画像に重ねて表示することを挙げています。これは、ツアーガイドなどの位置情報に基づく（モバイル）拡張現実（AR）アプリケーションで特に有用であり、広く普及しています。例えば、ユーザーは新しい場所にいて、そこで見たものに関する情報を得たい場合、ARアプリケーションを使用して、現実世界の画像にPOIを重ねて表示することができます。
Appleは、拡張現実（AR）システムにおいて、POI情報は、望ましい視覚的知覚とユーザビリティを満たすように、現実環境またはその一部に表現される必要があると指摘しています。POI情報のデータソースのほとんどは、複数の点や頂点を持つ3Dモデルではなく、現実世界の1点との関係で情報を提供します。Appleは、同社の発明は「緯度、経度、そしてオプションで高度、そしてテキストと2D画像情報からなる追加のメタ情報で記述される仮想情報の視覚化処理に適している」と述べています。
1月にフィナンシャル・タイムズは、Appleが「仮想現実と拡張現実の専門家の大規模なチームを編成し、ヘッドセットのプロトタイプを製作した」と報じた。
有料記事によると、研究チームは「数百人のスタッフ」を抱えており、MicrosoftやLytroといった同業企業からの買収や引き抜きによって集められたとのことです。買収対象の一つは、Googleと3Dポジショニング技術の開発で提携していたFlyby Mediaです。また、チームは数ヶ月前からVR/ARヘッドセットのプロトタイプを開発していたようです。
