Appleは、iPhone上の「拡張現実マップ」に関する特許（特許番号10,760,922）を取得しました。この特許は、携帯型電子機器の画像処理および表示機能を活用し、動画フィードと動画内の物体を描写するデータを組み合わせるというものです。
いくつかの例では、ビデオ内のオブジェクトを記述するデータは、近隣の興味のある場所の検索結果である場合があります。例えば、外国の都市を訪れたユーザーは、iPhoneを向けて特定の景色のビデオストリームを撮影できます。また、「美術館」などの検索語を入力することもできます。システムは、撮影したビデオストリームに、ビデオストリームの視野内にある近隣の美術館に関連する検索語の検索結果情報を追加します。これにより、ユーザーは検索エンジンから入手できる追加情報で、現実の世界を補完することができます。
しかし、Appleは、ユーザーが美術館を訪れたい場合、現状ではアプリケーションを切り替えるか、少なくともARビューから切り替えて美術館までの道順を知る必要があると指摘しています。Appleは、このようなシステムは方向感覚の鈍いユーザーを誘導できず、現実世界の物体と道順を関連付けて考える必要があると述べています。さらに、道路標識が見当たらなかったり判読できなかったりするケースもあり、ユーザーが誘導ルートを見つけるのが困難です。Appleはこれらの問題を軽減したいと考えています。
拡張現実マップ機能の仕組みは以下のとおりです。ユーザーはiPhoneをかざすと、リアルタイムのビデオストリームが撮影・表示されます。スマートフォンは、画像キャプチャデバイスの地理的位置、カメラの方向、傾きを検出します。ユーザーは、サーバーに周辺の興味のある場所の検索リクエストを送信します。携帯端末は、検索リクエスト、地理的位置、カメラの方向、携帯端末の傾きに基づいて検索結果を受け取ります。
iPhoneは、撮影したビデオストリームに、各関心地点に関連するデータを視覚的に拡張します。ユーザーは、訪問したい関心地点を選択します。iPhoneは、ユーザーの入力に応じて、撮影したビデオストリームに、選択された関心地点までの道順を示す地図を視覚的に拡張します。
