Appleは「3Dモデルへの正確な画像位置合わせ」に関する特許（特許番号9,799,139）を取得しました。この特許は、同社のARKitと街路レベルの画像の3Dマップに関係しています。
Appleは今夏の世界開発者会議（WWDC）でARKitを発表しました。ARKitにより、開発者は最新のコンピュータービジョン技術を活用し、現実世界のシーン上に精緻な仮想コンテンツを構築し、インタラクティブなゲーム、没入型ショッピング体験、工業デザインなどを実現できるようになります。
Appleは特許の中で、通常、3Dマップは、3Dモデル化の対象となる地形の一部を飛行機でスキャンして撮影（または取得）した画像に基づいて作成されると述べています。画像の撮影時には、GPSによってカメラの位置が取得され、画像にはさらにタイムスタンプが付与されます。飛行機には慣性測定装置（IMU）も搭載されており、ロール、ピッチ、ヨーと呼ばれる飛行機の回転角度を記録できます。したがって、撮影された画像ごとにカメラの位置と姿勢の両方が記録されます。
Appleによると、航空写真を用いた3Dモデリングは一般的に高精度な測位結果をもたらすものの、路上レベルの3Dモデリングでは測位精度が低下する傾向があるという。例えば、障害物によるGPS信号の影、信号の歪み、路上車両の比較的変動の激しい動きによるIMUデータのドリフトといった要因により、地上レベルでの測定精度は低下する。
これにより、街頭レベルの画像で記録される位置が不正確になります。さらに、実際のカメラの機械的特性と光学的特性は、同一と想定されるカメラのそれらと異なるため、測定結果が不正確になります。Appleによると、もう一つの問題は、角度が大きく異なる画像では、重なり合う画像データを見つけるのが難しく、位置合わせが困難になることです。
これは、航空写真から生成された3Dモデルにストリートレベルの画像を投影する場合、ストリートレベルの画像を撮影するために使用された地上カメラの姿勢が航空写真3Dモデルの地理参照詳細と一致しないため、大きな不一致が生じるリスクがあることを意味します。Appleは、撮影（または取得）された画像、特にストリートレベルの画像を配置する従来の方法を改善したいと考えています。
特許9,799,139には、テクスチャ付き3次元（3D）モデルを用いて画像を取得し、位置合わせする方法および装置が記載されている。一実施形態では、位置合わせは、推定されたポーズで3Dモデル内の画像をレンダリングし、取得した画像をレンダリング画像と位置合わせすることを含む。
別の実施形態では、位置合わせは、取得画像を推定ポーズで3Dモデルに投影し、投影された取得画像をテクスチャ付き3Dモデルと位置合わせすることを含むことができる。さらに別の実施形態では、位置合わせは、取得画像をテクスチャ付き3Dモデルに投影し、元の3Dモデルに第1の画像をレンダリングし、取得画像が投影された3Dモデルに第2の画像をレンダリングし、第1の画像と第2の画像を位置合わせすることを含むことができる。
もちろん、Appleは米国特許商標庁に数多くの特許を申請し、そして取得しています。その多くは日の目を見ることのない発明です。しかし、どの発明が実際の製品に実現されるかは、決して予測できません。
