写真の位置推定APIでできること、できないこと

この名前は、コードを書く前から混乱を招きます。ブラウザのGeolocation APIは、ユーザーが許可した後に、端末が今どこにあるかを返します。写真の位置推定APIは、別の入力について、別の問いに答えます。この写真はどこで撮られたのか、という問いです。写真は10年前のもので、地球上のどこで撮られたものでもありえます。

写真の位置を特定する技術として説明されることが多い、近い関係の技術が3つあります。GPSメタデータの読み取り、逆画像検索、ランドマーク検出です。それぞれ返すものが違い、失敗の仕方も違うため、どれかを選ぶ前に、自分の製品が本当に何を問うているのかを把握しておくことが役立ちます。

多くの研究システムは、これを分類問題として扱います。Googleの研究者による2016年のモデルPlaNetは、地球の表面を数千のセルに分け、数百万枚のジオタグ付き写真でネットワークを学習させ、画像がどのセルに属するかを予測しました。出力は、世界中に広がる確率の分布になります。リスボンの路面電車の写真では、その確率が1か所に集中しますが、松林の写真では、いくつもの大陸に薄く広がります。信頼度スコアは、事実上その広がりの要約です。

製品設計で最も重要な点は、何もネット上に存在している必要がないことです。このAPIは、一度も公開されていない写真でも動作し、証拠が弱くてもなんらかの答えを返せます。そのため、スコアは場所と同じくらい重要なのです。モデルが場面をどう読むかは別に扱っています。このガイドは、出力をどう扱うかを取り上げます。

精度は、設計上もばらつきがあります。PlaNetは、写真が密集している地域には、まばらな地域よりも小さなセルを割り当てたため、一部の都市部では通りレベルの精度に達しえた一方、農村部は非常に大きなセルに入っていました。多くのモデルは、学習に使った写真が密集している地域ほど、精度が高いと考えてください。

EXIFのGPSは推定ではなく、測定値です

スマートフォンが位置を記録するとき、座標はEXIFデータの専用のGPSブロックに、GPSLatitudeやGPSLongitudeといったタグの下に書き込まれます。GPS.govは、見通しの良い空の下での一般的なスマートフォンの精度を4.9メートルとしています。視覚的な方法はこれに近づけません。したがって、適切なパイプラインは、まずメタデータを読み取り、欠けている場合にだけ推定します。ソーシャルプラットフォームを経由した画像では、ほとんどの場合メタデータがありません。これは、アップロード時の再エンコードで失われるためです。

逆画像検索は、照合です

Google Cloud Visionのウェブ検出は、このカテゴリの形を示しています。fullMatchingImages、partialMatchingImages、pagesWithMatchingImagesなどの項目を返します。一致するものがあれば、そのページが場所をはっきり示していることが多く、どんな推定よりも確かです。写真が非公開のものやオリジナルの場合は、照合するものがありません。エンジン比較では、同じ考え方の一般向けサービスを扱っています。

ランドマーク検出は、有名な場所を認識します

Cloud Visionのランドマーク検出は、「画像内にある人気の自然物や人工の構造物を検出する」ものです。各結果には、ランドマークの名前を含むdescription、score、フレーム内の位置を示すboundingPoly、座標の一覧であるlocationsが含まれます。Googleの例では、聖ワシリイ大聖堂が0.78のスコアで返されています。

チームが見落としがちな点が2つあります。ありふれた通りでは、ランドマークがまったく返らないため、対応範囲は狭くなります。また、座標はカメラの位置ではなく、ランドマークを表すことがあります。Googleのリファレンスには、ある位置は画像内の場面を示し、別の位置は写真が撮られた場所を示すことがあると書かれています。セーヌ川の向こう岸からエッフェル塔を撮影する人は、塔自身の座標から数百メートル離れた場所に立っていることがあります。

写真の位置推定は、屋外のあらゆる場面について地域を推定します

4つの方法のうち、視覚的な推定だけが、一度もネット上になかった平凡な通りについて何かを言えます。その代償は精度です。答えは信頼度スコア付きの都市や地域であり、測定された地点になることはありません。地理的な証拠がないフレームでは、弱い答えか、答えなしになります。

避けるべき設計上の誤りは、推定された座標とEXIFのGPSを1つの位置の項目にまとめることです。そうすると、後続のコードや出力を読む人は、都市レベルの推測を衛星測位と同じ確かさで扱ってしまいます。測定された位置と推定された位置は、インターフェースの最後まで分けておき、表示するときは異なるラベルを付けてください。

推定された座標にも同じ注意が必要です。ポルトについて返された地点は、何平方キロメートルもの範囲を表しています。通りレベルの拡大表示でピンを打つと、ユーザーは、そこにはなかった精度を読み取ってしまいます。

この一覧は、上の表と直接対応しています。視覚的な証拠では住所を裏付けられないため、住所は含まれていません。また、メタデータの読み取りは、視覚的な推定の代わりではなく、その隣に並べて挙げられています。

エンドポイント、料金、レート制限、公開日はまだ発表されていません。このページのどの内容も、それらについての約束として読まないでください。連携を計画している場合は、お問い合わせページから早期アクセスを申請して、利用目的を説明してください。

それまでは、実際の写真で出力を確かめられる最も近いプレビューは、ウェブサイトです。ウェブでの分析はGeoSpy Premiumに含まれ、週7.99米ドルまたは年29.99米ドルのサブスクリプションで、解約するまで自動更新されます。アップロードされた写真は保存されません。

• マーケットプレイスの掲載確認。 バルセロナで宣伝されている休暇用レンタルの写真が、別の国を強く示しているなら、再確認する価値があります。掲載を自動的に拒否するのではなく、食い違いを審査担当者に回してください。また、掲載の大半を占める室内の写真は、モデルが読み取れるものが少ないことも覚えておいてください。
• 報道機関の検証。 ある都市を写しているとされる拡散画像は、誰かが公開する前に、フレーム内の証拠と照らし合わせて検証できます。位置推定が答えるのは「どこか」だけなので、写真を検証する方法で説明されているように、以前のコピーの検索と組み合わせてください。
• 旅行と写真のアプリ。 スキャンしたプリントや書き出された画像には、GPSがないことが多くあります。インターフェースが、ユーザーが確認する提案として示す限り、推定によってアルバムの場所を提案したり、旅行ごとに写真をまとめたりできます。
• 保険金請求の審査。 請求が損害をある町に位置づけているのに、写真がはっきり別の場所を指している場合、査定担当者が質問する理由になります。ただし、推定だけで何かを拒否する根拠にはなりません。
• 研究。 大規模な画像アーカイブの地理的な広がりを地図化したり、学習データセットの地域的な偏りを監査したりするには、大量の粗いラベルが必要です。まさにこの方法が得意とするところです。

5つの例に共通するパターンは一つです。推定は印を付けるだけで、判断するのは人です。都市レベルの推測が自動的な結果を引き起こす製品は、モデルのあらゆる誤りを大規模に引き継ぎます。構造化されたOSINTの手順では、推定が他の確認の中でどこに位置するかを示しています。

これらの制限の一部は、モデルではなく証拠に属するものです。PlaNetの論文は、どの場所も推定できない状況を作るのは簡単だと述べて始まります。白い壁、ホテルの浴室、料理の皿には地理的な情報がなく、モデルを大きくしてもそれは変わりません。

研究の結果は、現実を確かめる有用な材料です。230万枚のFlickr写真で、PlaNetは10.1%を25キロメートル以内に位置づけました。これは、ベンチマークが都市レベルとして数える距離です。CVPR 2024で発表され、GeoGuessrで使われたストリートビュー画像で学習したPIGEONは、推測の40%以上を25キロメートル以内に位置づけました。その差の一部は新しい手法によるもので、一部は写真の違いによるものです。ストリートビューのフレームには道路標示や看板が多く写っていますが、一般的な写真のコレクションには、地理的な手がかりがまったくないフレームが多く含まれています。

位置推定は、画像が本物であることも保証できません。AIで生成された街角の場面にも、最も似ている場所の推定が与えられます。このAPIが答えるのは「これはどんな場所に見えるか」であり、「これは本物か」ではありません。

1. Step 1実際のトラフィックからテストセットを作るデモ画像は、うまくいくように選ばれています。ユーザーが送ってきそうな写真を数百枚、正しい位置が既知のものとして集め、ベンダーやバージョンを公平に比べられるように、そのセットを固定してください。逸話も人を誤らせます。拡散した1,100語のChatGPT用プロンプトは、試した多くの人を感心させましたが、200枚の固定したセットでは、短いプロンプトより良い結果は出ませんでした。
2. Step 2ベンチマークの前にGPSを削除するAPIがメタデータも読み取る場合、ジオタグ付きのテスト写真は、モデルではなくメタデータの読み取りを測定してしまいます。テスト用のコピーからEXIFを削除してください。そうしないと、本番では消えてしまう満点のスコアを記録することになります。
3. Step 3一定の距離で採点する研究のベンチマークでは、1キロメートル（通り）、25キロメートル（都市）、200キロメートル（地域）、750キロメートル（国）、2,500キロメートル（大陸）以内であれば正解とみなされます。距離が付いていない精度の主張は、ほかの何とも比較できません。
4. Step 4都市と田舎を混ぜる精度は学習写真の密度に沿う傾向があるため、首都では鋭いモデルでも、農地ではあいまいになることがあります。ユーザーが両方を送ってくるなら、両方を試してください。
5. Step 5読み取るものがない写真も含める室内、接写、無地の空は、低い信頼度で返ってくるべきです。ホテルの部屋から高い信頼度で都市名を挙げるツールは、あなたのユーザーに対しても同じことをします。
6. Step 6スコアが較正されているか確認する結果を信頼度ごとにまとめ、各グループがどれだけ正しかったかを測定します。スコアが0.8を超える答えが、0.4付近の答えより明らかに正確でなければ、そのスコアはしきい値の判断材料にできません。
7. Step 7データの利用規約を読む画像が保存されるか、どれくらいの期間か、学習に使われるかを確認してください。写真は、特に人が写っている場合、個人データとみなされることがあります。