ChatGPTのGeoGuessrプロンプトは本当に効くのか

2025年4月、Kelsey PiperはOpenAIの新モデルo3に、あるビーチの写真を見せました。ほかには何も尋ねていないのに、o3は正確な地点を挙げました。カリフォルニア州モントレー郡のMarina State Beachです。コメントした人たちは、何か仕掛けがあると考えました。ファイルに位置情報が残っていたのかもしれない、o3が以前のチャットから彼女の住まいを覚えていたのかもしれない、あるいはIPアドレスをたどったのかもしれない、というわけです。

Piperは、時間をかけて作り上げた長いプロンプトも使っており、これでo3の性能が大幅に向上したと述べていました。ブログAstral Codex Tenを書いているScott Alexanderは、このプロンプトをテスト用の写真群で試しました。大半は、ネットに一度も出ていない自分の古い写真で、照合しにくくするためにメタデータを削除し、左右反転しています。ヒマラヤの山頂で撮った、むき出しの岩と架空の国の旗の写真には、「ネパール、ゴラクシェプのすぐ北東、±8km」という答えが返ってきました。これはまさに正解でした。

このプロンプトは「GeoGuessrプロンプト」として広く共有され、試した多くの人が感心しました。1年後、ようやく誰かが対照実験を行いました。平均すると、このプロンプトはo3の性能を少しも高めていませんでした。

Scott Alexanderは、記事Testing AI’s GeoGuessr Geniusで全文を再現しています。主な構成は次のとおりです。

• 基本ルール：「No metadata peeking. Work only from pixels (and permissible public-web searches).」（メタデータをのぞかない。ピクセル、および許される公開Web検索だけで考える）。ユーザーのIPアドレスから推論しないようにも指示しています。
• 生の観察：色、質感、影の角度、文字の形など、文字どおり見えるもの、測れるものを最大10個の箇条書きにし、解釈は控えます。
• 手がかりのカテゴリー：気候と植生、地形、建造物のある環境、文化とインフラ、そして光です。
• 5つの候補：順位をつけた候補リストで、1位と5位は少なくとも160km離れている必要があります。
• 反証：本命の推測について、それを覆すものが何かを書き出します。プロンプトは「あなたはLLMであり、最初の推測は『粘着質』で、あなた自身にとって過度に説得力がある」と警告しています。
• 確定：座標または最も近い地名に、キロメートル単位の不確実性の半径を添えます。

影の長さから緯度を推定する計算式まで含まれています。この手法には専用のガイドもあります。慎重な人間のジオロケーター向けのチェックリストのように読めることも、このプロンプトの魅力の一部です。

Goedeckeの短いプロンプトは、視覚的な証拠から写真の場所を特定し、座標、信頼度のスコア、使った手がかりを返すよう、o3に伝えるだけのものでした。長い版には、同じ回答形式が追加されました。どちらもOpenAIのAPI経由でWeb検索なしで実行されたため、この検証が測ったのは、手順書の推論のステップであって、手順書に書かれている検索のステップではありません。

長いプロンプトにも、成功例はありました。短いプロンプトがヨーロッパの別の地域にずれてしまったときに、正しい国の中にとどまることがあり、室内のモスクワのショッピングアーケードの写真は200メートル以内に収めました。短いプロンプトはサンクトペテルブルクと答えていた写真です。しかし、Goedeckeのレポートによると、悪い方向への振れのほうが数も多く、影響も大きいものでした。

この検証の限界も知っておいてください。1人が約15米ドルで作った、1つのベンチマークです。写真の大半（200枚中180枚）は、英国とアイルランドを記録するプロジェクトGeographのもので、残りはウィキメディア・コモンズのものです。公開されている写真は、すでにモデルの学習データに入っている可能性があります。Goedeckeは、どの写真にもExifメタデータがないことを確認しており、写真を記憶していたモデルなら、もっと高いスコアが出たはずだと主張しています。

Piperは、間違えるたびに、どうすれば避けられたかをo3に尋ね、その答えを追加することでプロンプトを作り上げました。Goedeckeが指摘するのは、このやり方がプロンプトを実際以上によく見せてしまうことです。モデルは「特定のプロンプトの調整で良くなったかと尋ねられれば、ほぼ必ず『はい、とても役に立ちました』と答える」からです。確かめる唯一の方法は、ベンチマークだと彼は書いています。

Alexander自身の実行結果は、単一の例が誤解を招く理由を示しています。このプロンプトを使うと、o3は特徴のない平原を、テキサス州とニューメキシコ州の幅300マイル×100マイルという正しい地域に収めましたが、1点を求められると約110マイルずれました。カリフォルニアの学生寮の部屋は「アメリカの大規模な公立大学のキャンパスにある寮の部屋」としか言えず、ミシガンの芝生の一角は太平洋岸北西部に置かれ、メコン川の茶色い流れはガンジス川と取り違えられました。ミシガンにある彼の昔の家は、ミネソタ州のリッチフィールドと答えられました。

人々が共有するのは、目を引く成功例です。数百枚の写真を使った検証は、どんなに驚くほど当たったスクリーンショット1枚よりも、多くを語ります。

「o3にこの作業を得意にさせていた何かは、新しいモデルには引き継がれていない」と、Goedeckeは結論づけました。実際にどのモデルを使えるかも重要です。Bellingcatによると、GPT-5が登場した後、OpenAIはChatGPTでo4-mini-highなどの古いモデルを選ぶ選択肢を削除しました。Bellingcatのそのほかの結果は、ChatGPTとGoogleレンズやほかのチャットボットとの比較にあります。

1. Step 1先にメタデータを読むファイルに保存された座標は推測ではなく実測なので、何よりも先にGPSデータがないか確認してください。SNSアプリから保存した写真は、たいていこのデータを失っています。
2. Step 2まっさらなチャットを始めるChatGPTで一時チャットを開き、最初のメッセージを送る前に「Unpersonalized」を選びます。OpenAIによると、このモードではメモリ、カスタム指示、プラグインは使われません。Bellingcatは、アカウントの履歴が答えを誘導しうることを確認しており、ChatGPTはIPアドレスからおおまかな現在地を推定する場合もあります。
3. Step 3最も鮮明なコピーを使う結果を左右するのは小さな細部です。Bellingcatのあるテストでは、正確な住所は郵便受けの文字から得られました。圧縮された再投稿ではなく元の画像をアップロードし、文字がある部分はアップで切り抜いたものも添えてください。
4. Step 4素直に尋ね、根拠も出してもらう短い依頼でも、1,100語の手順書と同等以上の成績でした。たとえば次のように尋ねます。この写真はどこで撮られましたか？使った目に見える手がかりを挙げ、候補地を3つ、それぞれの確信度つきで示し、それぞれを除外できる根拠も教えてください。追加した行は、精度を上げるためのものではなく、あなたが確認するための材料を得るためのものです。
5. Step 5候補は自分で確かめるストリートビューや航空写真で、看板、屋根の輪郭、丘の形など、互いに独立した2〜3個の一致を探します。ランドマークや観光地では、逆画像検索も併用してください。Bellingcatのテストでは、そうした対象でGoogleレンズが大半のチャットボットに勝っており、ランドマークの特定でその手順を解説しています。
6. Step 6不確かさを忘れないBellingcatが検証したどのモデルも、どこかで完全に間違えていました。答えの確信度を記録しておき、チャットボットの推測を、人についての証拠として扱うことは決してしないでください。

この順序は、AIを使うかどうかにかかわらず、どの方法にも通用します。実測データが先、仮説が次、確認が最後です。写真の撮影場所を調べる4つの方法で、全体を詳しく説明しています。

このプロンプトは、ゲームの名前を借りているだけで、ルールは借りていません。実際の写真のために書かれたもので、プロンプト自身が、写真は私有地、誰かの裏庭、オフロードの旅先から来ることもあると述べています。AIはGeoGuessrのトッププレイヤーに勝てるのか、そしてラウンドの合間の練習にどう使うかは、専用のガイドで解説しています。

GeoSpyは、画面に写っているものから推定し、住所ではなく都市レベルで答え、アップロードされた写真を保存しません。geospys.comでは、解析はGeoSpy Premiumで提供されており、料金は週7.99米ドル、または年29.99米ドル（トルコでは₺389または₺1,460）です。公正な利用の範囲内で無制限に使え、いつでも解約できます。年間プランを選ぶか、GeoSpyのiPhoneアプリの無料トライアルから始めてください。