ChatGPT ortet Fotos unheimlich gut, aber nicht dank Prompt

Im April 2025 gab Kelsey Piper dem neuen o3-Modell von OpenAI das Foto eines Strandes. Ohne weitere Fragen nannte es den genauen Ort: Marina State Beach im Monterey County in Kalifornien. Kommentatoren vermuteten einen Trick. Vielleicht enthielt die Datei noch ihre Standortdaten, vielleicht erinnerte sich o3 aus früheren Chats, wo sie wohnt, oder es ermittelte ihre IP-Adresse.

Piper hatte außerdem einen langen Prompt verwendet, den sie über die Zeit aufgebaut hatte und der nach ihrer Aussage die Leistung von o3 deutlich verbesserte. Scott Alexander, der den Blog Astral Codex Ten schreibt, ließ ihn auf einer Reihe von Testbildern laufen, größtenteils alten eigenen Fotos, die nie online gewesen waren, von Metadaten befreit und gespiegelt, damit der Abgleich schwerer wird. Eine Aufnahme von kahlem Fels und der Flagge eines imaginären Landes, aufgenommen auf einem Himalaya-Gipfel, kam als „Nepal, knapp nordöstlich von Gorak Shep, ±8 km“ zurück. Das war exakt richtig.

Der Prompt wurde weithin als „der GeoGuessr-Prompt“ geteilt, und viele, die ihn ausprobierten, waren beeindruckt. Ein Jahr später führte schließlich jemand den kontrollierten Test durch. Im Durchschnitt machte der Prompt o3 nicht besser.

Scott Alexander hat ihn in voller Länge in Testing AI’s GeoGuessr Genius wiedergegeben. Seine wichtigsten Teile:

• Grundregeln. „No metadata peeking. Work only from pixels (and permissible public-web searches).“ (Nicht in die Metadaten spähen. Nur mit den Pixeln und zulässigen öffentlichen Websuchen arbeiten.) Außerdem weist der Prompt das Modell an, nicht aus der IP-Adresse des Nutzers zu schließen.
• Rohe Beobachtungen. Bis zu zehn Stichpunkte zu dem, was sich buchstäblich sehen oder messen lässt, etwa Farbe, Textur, Schattenwinkel und Buchstabenformen, ohne Deutung.
• Hinweiskategorien. Klima und Vegetation, Landformen, bebaute Umgebung, Kultur und Infrastruktur sowie das Licht.
• Fünf Kandidaten. Eine Rangliste, in der Platz eins und Platz fünf mindestens 160 km auseinanderliegen müssen.
• Widerlegung. Für die führende Vermutung wird ausgeschrieben, was sie zu Fall bringen würde. „You are an LLM, and your first guesses are ‚sticky‘ and excessively convincing to you“ (Du bist ein LLM, und deine ersten Vermutungen sind „klebrig“ und für dich übermäßig überzeugend), warnt der Prompt.
• Festlegung. Koordinaten oder der nächstgelegene benannte Ort, dazu ein Unsicherheitsradius in Kilometern.

Er enthält sogar eine Formel, um den Breitengrad aus der Länge eines Schattens zu schätzen, eine Technik mit eigenem Ratgeber. Er liest sich wie eine Checkliste für einen sorgfältigen menschlichen Geolokalisierer, und das macht einen Teil seines Reizes aus.

Goedeckes kurzer Prompt wies o3 lediglich an, das Foto anhand visueller Belege zu geolokalisieren und Koordinaten, einen Konfidenzwert und die verwendeten Hinweise zurückzugeben. Bei der langen Version wurde dasselbe Antwortformat ergänzt. Beide liefen über die API von OpenAI ohne Websuche, der Test maß also die Denkschritte des Protokolls, nicht die Suchschritte, die es ebenfalls beschreibt.

Der lange Prompt hatte durchaus Erfolge. Er hielt eine Vermutung manchmal im richtigen Land, wenn der kurze in den falschen Teil Europas abdriftete, und er verortete ein Innenfoto, eine Einkaufspassage in Moskau, auf 200 Meter genau, wo der kurze Prompt Sankt Petersburg nannte. Doch seine schädlichen Ausschläge waren zahlreicher und gewichtiger als die hilfreichen, wie Goedeckes Bericht feststellte.

Kennen Sie die Grenzen des Tests. Er ist ein einzelner Benchmark, von einer Person für etwa 15 US-Dollar erstellt. Die meisten Fotos (180 von 200) stammen von Geograph, einem Projekt, das Großbritannien und Irland dokumentiert, der Rest von Wikimedia Commons, und öffentliche Fotos können bereits in den Trainingsdaten eines Modells stecken. Goedecke hat geprüft, dass keines EXIF-Metadaten enthielt, und argumentiert, ein Modell, das die Fotos auswendig gelernt hätte, hätte besser abgeschnitten.

Piper baute den Prompt auf, indem sie o3 nach jedem Fehler fragte, wie es ihn hätte vermeiden können, und die Antwort dann hinzufügte. Goedeckes Punkt ist, dass diese Schleife dem Prompt schmeichelt: Modelle würden „fast immer sagen: ‚Ja, das hat sehr geholfen‘, wenn man sie fragt, ob eine bestimmte Änderung am Prompt etwas verbessert hat“. Sicher wisse man es nur mit einem Benchmark, schreibt er.

Alexanders eigener Durchlauf zeigt, warum Einzelbeispiele in die Irre führen. Mit dem Prompt verortete o3 eine merkmalslose Ebene in der richtigen, 300 mal 100 Meilen großen Region in Texas und New Mexico, lag aber auf die Frage nach einem Punkt etwa 110 Meilen daneben. Ein Wohnheimzimmer in Kalifornien konnte es nur als „a dorm room on a large public university campus in the United States“ (ein Wohnheimzimmer auf dem Campus einer großen staatlichen Universität in den USA) bezeichnen, einen Flecken Rasen in Michigan setzte es in den pazifischen Nordwesten, und ein braunes Stück des Mekong hielt es für den Ganges. Sein altes Haus in Michigan kam als Richfield, Minnesota zurück.

Beeindruckende Treffer sind es, die Menschen teilen. Ein Test mit Hunderten Fotos sagt mehr als jeder einzelne Screenshot, so unheimlich er auch wirken mag.

„Was auch immer o3 für diese Aufgabe so gut gemacht hat, hat sich nicht auf neuere Modelle übertragen“, schloss Goedecke. Auch welches Modell Sie tatsächlich bekommen, spielt eine Rolle: Nach dem Erscheinen von GPT-5 nahm OpenAI in ChatGPT die Möglichkeit weg, ältere Modelle wie o4-mini-high auszuwählen, berichtete Bellingcat. Die übrigen Ergebnisse von Bellingcat stehen in Wie ChatGPT im Vergleich zu Google Lens und anderen Chatbots abschneidet.

1. Step 1Zuerst die Metadaten lesenIn der Datei gespeicherte Koordinaten sind gemessen, nicht geraten. Prüfen Sie deshalb zuerst auf GPS-Daten. Aus Social-Media-Apps gespeicherte Fotos haben sie meist verloren.
2. Step 2Einen sauberen Chat startenÖffnen Sie in ChatGPT einen temporären Chat und wählen Sie vor der ersten Nachricht „Unpersonalized“ (nicht personalisiert); laut OpenAI nutzt dieser Modus weder Memory noch benutzerdefinierte Anweisungen oder Plugins. Bellingcat stellte fest, dass der Kontoverlauf Antworten lenken kann, und ChatGPT kann Ihren ungefähren Standort weiterhin aus Ihrer IP-Adresse schätzen.
3. Step 3Die schärfste Kopie verwendenKleine Details entscheiden das Ergebnis: In einem Test von Bellingcat stammte die genaue Adresse von der Aufschrift auf einem Briefkasten. Laden Sie das Original statt eines komprimierten Reposts hoch und fügen Sie als Ausschnitt eine Nahaufnahme jedes Textes hinzu.
4. Step 4Schlicht fragen und Belege verlangenEine kurze Anfrage schnitt mindestens so gut ab wie das Protokoll mit 1.100 Wörtern. Versuchen Sie: Where was this photo taken? List the visible clues you used, give three candidate places with a confidence for each, and say what would rule each one out. (Wo wurde dieses Foto aufgenommen? Nenne die sichtbaren Hinweise, gib drei Kandidaten mit je einer Konfidenz an und sage, was den jeweiligen Ort ausschließen würde.) Die zusätzlichen Zeilen sind nicht dazu da, die Genauigkeit zu erhöhen; sie geben Ihnen etwas zum Überprüfen.
5. Step 5Die Kandidaten selbst prüfenSuchen Sie in Street View oder Satellitenbildern nach zwei oder drei unabhängigen Übereinstimmungen, etwa einem Schild, einer Dachlinie und der Form eines Hügels. Bei Sehenswürdigkeiten und Touristenzielen nutzen Sie auch eine umgekehrte Bildersuche: Google Lens schlug in den Tests von Bellingcat die meisten Chatbots in diesem Bereich, und eine Sehenswürdigkeit erkennen behandelt diesen Weg.
6. Step 6Die Unsicherheit beibehaltenJedes von Bellingcat getestete Modell lag irgendwann völlig daneben. Notieren Sie, wie sicher die Antwort war, und behandeln Sie die Vermutung eines Chatbots nie als Beleg über eine Person.

Dieselbe Reihenfolge gilt für jede Methode, ob mit KI oder ohne: erst gemessene Daten, dann eine Hypothese, zuletzt die Bestätigung. Die vier Wege, herauszufinden, wo ein Foto aufgenommen wurde, legt sie vollständig dar.

Der Prompt borgt sich den Namen des Spiels, nicht seine Regeln. Er wurde für echte Fotos geschrieben, die, wie er anmerkt, von Privatgrund, aus jemandes Garten oder von einer Geländefahrt stammen können. Ob KI Top-Spieler von GeoGuessr schlagen kann und wie Sie sie zum Üben zwischen den Runden nutzen, behandelt ein eigener Ratgeber.

GeoSpy arbeitet mit dem, was im Bild sichtbar ist, antwortet auf Stadtebene statt mit einer Adresse und speichert hochgeladene Fotos nicht. Auf geospys.com gehört die Analyse zu GeoSpy Premium: 7,99 US-Dollar pro Woche oder 29,99 US-Dollar pro Jahr (₺389 oder ₺1.460 in der Türkei), unbegrenzt im Rahmen fairer Nutzung und jederzeit kündbar. Wählen Sie den Jahrestarif oder starten Sie mit der kostenlosen Testphase in der GeoSpy-iPhone-App.