De ChatGPT GeoGuessr prompt ging viraal, maar bleek niet de reden

In april 2025 gaf Kelsey Piper het nieuwe o3-model van OpenAI een foto van een strand. Zonder verdere vragen noemde het de exacte plek: Marina State Beach, in Monterey County, Californië. Commentatoren vermoedden een truc. Misschien bevatte het bestand nog zijn locatiegegevens, onthield o3 waar ze woonde uit eerdere chats, of herleidde het haar IP-adres.

Piper gebruikte ook een lange prompt, die ze in de loop van de tijd had opgebouwd en waarvan ze zei dat die de prestaties van o3 aanzienlijk verbeterde. Scott Alexander, die het blog Astral Codex Ten schrijft, draaide die op een reeks testfoto's, vooral oude foto's van hemzelf die nooit online waren gezet. Ze waren ontdaan van metadata en gespiegeld, om matchen moeilijker te maken. Een opname van kale rotsen en de vlag van een verzonnen land, genomen op een Himalaya-piek, kwam terug als “Nepal, net ten noordoosten van Gorak Shep, ±8 km”. Dat was precies goed.

De prompt werd breed gedeeld als “de GeoGuessr-prompt”, en veel mensen die hem probeerden, raakten onder de indruk. Een jaar later voerde iemand eindelijk de gecontroleerde test uit. Gemiddeld maakte de prompt o3 niet beter.

Scott Alexander nam de prompt volledig op in Testing AI’s GeoGuessr Genius. De belangrijkste onderdelen:

• Basisregels. “Geen metadata gluren. Werk alleen met pixels (en toegestane zoekopdrachten op het openbare web).” Het model krijgt ook de opdracht niet te redeneren vanuit het IP-adres van de gebruiker.
• Ruwe waarnemingen. Tot tien opsommingspunten met wat letterlijk kan worden gezien of gemeten, zoals kleur, textuur, de hoek van schaduwen en de vormen van letters, met interpretatie achtergehouden.
• Aanwijzingscategorieën. Klimaat en begroeiing, landvormen, de bebouwde omgeving, cultuur en infrastructuur, en het licht.
• Vijf kandidaten. Een gerangschikte shortlist waarin de eerste en de vijfde plaats minstens 160 km van elkaar moeten liggen.
• Weerlegging. Bij de koploper moet het model uitschrijven wat die gok zou ontkrachten. “Jij bent een LLM, en je eerste gokken zijn ‘plakkerig’ en voor jou buitensporig overtuigend”, waarschuwt de prompt.
• Vastleggen. Coördinaten of de dichtstbijzijnde benoemde plek, plus een onzekerheidsstraal in kilometers.

Er staat zelfs een formule in om de breedtegraad te schatten uit de lengte van een schaduw, een techniek met een eigen gids. Het leest als een checklist voor een zorgvuldige menselijke geolocator, en dat maakt deel uit van de aantrekkingskracht.

Goedeckes korte prompt vertelde o3 simpelweg de foto te geolocaliseren op basis van visueel bewijs en de coördinaten, een betrouwbaarheidsscore en de gebruikte aanwijzingen terug te geven. Bij de lange versie werd hetzelfde antwoordformaat toegevoegd. Beide liepen via de API van OpenAI zonder webzoekopdrachten, dus de test mat de redeneerstappen van het protocol, niet de zoekstappen die het ook beschrijft.

De lange prompt had ook winstpunten. Soms hield hij een gok in het juiste land terwijl de korte prompt afdreef naar het verkeerde deel van Europa, en hij plaatste één binnenfoto, een winkelarcade in Moskou, binnen 200 meter, waar de korte prompt Sint-Petersburg noemde. Maar zijn schadelijke uitschieters waren talrijker en zwaarder dan zijn nuttige, aldus Goedeckes verslag.

Ken de grenzen van de test. Het is één maatstaf, gebouwd door één persoon voor ongeveer 15 US-dollar. De meeste foto's (180 van de 200) kwamen van Geograph, een project dat Groot-Brittannië en Ierland documenteert, de rest van Wikimedia Commons, en openbare foto's kunnen al in de trainingsdata van een model zitten. Goedecke controleerde dat geen daarvan EXIF-metadata bevatte, en stelt dat een model dat de foto's had onthouden beter zou hebben gescoord.

Piper bouwde de prompt door o3 na elke fout te vragen hoe het die had kunnen vermijden, en het antwoord toe te voegen. Goedeckes punt is dat deze lus de prompt flatteert: modellen “zullen bijna altijd zeggen ‘ja, dat heeft erg geholpen’ wanneer je ze vraagt of een bepaalde aanpassing van de prompt de zaken beter maakte.” Alleen een benchmark kan dat echt uitwijzen, schrijft hij.

Alexanders eigen test laat zien waarom losse voorbeelden misleiden. Met de prompt plaatste o3 een kenmerkloze vlakte in het juiste gebied van 300 bij 100 mijl in Texas en New Mexico, maar toen er om een punt werd gevraagd, miste het met ongeveer 110 mijl. Een slaapkamer in een studentenhuis in Californië kon het alleen omschrijven als “een slaapkamer op een grote openbare universiteit in de Verenigde Staten”. Een stuk Michigans gazon plaatste het in het Pacifische Noordwesten, en een bruine strook van de Mekong hield het voor de Ganges. Zijn oude huis in Michigan kwam terug als Richfield, Minnesota.

Opvallende treffers zijn wat mensen delen. Een test op honderden foto's zegt meer dan elke losse schermafbeelding, hoe griezelig die ook is.

“Wat o3 had dat het goed maakte in deze klus, is niet overgegaan op nieuwere modellen”, concludeerde Goedecke. Welk model je precies krijgt, doet er ook toe: na de komst van GPT-5 verwijderde OpenAI de optie om oudere modellen zoals o4-mini-high in ChatGPT te kiezen, meldde Bellingcat. Hoe ChatGPT zich verhield tot Google Lens en andere chatbots bevat de rest van de resultaten van Bellingcat.

1. Step 1Lees eerst de metadataCoördinaten die in het bestand zijn opgeslagen, zijn gemeten, niet geraden, dus controleer eerst op GPS-gegevens voordat je iets anders doet. Foto's die uit sociale apps zijn opgeslagen, hebben die meestal verloren.
2. Step 2Begin een schone chatOpen in ChatGPT een tijdelijke chat en kies “Unpersonalized” voordat je het eerste bericht stuurt. OpenAI zegt dat die modus geen gebruik maakt van geheugen, aangepaste instructies of plug-ins. Bellingcat zag dat accountgeschiedenis antwoorden kon sturen, en ChatGPT kan nog steeds je ruwe locatie schatten op basis van je IP-adres.
3. Step 3Gebruik de scherpste kopieKleine details beslissen het resultaat: in één test van Bellingcat kwam het exacte adres uit de tekst op een brievenbus. Upload het origineel in plaats van een gecomprimeerde herplaatsing, en voeg een uitsnede van dichtbij van elke tekst toe.
4. Step 4Vraag het eenvoudig, en vraag om bewijsEen korte vraag deed het minstens zo goed als het protocol van 1.100 woorden. Probeer: Waar is deze foto genomen? Geef de zichtbare aanwijzingen die je gebruikte, drie kandidaatplaatsen met een betrouwbaarheid per plaats, en zeg wat elke plaats zou uitsluiten. De extra regels zijn er niet om de nauwkeurigheid te verhogen; ze geven je iets om te controleren.
5. Step 5Controleer de kandidaten zelfZoek twee of drie onafhankelijke overeenkomsten, zoals een bord, een daklijn en de vorm van een heuvel, in Street View of satellietbeelden. Voor bezienswaardigheden en toeristische plekken kun je ook een omgekeerde beeldzoekopdracht doen: Google Lens versloeg de meeste chatbots daarbij in de tests van Bellingcat, en een bezienswaardigheid herkennen behandelt die route.
6. Step 6Houd de onzekerheid bijElk model dat Bellingcat testte, zat op een moment volledig ernaast. Let op hoe zeker het antwoord klonk, en behandel de gok van een chatbot nooit als bewijs over een persoon.

Dezelfde volgorde werkt voor elke methode, AI of niet: eerst gemeten gegevens, dan een hypothese, en als laatste bevestiging. De vier manieren om te achterhalen waar een foto is genomen zet dat volledig uiteen.

De prompt leent de naam van het spel, niet de regels. Hij is geschreven voor echte foto's, die, zo staat erin, van privéterrein, iemands achtertuin of een offroadtocht kunnen komen. Of AI de beste GeoGuessr-spelers kan verslaan, en hoe je het tussen de ronden kunt gebruiken om te oefenen, heeft een eigen gids.

GeoSpy werkt op basis van wat zichtbaar is in het beeld, geeft antwoorden op stadsniveau in plaats van een adres, en slaat geüploade foto's niet op. Op geospys.com komt analyse met GeoSpy Premium: 7,99 US-dollar per week of 29,99 US-dollar per jaar (₺389 of ₺1.460 in Turkije), onbeperkt binnen redelijk gebruik, en je kunt op elk moment opzeggen. Kies het jaarabonnement, of begin met de gratis proefperiode in de GeoSpy-iPhone-app.