Prompt ChatGPT GeoGuessr: cosa dice il test su 200 foto

Ad aprile 2025 Kelsey Piper ha dato al nuovo modello o3 di OpenAI la foto di una spiaggia. Senza altre domande, il modello ha indicato il punto esatto: Marina State Beach, nella contea di Monterey, in California. Chi commentava pensava a un trucco. Forse il file conservava ancora i dati di posizione, oppure o3 ricordava dove viveva dalle chat precedenti, oppure aveva ricavato l'indirizzo IP.

Piper usava anche un prompt lungo, costruito nel tempo, che secondo lei migliorava in modo significativo le prestazioni di o3. Scott Alexander, che scrive il blog Astral Codex Ten, lo ha provato su un insieme di foto di prova, per lo più vecchie foto sue mai pubblicate online, private dei metadati e ribaltate per rendere più difficile il confronto. Un'immagine di roccia nuda e la bandiera di un paese immaginario, scattata su una vetta dell'Himalaya, è stata restituita come «Nepal, appena a nord-est di Gorak Shep, ±8 km». Era esattamente giusto.

Il prompt è stato condiviso ampiamente come «il prompt GeoGuessr», e molte persone che lo hanno provato ne sono uscite colpite. Un anno dopo, qualcuno ha finalmente fatto il test controllato. In media il prompt non ha reso o3 più bravo.

Scott Alexander lo ha riprodotto integralmente in Testing AI's GeoGuessr Genius. Ecco le sue parti principali:

• Regole di base. “No metadata peeking. Work only from pixels (and permissible public-web searches).” Dice anche al modello di non ragionare a partire dall'indirizzo IP dell'utente.
• Osservazioni grezze. Fino a dieci punti elenco su ciò che si può letteralmente vedere o misurare, come colore, texture, angolo delle ombre e forma delle lettere, senza interpretazioni.
• Categorie di indizi. Clima e vegetazione, forme del terreno, ambiente costruito, cultura e infrastrutture, e la luce.
• Cinque candidati. Una lista ordinata in cui il primo e il quinto posto devono distare almeno 160 km.
• Confutazione. Per l'ipotesi principale bisogna spiegare cosa la farebbe crollare. “You are an LLM, and your first guesses are ‘sticky’ and excessively convincing to you,” avverte il prompt.
• Chiusura. Coordinate o il luogo con nome più vicino, più un raggio di incertezza in chilometri.

Include persino una formula per stimare la latitudine dalla lunghezza di un'ombra, una tecnica che ha una sua guida. Sembra una lista di controllo per un geolocalizzatore umano attento, ed è parte del suo fascino.

La breve istruzione di Goedecke chiedeva semplicemente a o3 di geolocalizzare la foto a partire dalle prove visive e di restituire coordinate, un punteggio di affidabilità e gli indizi usati. La versione lunga aveva in più il formato della risposta. Entrambe sono passate dall'API di OpenAI senza ricerca web, quindi il test ha misurato i passaggi di ragionamento del protocollo, non quelli di ricerca che descrive anche.

Il prompt lungo ha avuto dei successi. A volte ha mantenuto una stima nel paese giusto quando quello breve è finito nella parte sbagliata d'Europa, e ha collocato entro 200 metri una foto d'interno, una galleria commerciale a Mosca, dove quello breve indicava San Pietroburgo. Ma i suoi effetti negativi erano più numerosi e più pesanti di quelli positivi, ha concluso il rapporto di Goedecke.

Conosci i limiti del test. È un solo benchmark, costruito da una sola persona con circa 15 dollari USA di spesa. La maggior parte delle sue foto (180 su 200) proviene da Geograph, un progetto che documenta Gran Bretagna e Irlanda, con le altre da Wikimedia Commons, e le foto pubbliche possono già trovarsi nei dati di addestramento di un modello. Goedecke ha verificato che nessuna avesse metadati EXIF, e sostiene che un modello che avesse memorizzato le foto avrebbe ottenuto punteggi migliori.

Piper ha costruito il prompt chiedendo a o3, dopo ogni errore, come avrebbe potuto evitarlo, e aggiungendo la risposta. Il punto di Goedecke è che questo ciclo lusinga il prompt: i modelli quasi sempre rispondono che sì, quella particolare modifica ha migliorato le cose, quando glielo chiedi. L'unico modo di saperlo, scrive, è un benchmark.

L'esempio di Alexander dimostra perché un singolo caso inganna. Con il prompt, o3 ha collocato una pianura senza caratteristiche nella regione giusta, di 300 per 100 miglia tra Texas e Nuovo Messico, ma quando gli è stato chiesto un punto ha sbagliato di circa 110 miglia. Ha potuto descrivere una stanza di un collegio in California solo come «una stanza di un dormitorio in un grande campus universitario pubblico negli Stati Uniti», ha collocato un tratto di prato del Michigan nel Pacifico nord-occidentale e ha preso un tratto marrone del Mekong per il Gange. La sua vecchia casa in Michigan è stata restituita come Richfield, Minnesota.

I successi clamorosi sono ciò che la gente condivide. Un test su centinaia di foto dice più di qualsiasi singolo screenshot, per quanto inquietante.

«Qualunque cosa avesse o3 che lo rendeva bravo in questo compito non si è trasferita ai modelli più recenti», ha concluso Goedecke. Conta anche quale modello ottieni davvero: dopo l'arrivo di GPT-5, OpenAI ha tolto la possibilità di scegliere modelli più vecchi come o4-mini-high in ChatGPT, ha riferito Bellingcat. Come si è confrontato ChatGPT con Google Lens e gli altri chatbot riporta il resto dei risultati di Bellingcat.

1. Step 1Leggi prima i metadatiLe coordinate salvate nel file sono misurate, non indovinate, quindi controlla i dati GPS prima di tutto. Le foto salvate dalle app social di solito le hanno perse.
2. Step 2Inizia una chat pulitaIn ChatGPT, apri una chat temporanea e scegli «Unpersonalized» prima del primo messaggio; OpenAI dice che questa modalità non usa memoria, istruzioni personalizzate o plugin. Bellingcat ha visto che la cronologia dell'account poteva orientare le risposte, e ChatGPT può comunque stimare la tua posizione approssimativa dal tuo indirizzo IP.
3. Step 3Usa la copia più nitidaI dettagli piccoli decidono il risultato: in un test di Bellingcat, l'indirizzo esatto è venuto dalla scritta su una cassetta della posta. Carica l'originale invece di una ripubblicazione compressa, e aggiungi un ritaglio ravvicinato di ogni testo.
4. Step 4Chiedi in modo semplice, e chiedi le proveUna richiesta breve ha fatto almeno quanto il protocollo di 1.100 parole. Prova così: Where was this photo taken? List the visible clues you used, give three candidate places with a confidence for each, and say what would rule each one out. Le righe in più non servono ad aumentare l'accuratezza; ti danno qualcosa da verificare.
5. Step 5Controlla tu stesso i candidatiCerca due o tre riscontri indipendenti, come un'insegna, la linea di un tetto e la forma di una collina, in Street View o nelle immagini satellitari. Per monumenti e luoghi turistici, fai anche una ricerca inversa per immagini: Google Lens ha battuto la maggior parte dei chatbot su quelli nei test di Bellingcat, e riconoscere un monumento spiega questo percorso.
6. Step 6Conserva l'incertezzaOgni modello testato da Bellingcat ha sbagliato del tutto, in qualche caso. Annota quanto era sicura la risposta, e non trattare mai l'ipotesi di un chatbot come una prova su una persona.

Lo stesso ordine vale per qualsiasi metodo, IA o no: prima i dati misurati, poi un'ipotesi, infine la conferma. I quattro modi per trovare dove è stata scattata una foto lo illustrano per intero.

Il prompt prende il nome del gioco, non le sue regole. È stato scritto per foto reali, che, come nota, possono provenire da terreni privati, dal giardino di qualcuno o da un'escursione fuori strada. Se l'IA può battere i migliori giocatori di GeoGuessr, e come usarla per esercitarsi tra un turno e l'altro, ha una sua guida.

GeoSpy lavora su ciò che è visibile nell'inquadratura, risponde a livello di città e non con un indirizzo, e non memorizza le foto caricate. Su geospys.com l'analisi è inclusa in GeoSpy Premium: 7,99 dollari USA alla settimana o 29,99 dollari USA all'anno (₺389 o ₺1.460 in Turchia), senza limiti entro un uso ragionevole, e puoi disdire in qualsiasi momento. Scegli il piano annuale, oppure inizia con la prova gratuita nell'app GeoSpy per iPhone.