Prompt ChatGPT GeoGuessr : viral, mais pas la clé du succès

En avril 2025, Kelsey Piper a donné au nouveau modèle o3 d'OpenAI la photo d'une plage. Sans poser d'autre question, il a nommé l'endroit exact : Marina State Beach, dans le comté de Monterey, en Californie. Les commentateurs ont soupçonné une astuce. Peut-être le fichier contenait-il encore ses données de localisation, ou o3 se souvenait-il de l'endroit où elle habitait grâce à des conversations antérieures, ou encore avait-il retrouvé son adresse IP.

Piper utilisait aussi un long prompt, construit au fil du temps, qui, disait-elle, améliorait nettement les performances d'o3. Scott Alexander, qui tient le blog Astral Codex Ten, l'a appliqué à une série d'images de test, pour la plupart de vieilles photos à lui qui n'avaient jamais été en ligne, privées de leurs métadonnées et retournées pour compliquer la correspondance. Une photo de rochers nus et du drapeau d'un pays imaginaire, prise au sommet d'un pic de l'Himalaya, est revenue avec « Népal, juste au nord-est de Gorak Shep, ±8 km ». C'était exact.

Le prompt a été largement partagé sous le nom de « prompt GeoGuessr », et beaucoup de ceux qui l'ont essayé en sont ressortis impressionnés. Un an plus tard, quelqu'un a enfin mené le test contrôlé. En moyenne, le prompt n'a pas rendu o3 meilleur.

Scott Alexander l'a reproduit en entier dans Testing AI’s GeoGuessr Genius. Ses principales parties :

• Règles de base. « Pas de coup d'œil aux métadonnées. Travaillez uniquement à partir des pixels (et de recherches web publiques autorisées). » Il demande aussi au modèle de ne pas raisonner à partir de l'adresse IP de l'utilisateur.
• Observations brutes. Jusqu'à dix puces sur ce que l'on peut littéralement voir ou mesurer, comme la couleur, la texture, l'angle des ombres et la forme des lettres, sans interprétation.
• Catégories d'indices. Climat et végétation, relief, bâti, culture et infrastructures, et lumière.
• Cinq candidats. Une liste restreinte classée dans laquelle les première et cinquième places doivent être distantes d'au moins 160 km.
• Réfutation. Pour l'hypothèse en tête, énoncer ce qui l'invaliderait. « Vous êtes un LLM, et vos premières hypothèses sont “collantes” et excessivement convaincantes à vos yeux », prévient le prompt.
• Verrouillage. Des coordonnées ou le lieu nommé le plus proche, plus un rayon d'incertitude en kilomètres.

Il comprend même une formule pour estimer la latitude à partir de la longueur d'une ombre, une technique qui a son propre guide. On dirait la liste de contrôle d'un géolocalisateur humain rigoureux, ce qui fait une partie de son attrait.

Le prompt court de Goedecke demandait simplement à o3 de géolocaliser la photo à partir d'indices visuels et de renvoyer des coordonnées, un score de confiance et les indices utilisés. On a ajouté le même format de réponse à la version longue. Les deux ont tourné via l'API d'OpenAI sans recherche web : le test a donc mesuré les étapes de raisonnement du protocole, pas les étapes de recherche qu'il décrit aussi.

Le prompt long a eu des réussites. Il a parfois maintenu une estimation dans le bon pays quand le prompt court dérivait vers la mauvaise partie de l'Europe, et il a situé à moins de 200 mètres une photo d'intérieur, une galerie commerçante de Moscou, là où le prompt court répondait Saint-Pétersbourg. Mais ses écarts nuisibles ont été plus nombreux et plus lourds que les utiles, conclut le rapport de Goedecke.

Connaissez les limites du test. C'est un seul benchmark, conçu par une seule personne pour environ 15 dollars américains. La plupart de ses photos (180 sur 200) viennent de Geograph, un projet qui documente la Grande-Bretagne et l'Irlande, le reste de Wikimedia Commons, et des photos publiques peuvent déjà figurer dans les données d'entraînement d'un modèle. Goedecke a vérifié qu'aucune ne portait de métadonnées EXIF, et soutient qu'un modèle ayant mémorisé les photos aurait obtenu un meilleur score.

Piper a construit le prompt en demandant à o3, après chaque erreur, comment il aurait pu l'éviter, puis en ajoutant la réponse. Pour Goedecke, cette boucle flatte le prompt : les modèles « répondent presque toujours “oui, ça a beaucoup aidé” quand on leur demande si telle modification du prompt a amélioré les choses ». La seule façon de savoir, écrit-il, est un benchmark.

Le test d'Alexander lui-même montre pourquoi les exemples isolés trompent. Avec le prompt, o3 a placé une plaine sans relief dans la bonne région de 300 sur 100 miles du Texas et du Nouveau-Mexique mais, interrogé sur un point précis, s'est trompé d'environ 110 miles. Il n'a pu qualifier une chambre d'étudiant californienne que de « chambre d'étudiant sur un grand campus universitaire public des États-Unis », a placé un bout de pelouse du Michigan dans le Nord-Ouest Pacifique, et a pris un tronçon brun du Mékong pour le Gange. Son ancienne maison du Michigan est ressortie comme Richfield, dans le Minnesota.

Ce sont les réussites frappantes que les gens partagent. Un test sur des centaines de photos en dit plus que n'importe quelle capture d'écran isolée, aussi troublante soit-elle.

« Ce qui rendait o3 bon pour cette tâche ne s'est pas transmis aux modèles plus récents », a conclu Goedecke. Le modèle que l'on obtient réellement compte aussi : après l'arrivée de GPT-5, OpenAI a retiré dans ChatGPT la possibilité de choisir d'anciens modèles comme o4-mini-high, a rapporté Bellingcat. Comment ChatGPT se compare à Google Lens et aux autres chatbots donne le reste des résultats de Bellingcat.

1. Step 1Lire d'abord les métadonnéesLes coordonnées stockées dans le fichier sont mesurées, pas devinées : cherchez donc des données GPS avant toute chose. Les photos enregistrées depuis des applications sociales les ont généralement perdues.
2. Step 2Ouvrir une conversation viergeDans ChatGPT, ouvrez une conversation temporaire et choisissez « Unpersonalized » avant le premier message ; OpenAI indique que ce mode n'utilise ni la mémoire, ni les instructions personnalisées, ni les plugins. Bellingcat a constaté que l'historique du compte pouvait orienter les réponses, et ChatGPT peut toujours estimer votre position approximative à partir de votre adresse IP.
3. Step 3Utiliser la copie la plus netteLes petits détails décident du résultat : dans un test de Bellingcat, l'adresse exacte est venue d'une inscription sur une boîte aux lettres. Envoyez l'original plutôt qu'une republication compressée, et ajoutez un recadrage rapproché de tout texte.
4. Step 4Demander simplement, et demander des preuvesUne demande courte a fait au moins aussi bien que le protocole de 1 100 mots. Essayez : Où cette photo a-t-elle été prise ? Listez les indices visibles que vous avez utilisés, donnez trois lieux candidats avec un niveau de confiance pour chacun, et dites ce qui permettrait d'écarter chacun d'eux. Les lignes supplémentaires ne sont pas là pour améliorer la précision ; elles vous donnent de quoi vérifier.
5. Step 5Vérifier soi-même les candidatsCherchez deux ou trois correspondances indépendantes, comme un panneau, une ligne de toit et la forme d'une colline, dans Street View ou en imagerie satellite. Pour les monuments et les sites touristiques, faites aussi une recherche d'image inversée : Google Lens a battu la plupart des chatbots sur ce terrain dans les tests de Bellingcat, et identifier un monument détaille cette voie.
6. Step 6Garder l'incertitudeTous les modèles testés par Bellingcat se sont, à un moment ou à un autre, complètement trompés. Notez le niveau de confiance de la réponse, et ne traitez jamais l'hypothèse d'un chatbot comme une preuve concernant une personne.

Le même ordre vaut pour toute méthode, IA ou non : les données mesurées d'abord, une hypothèse ensuite, la confirmation en dernier. Les quatre façons de savoir où une photo a été prise le détaillent en entier.

Le prompt emprunte son nom au jeu, pas ses règles. Il a été écrit pour de vraies photos, qui, précise-t-il, peuvent venir d'un terrain privé, de l'arrière-cour de quelqu'un ou d'une sortie hors piste. Savoir si l'IA peut battre les meilleurs joueurs de GeoGuessr, et comment s'en servir pour s'entraîner entre les manches, fait l'objet d'un guide à part.

GeoSpy travaille à partir de ce qui est visible dans le cadre, répond au niveau de la ville plutôt que par une adresse, et ne conserve pas les photos envoyées. Sur geospys.com, l'analyse s'accompagne de GeoSpy Premium : 7,99 dollars américains par semaine ou 29,99 dollars américains par an (389 ₺ ou 1 460 ₺ en Turquie), illimité dans le cadre d'un usage raisonnable, résiliable à tout moment. Choisir l'abonnement annuel, ou commencer par l'essai gratuit dans l'application GeoSpy pour iPhone.