Prompt GeoGuessr do ChatGPT: to nie on stoi za skutecznością

W kwietniu 2025 roku Kelsey Piper pokazała nowemu modelowi o3 od OpenAI zdjęcie plaży. Bez żadnych dodatkowych pytań model wskazał dokładne miejsce: Marina State Beach w hrabstwie Monterey w Kalifornii. Komentujący podejrzewali jakąś sztuczkę. Może plik wciąż miał dane o lokalizacji, albo o3 zapamiętało z wcześniejszych czatów, gdzie ona mieszka, albo namierzyło ją po adresie IP.

Piper stosowała też długi prompt, budowany stopniowo, który, jak mówiła, znacząco poprawiał wyniki o3. Scott Alexander, autor bloga Astral Codex Ten, uruchomił go na zestawie zdjęć testowych, głównie starych zdjęć jego własnych, które nigdy nie trafiły do sieci, pozbawionych metadanych i odbitych lustrzanie, by utrudnić dopasowanie. Zdjęcie gołych skał i flagi wymyślonego państwa, zrobione na szczycie w Himalajach, dostało odpowiedź „Nepal, just north-east of Gorak Shep, ±8 km”. Trafiono dokładnie.

Prompt szeroko krążył jako „the GeoGuessr prompt”, a wielu ludzi, którzy go wypróbowali, wyszło pod wrażeniem. Rok później ktoś wreszcie przeprowadził kontrolowany test. Średnio prompt nie sprawił, że o3 radziło sobie lepiej.

Scott Alexander odtworzył go w całości w Testing AI’s GeoGuessr Genius. Jego główne części:

• Zasady podstawowe. „No metadata peeking. Work only from pixels (and permissible public-web searches).” Prompt każe też modelowi nie rozumować na podstawie adresu IP użytkownika.
• Surowe obserwacje. Do dziesięciu punktów opisujących to, co da się dosłownie zobaczyć lub zmierzyć, na przykład kolor, fakturę, kąt cienia i kształty liter, z wstrzymaną interpretacją.
• Kategorie wskazówek. Klimat i roślinność, ukształtowanie terenu, zabudowa, kultura i infrastruktura oraz światło.
• Pięciu kandydatów. Uszeregowana lista, w której pierwsze i piąte miejsce muszą dzielić co najmniej 160 km.
• Obalenie. Dla głównego kandydata trzeba opisać, co by go podważyło. „Jesteś LLM-em, a twoje pierwsze przypuszczenia są «lepkie» i nadmiernie cię przekonują”, ostrzega prompt.
• Ostateczna odpowiedź. Współrzędne albo najbliższa nazwana miejscowość oraz promień niepewności w kilometrach.

Jest nawet wzór na szacowanie szerokości geograficznej z długości cienia, technika z własnym przewodnikiem. Czyta się to jak listę kontrolną dla uważnego człowieka-geolokalizatora, i to jest część jego uroku.

Krótki prompt Goedeckego po prostu kazał o3 zlokalizować zdjęcie na podstawie dowodów wizualnych i zwrócić współrzędne, wynik pewności oraz użyte wskazówki. Długa wersja miała dodany ten sam format odpowiedzi. Obie wersje działały przez API OpenAI bez wyszukiwania w sieci, więc test mierzył kroki rozumowania protokołu, a nie kroki wyszukiwania, które również opisuje.

Długa wersja miała swoje zwycięstwa. Czasem utrzymywała odpowiedź w poprawnym kraju, gdy krótka dryfowała do złej części Europy, a jedno zdjęcie wnętrza, pasaż handlowy w Moskwie, umieściła w promieniu 200 metrów, gdzie krótka wskazała Petersburg. Jednak jej szkodliwe wahnięcia przeważały nad korzystnymi, wykazał raport Goedeckego.

Poznaj ograniczenia tego testu. To jeden benchmark, zbudowany przez jedną osobę za około 15 USD. Większość zdjęć (180 z 200) pochodziła z Geograph, projektu dokumentującego Wielką Brytanię i Irlandię, a resztę z Wikimedia Commons. Publiczne zdjęcia mogą już znajdować się w danych treningowych modelu. Goedecke sprawdził, że żadne nie miało metadanych EXIF, i twierdzi, że model, który zapamiętał zdjęcia, wypadłby lepiej.

Piper zbudowała prompt, pytając o3 po każdym błędzie, jak mogło go uniknąć, a potem dopisując odpowiedź. Punkt Goedeckego polega na tym, że ta pętla schlebia promptowi: modele „prawie zawsze powiedzą «tak, to bardzo pomogło», gdy zapytasz, czy dana poprawka promptu coś poprawiła”. Jedyny sposób, by się dowiedzieć, to benchmark.

Przebieg Alexandra pokazuje, dlaczego pojedyncze przykłady wprowadzają w błąd. Z promptem o3 umieściło pozbawioną cech równinę w poprawnym regionie Teksasu i Nowego Meksyku o wymiarach 300 na 100 mil, ale zapytane o punkt, chybiło o około 110 mil. Pokój w akademiku w Kalifornii nazwało jedynie „a dorm room on a large public university campus in the United States”, płat michigańskiego trawnika umieściło w regionie Pacific Northwest, a brązowy odcinek Mekongu wzięło za Ganges. Jego dawny dom w Michigan wyszedł jako Richfield w Minnesocie.

Efektowne trafienia są tym, co ludzie udostępniają. Test na setkach zdjęć mówi więcej niż jakikolwiek pojedynczy zrzut ekranu, choćby był najbardziej niesamowity.

„Cokolwiek sprawiało, że o3 dobrze radziło sobie z tym zadaniem, nie przeniosło się na nowsze modele”, podsumował Goedecke. Ważne jest też, jaki model faktycznie dostajesz: po premierze GPT-5 OpenAI usunęło w ChatGPT możliwość wyboru starszych modeli, takich jak o4-mini-high, poinformował Bellingcat. Jak ChatGPT wypadł na tle Google Lens i innych chatbotów przedstawia resztę wyników Bellingcat.

1. Step 1Najpierw odczytaj metadaneWspółrzędne zapisane w pliku są zmierzone, a nie zgadnięte, więc sprawdź dane GPS przed wszystkim innym. Zdjęcia zapisane z aplikacji społecznościowych zwykle je straciły.
2. Step 2Zacznij czysty czatW ChatGPT otwórz tymczasowy czat i wybierz „Unpersonalized” przed pierwszą wiadomością; OpenAI mówi, że ten tryb nie korzysta z pamięci, instrukcji niestandardowych ani wtyczek. Bellingcat stwierdził, że historia konta potrafi sterować odpowiedziami, a ChatGPT może nadal oszacować twoje przybliżone położenie z adresu IP.
3. Step 3Użyj najostrzejszej kopiiDrobne szczegóły decydują o wyniku: w jednym teście Bellingcat dokładny adres pochodził z napisu na skrzynce na listy. Prześlij oryginał, a nie skompresowaną kopię z repostu, i dodaj zbliżenie każdego tekstu.
4. Step 4Pytaj wprost i proś o dowodyKrótka prośba poradziła sobie co najmniej tak dobrze jak 1100-słowny protokół. Spróbuj: Where was this photo taken? List the visible clues you used, give three candidate places with a confidence for each, and say what would rule each one out. Dodatkowe zdania nie podnoszą dokładności; dają ci coś do sprawdzenia.
5. Step 5Sprawdź kandydatów samodzielnieSzukaj dwóch lub trzech niezależnych dopasowań, na przykład szyldu, linii dachu i kształtu wzgórza, w Street View lub na zdjęciach satelitarnych. W przypadku zabytków i miejsc turystycznych uruchom też wyszukiwanie obrazem: Google Lens pokonał w testach Bellingcat większość chatbotów, a rozpoznawanie zabytku opisuje tę drogę.
6. Step 6Zachowaj niepewnośćKażdy model testowany przez Bellingcat w pewnym momencie całkowicie się mylił. Zwróć uwagę, jak pewna była odpowiedź, i nigdy nie traktuj zgadywania chatbota jako dowodu dotyczącego osoby.

Ta sama kolejność działa przy każdej metodzie, AI czy nie: najpierw dane zmierzone, potem hipoteza, na końcu potwierdzenie. Cztery sposoby na ustalenie, gdzie zrobiono zdjęcie przedstawiają to w całości.

Prompt pożycza nazwę gry, a nie jej zasady. Został napisany dla prawdziwych zdjęć, które, jak zauważa, mogą pochodzić z prywatnych działek, czyjegoś podwórka albo wyprawy w teren. Czy AI może pokonać najlepszych graczy GeoGuessr i jak go używać do ćwiczeń między rundami, ma osobny przewodnik.

GeoSpy działa na podstawie tego, co widać w kadrze, odpowiada na poziomie miasta, a nie adresu, i nie przechowuje przesłanych zdjęć. Na geospys.com analiza jest dostępna w ramach GeoSpy Premium: 7,99 USD tygodniowo lub 29,99 USD rocznie (₺389 lub ₺1 460 w Turcji), bez limitu w ramach uczciwego użytkowania, z możliwością anulowania w dowolnym momencie. Wybierz plan roczny albo zacznij od darmowego okresu próbnego w aplikacji GeoSpy na iPhone'a.