챗GPT 지오게서 프롬프트, 실력의 비결은 따로 있었어요

2025년 4월, Kelsey Piper는 OpenAI의 새 모델 o3에 해변 사진 한 장을 보여 줬어요. 추가 질문 없이도 o3는 정확한 지점을 짚었어요. 캘리포니아 몬터레이 카운티의 Marina State Beach였어요. 댓글을 단 사람들은 속임수를 의심했어요. 파일에 위치 정보가 남아 있었거나, o3가 이전 대화에서 그가 사는 곳을 기억했거나, IP 주소를 추적했을 것이라는 추측이었어요.

Piper는 시간을 들여 다듬은 긴 프롬프트도 쓰고 있었는데, 이 프롬프트가 o3의 성능을 크게 높여 준다고 말했어요. 블로그 Astral Codex Ten을 쓰는 Scott Alexander는 이 프롬프트를 테스트 사진 묶음에 돌려 봤어요. 대부분 온라인에 올린 적 없는 자기 옛 사진이었고, 메타데이터를 지우고 매칭이 더 어렵도록 좌우를 뒤집은 것이었어요. 히말라야 봉우리에서 찍은 맨바위와 가상 국가의 깃발 사진에 대한 답은 “네팔, Gorak Shep 바로 북동쪽, ±8km”였어요. 정확히 맞았어요.

이 프롬프트는 ‘GeoGuessr(지오게서) 프롬프트’라는 이름으로 널리 공유되었고, 써 본 많은 사람이 감탄했어요. 1년 뒤 마침내 누군가 통제된 테스트를 했어요. 평균적으로 이 프롬프트는 o3를 더 낫게 만들지 못했어요.

Scott Alexander가 Testing AI’s GeoGuessr Genius에서 전문을 재현했어요. 주요 구성은 다음과 같아요.

• 기본 규칙. “메타데이터를 엿보지 말 것. 픽셀(그리고 허용된 공개 웹 검색)만으로 판단할 것.” 또한 사용자의 IP 주소를 근거로 추론하지 말라고 모델에 지시해요.
• 날것의 관찰. 색, 질감, 그림자 각도, 글자 모양처럼 말 그대로 보거나 측정할 수 있는 것을 최대 열 개의 항목으로 적고, 해석은 미뤄요.
• 단서 범주. 기후와 식생, 지형, 인공 환경, 문화와 기반 시설, 빛이에요.
• 후보 다섯 곳. 1순위와 5순위가 최소 160km 떨어져 있어야 하는 순위 목록이에요.
• 반증. 유력한 추측에 대해 무엇이 그 추측을 무너뜨릴지 구체적으로 적어요. 프롬프트는 이렇게 경고해요. “당신은 LLM이고, 첫 추측은 ‘끈질기게 달라붙고’ 당신에게 지나치게 설득력 있게 느껴져요.”
• 확정. 좌표 또는 가장 가까운 지명과 킬로미터 단위의 불확실성 반경이에요.

그림자 길이로 위도를 추정하는 공식도 들어 있으며, 이 기법은 별도 가이드가 있어요. 신중한 사람 위치 추정가를 위한 체크리스트처럼 읽히는데, 이것이 매력의 일부예요.

Goedecke의 짧은 프롬프트는 o3에 시각적 증거로 사진의 위치를 추정하고 좌표, 신뢰도 점수, 사용한 단서를 돌려 달라고 하는 것이 전부였어요. 긴 버전에도 같은 응답 형식을 덧붙였어요. 둘 다 웹 검색 없이 OpenAI API로 실행되었으므로, 이 테스트는 절차에 함께 적힌 검색 단계가 아니라 추론 단계를 측정했어요.

긴 프롬프트가 이긴 경우도 있었어요. 짧은 프롬프트가 유럽의 엉뚱한 지역으로 흘러갔을 때 긴 프롬프트는 추측을 올바른 나라 안에 붙들어 두기도 했고, 짧은 프롬프트가 상트페테르부르크라고 답한 실내 사진 한 장, 모스크바의 쇼핑 아케이드는 200미터 이내로 짚었어요. 하지만 Goedecke의 보고서에 따르면 해로운 변동이 도움이 되는 변동보다 더 많았고 더 컸어요.

이 테스트의 한계도 알아야 해요. 한 사람이 약 미화 15달러를 들여 만든 하나의 벤치마크예요. 사진 대부분(200장 중 180장)은 영국과 아일랜드를 기록하는 프로젝트인 Geograph에서 왔고 나머지는 Wikimedia Commons에서 왔으며, 공개된 사진은 이미 모델의 학습 데이터에 들어 있을 수 있어요. Goedecke는 어느 사진에도 EXIF 메타데이터가 없음을 확인했고, 사진을 외운 모델이었다면 점수가 더 높았을 것이라고 주장해요.

Piper는 o3가 실수할 때마다 어떻게 피할 수 있었는지 물어 그 답을 프롬프트에 더하는 방식으로 프롬프트를 만들었어요. Goedecke의 지적은 이 순환이 프롬프트를 실제보다 좋아 보이게 한다는 것이에요. 모델은 “특정한 프롬프트 수정이 나아지게 했느냐고 물으면 거의 언제나 ‘네, 큰 도움이 됐어요’라고 답해요.” 알 수 있는 유일한 방법은 벤치마크라고 그는 적어요.

Alexander 본인의 실행 결과는 개별 사례가 왜 오해를 부르는지 보여 줘요. 프롬프트를 쓴 o3는 특징 없는 평원을 텍사스와 뉴멕시코에 걸친 300×100마일의 올바른 지역에 두었지만, 한 지점을 짚으라고 하자 약 110마일을 빗나갔어요. 캘리포니아의 기숙사 방은 “미국 대형 주립대 캠퍼스의 기숙사 방”이라고밖에 하지 못했고, 미시간의 잔디밭은 태평양 연안 북서부에 두었으며, 갈색 메콩강 구간은 갠지스강으로 착각했어요. 그의 미시간 옛집은 미네소타의 Richfield라는 답이 돌아왔어요.

사람들이 공유하는 것은 눈에 띄는 성공 사례예요. 아무리 소름 돋는 결과라 해도, 수백 장의 사진으로 한 테스트가 스크린샷 한 장보다 더 많은 것을 말해 줘요.

“o3가 이 작업을 잘하게 해 준 그 무언가는 더 최신 모델로 이어지지 않았다”고 Goedecke는 결론지었어요. 실제로 어떤 모델을 쓰게 되는지도 중요해요. Bellingcat에 따르면 GPT-5가 나온 뒤 OpenAI는 챗GPT에서 o4-mini-high 같은 이전 모델을 고르는 옵션을 없앴어요. Bellingcat의 나머지 결과는 챗GPT가 구글 렌즈와 다른 챗봇과 어떻게 비교됐는지에 있어요.

1. Step 1메타데이터부터 읽기파일에 저장된 좌표는 추측이 아니라 측정된 값이므로, 무엇보다 먼저 GPS 데이터가 있는지 확인해요. 소셜 앱에서 저장한 사진은 대개 이 정보를 잃은 상태예요.
2. Step 2깨끗한 채팅 시작챗GPT에서 임시 채팅을 열고 첫 메시지를 보내기 전에 ‘Unpersonalized’(개인화 없음)를 선택해요. OpenAI는 이 모드가 메모리, 맞춤 설정 지침, 플러그인을 사용하지 않는다고 밝혀요. Bellingcat은 계정 기록이 답을 이끌 수 있음을 확인했고, 챗GPT는 여전히 IP 주소로 내 대략적인 위치를 추정할 수 있어요.
3. Step 3가장 선명한 사본 사용작은 세부가 결과를 좌우해요. Bellingcat의 한 테스트에서는 우편함에 적힌 글자에서 정확한 주소가 나왔어요. 압축된 재게시본이 아니라 원본을 올리고, 글자가 있다면 그 부분을 확대해 자른 이미지도 함께 올려요.
4. Step 4평이하게 묻고 근거를 요구짧은 요청도 1,100단어 분량의 절차만큼은 잘했어요. 다음과 같이 물어봐요. 이 사진은 어디에서 찍었나요? 사용한 눈에 보이는 단서를 나열하고, 후보 장소 세 곳을 각각 신뢰도와 함께 제시하고, 각 후보를 배제할 수 있는 조건을 말해 주세요. 덧붙인 줄은 정확도를 높이려는 것이 아니라 확인할 거리를 주려는 것이에요.
5. Step 5후보는 직접 확인Street View나 위성 이미지에서 간판, 지붕선, 언덕의 모양처럼 서로 독립적인 일치 항목을 두세 개 찾아봐요. 랜드마크와 관광지라면 이미지 역검색도 함께 돌려요. Bellingcat의 테스트에서 구글 렌즈는 이런 대상에서 대부분의 챗봇을 이겼고, 랜드마크 식별에서 그 경로를 다뤄요.
6. Step 6불확실성 유지Bellingcat이 테스트한 모든 모델은 어느 시점에서 완전히 틀렸어요. 답이 얼마나 확신에 차 있었는지 기록해 두고, 챗봇의 추측을 사람에 대한 증거로 취급해서는 안 돼요.

이 순서는 AI든 아니든 어떤 방법에도 통해요. 측정된 데이터가 먼저, 가설이 두 번째, 확인이 마지막이에요. 사진 촬영 장소를 찾는 네 가지 방법에 전체 내용이 있어요.

이 프롬프트는 게임의 이름만 빌렸을 뿐 규칙은 따르지 않아요. 실제 사진을 위해 쓰였고, 프롬프트 스스로 밝히듯 그 사진은 사유지나 누군가의 뒷마당, 비포장 여행에서 찍은 것일 수도 있어요. AI가 최상위 GeoGuessr 플레이어를 이길 수 있는지와 라운드 사이 연습에 활용하는 방법은 별도 가이드에서 다뤄요.

GeoSpy는 프레임에 보이는 것을 바탕으로 작동하고, 주소가 아니라 도시 수준으로 답하며, 업로드한 사진을 저장하지 않아요. geospys.com에서 분석은 GeoSpy Premium으로 제공돼요. 주 미화 7.99달러 또는 연 미화 29.99달러(튀르키예에서는 ₺389 또는 ₺1,460)이고, 공정 사용 범위에서 무제한이며 언제든 해지할 수 있어요. 연간 플랜 선택하기, 또는 GeoSpy iPhone 앱의 무료 체험으로 시작할 수 있어요.