지오게서 AI: 기계가 최고의 플레이어를 이길 수 있을까?

2023년 5월 11일, 세계적으로 잘 알려진 프로 지오게서 플레이어 트레버 레인볼트는 세계 최고의 AI 대 지오게서 프로라는 영상을 올렸어요. 그는 여섯 판을 모두 졌어요. 상대는 스탠퍼드의 연구 모델 PIGEON이었고, 이 모델은 스트리트 뷰 이미지만으로 게임을 배웠어요.

“우리가 레인볼트와 겨룬 첫 AI는 아니었어요”라고 제작자 중 한 명인 Silas Alberti는 NPR에 말했어요. “우리는 레인볼트를 이긴 첫 AI일 뿐이에요.” 3년이 지난 지금, AI가 지오게서를 이길 수 있는지는 결론이 났어요. 남은 질문은 지오게서 AI가 장면을 어떻게 읽는지, 사람이 어디서 여전히 앞서는지, 규칙이 무엇을 허용하는지, 그리고 같은 기술을 금지가 아니라 연습으로 바꾸는 방법이에요.

PIGEON은 Lukas Haas, Michal Skreta, Silas Alberti, Chelsea Finn이 만들었어요. 스탠퍼드 CS 330 수업의 과제로 시작했고, 2023년 7월 arXiv에 올라갔으며, 주요 컴퓨터 비전 학회 중 하나인 CVPR 2024에서 발표되었어요.

실시간 테스트 덕분에 이것은 벤치마크 점수 이상의 의미가 있었어요. 크롬 확장 프로그램이 네 방향 각각의 스크린샷을 찍어 모델에 보내고, 모델의 추측을 지도에 찍었어요. 458번의 Competitive Duels 매치에서 모든 실력대의 플레이어를 이겼어요. 저자들은 추측 전에 무작위 지연을 선택 사항으로 넣어서, 행동이 “더 사람처럼 보이도록” 만들기까지 했어요.

중앙값과 평균을 함께 읽으세요. 추측의 절반은 약 44km 안에 떨어졌지만, 평균 빗나감은 252km였어요. 추측 20번 중 한 번 이상은 750km 넘게 빗나갔고, 그 빗나감이 평균을 끌어올려요. 저자들은 한계도 솔직히 밝혀요. 자신들의 시스템을 포함해 오늘날의 시스템은 거리 단위 예측을 안정적으로 하지 못해요.

범용 AI도 뛰어들었어요. 2025년 4월, Master I 등급 플레이어 Sam Patterson이 OpenAI의 o3와 “No Move” 라운드 다섯 판을 했는데, 모델에는 라운드마다 90도 간격의 스크린샷 두 장만 줬어요. o3는 23,179 대 22,054로 이겼고 다섯 나라를 모두 맞혔어요. 같은 달에는 1,100단어짜리 “GeoGuessr 프롬프트”가 o3용으로 퍼졌지만, 2026년 200장의 사진으로 한 테스트에서는 짧은 프롬프트보다 나은 결과가 없었어요.

공개된 모델은 40만 장의 이미지로 학습되었어요. 10만 개의 무작위 지오게서 위치 각각에서 네 방향 이미지를 뽑은 것이에요. 수학 없이 전체 파이프라인을 단계별로 정리했어요.

1. Step 1시야를 숫자로 바꾸기PIGEON은 서로 90도 떨어진 네 장의 이미지를 받아 360도 시야를 덮어요. 사진과 텍스트를 맞추도록 처음 학습된 모델인 OpenAI의 CLIP이 각 이미지를 임베딩으로 바꾸고, 네 개를 평균 내어 그 장소에 대한 하나의 요약으로 만들어요.
2. Step 2캡션으로 지리 배우기주 학습 전에 모델은 생성된 캡션이 달린 이미지로 공부했어요. 예를 들어 “이 장소에서는 사람들이 도로 왼쪽으로 달린다”와 “이 장소는 온난한 해양성 기후다” 같은 캡션이에요. 캡션은 위치에 중요한 특징 쪽으로 모델을 밀어 줘요.
3. Step 3정확한 좌표가 아니라 지오셀 고르기PIGEON은 위도와 경도를 바로 예측하는 대신 장면을 2,203개의 지오셀 가운데 하나로 분류해요. 지오셀은 실제 행정 경계를 따르며, 각 셀이 충분한 학습 예시를 가질 때까지 합쳐지고, 너무 큰 셀은 군집화로 나눠요.
4. Step 4먼 실수에 더 큰 벌점 주기학습 중에는 정답 옆 셀이 거리에 따라 가중치를 둔 부분 점수를 받아요. 모델은 가까운 빗나감이 먼 빗나감보다 낫다는 것을 배우고, 이는 지오게서 점수 계산과 같은 논리예요.
5. Step 5가장 유력한 후보 안에서 다듬기마지막으로 가장 가능성 높은 지오셀 다섯 개를 골라, 장면을 그 안의 학습 장소 군집과 비교하고, 핀을 가장 가까운 일치로 옮겨요. 저자들은 이 검색 단계가 이 분야에서 처음이라고 설명해요.

모델에게 볼라드가 무엇인지 알려 준 사람은 없었어요. 저자들은 그럼에도 모델이 “온라인 지오게서 가이드에서 가르치는 전략”을 배웠고, 식생, 도로 표시, 전신주, 간판에 주의를 기울였다고 밝혔어요. 이것들은 사람을 위한 국가 단서 체크리스트와 같은 단서 계열이에요. 파노라마가 아니라 일반 사진에 대해서는 AI 위치 추정 해설에 나온 추론이 적용돼요.

• 결정 시간. Patterson은 보통 1~2분 안에, 자주 10초 안에 추측했어요. o3는 거의 항상 2분 넘게 걸렸고, 한 번은 6분을 넘겼어요. 듀얼에서는 한 플레이어의 추측 후 다른 플레이어에게 15초밖에 남지 않을 수 있어서, 몇 분의 생각은 실제 약점이에요.
• 무엇이 중요한지 알기. 그의 평가는 사람이 무엇이 중요한지 아는 데 매우 뛰어나고, 모델은 불필요하고 반복적인 잘라내기를 많이 했으며 “광고에 여러 번 주의가 흐트러졌다”는 것이었어요.
• 더 나은 단서를 위해 움직이기. PIGEON의 봇은 고정된 이미지 네 장을 판단했어요. 상대 사람 플레이어는 장면 안을 움직일 수도 있었는데, 논문 자체도 그것이 추측을 다듬을 더 많은 정보를 줬다고 밝혀요.

이 목록을 너무 깊게 읽지는 마세요. 약 20라운드의 테스트 후, Patterson은 o3를 Master I 이상 플레이어에 견줄 만하다고 평가했어요. 사람의 우위는 더 많이 아는 것이 아니라 게임을 하는 방식에 관한 것이에요.

Patterson은 도로 선, 전신주, 볼라드, 번호판에 관한 수백 개 항목이 든 플래시카드 덱을 가지고 있으며, 그 차이를 이렇게 표현했어요. “이 모델들은 개인의 머리로는 도저히 외울 수 없을 만큼 많은 것을 담고 있어요.” 그것이 진짜 우위예요. 사람은 전문화해야 하지만, 모델은 그럴 필요가 없어요.

약점은 예측 가능해요. PIGEON은 지오게서 장소에서만 학습했으므로, 스트리트 뷰가 다루지 않는 곳은 본 적이 없어요. 저자들은 가장 어려운 이미지로 터널, 수역, 어두운 장면, 숲을 꼽았고, 인구 밀도가 낮아질수록 정확도도 떨어져요.

그 문구는 두 종류의 AI를 모두 포함해요. 대신 플레이해 주는 봇은 제3자 소프트웨어예요. 스크린샷을 붙여 넣는 챗봇은 외부 정보 출처예요. 커뮤니티 규칙은 치팅의 증거가 있을 때 세 가지 처벌을 나열해요:

• 리더보드 제외: 공식 싱글플레이 리더보드에서 제외되고 앞으로도 그곳에서 빠져요.
• 경쟁전 정지: 경쟁전과 싱글플레이 게임의 공식 리더보드에서 막혀요.
• 경쟁전 영구 정지: 경쟁전 플레이에서 영구히 막히고 공식 리더보드에서도 제외돼요.

가상 아이템을 잃을 수도 있고, 조치는 가지고 있는 모든 계정으로 확장될 수 있어요. 이용약관은 별도로 자동 프로그램과 스크립트를 금지하며 목록에 봇을 명시해요. 그리고 일시 정지 또는 영구 정지를 허용해요. 정지되거나 영구 정지된 플레이어는 환불받을 수 없어요.

PIGEON 실험 자체는 어떨까요? 지오게서 내부의 도움을 받아 진행되었어요. 논문은 회사의 최고기술책임자가 사람 플레이어와의 실시간 게임을 가능하게 해 준 것에 감사를 표해요. 실험을 치팅과 구분한 것은 소프트웨어가 아니라 지오게서가 관여했다는 점이에요.

1. Step 1라운드를 깨끗하게 플레이하기두 번째 탭도, 어시스턴트도, 챗봇에 붙일 스크린샷도 없이요. 라운드는 여러분이 혼자서 읽을 수 있는 것을 시험하고, 그것이야말로 측정할 가치가 있는 유일한 것이에요.
2. Step 2결정적 단서 이름 붙이기핀을 찍기 전에, 가장 신뢰하는 증거 하나가 무엇인지 말하세요. 막연한 느낌을 나중에 확인할 수 있는 주장으로 바꿔 줘요.
3. Step 3놓친 단서 찾기정답이 공개된 뒤, 라운드를 결정했어야 할 세부를 찾으세요. 우리의 연습 루틴은 무엇을 어떤 순서로 확인할지 알려 줘요.
4. Step 4단서에 대해 질문하기“체코와 슬로바키아의 도로변 기둥은 어떻게 다른가요?” 같은 질문은 나중에 다시 쓸 수 있는 것을 가르쳐 줘요. 답은 검증할 단서로 다루세요. Patterson은 o3가 설명한 표지판과 도로 선이 대체로 정확했지만 항상은 아니었다고 봤어요.
5. Step 5실제 사진으로 기술 시험하기여러분의 사진 중 하나가 어디서 찍혔는지 추측한 다음, GeoSpy의 AI 추정과 비교하세요. GPS 데이터가 파일에 남아 있으면 그것을 읽으니, 위치를 먼저 지우세요. 그렇지 않으면 시험이 아무것도 증명하지 못해요.

마지막 단계가 중요한 이유는 게임과 실제 사진이 같은 눈을 훈련시키기 때문이에요. 파노라마에서 배운 것은 메타데이터 없이 사진 위치 찾기가 기대는 바로 그것이에요.