Fotoğraf konum tespiti API'si: neyi söyler, neyi söyleyemez

Ad, tek satır kod yazılmadan karışıklığa yol açar. Tarayıcıdaki Geolocation API bir cihazın şu anda nerede olduğunu bildirir ve bunu yalnızca kullanıcı izin verdikten sonra yapar. Fotoğraf konum tespiti API'si ise farklı bir girdi hakkında farklı bir soruyu yanıtlar: bu fotoğraf nerede çekildi? Fotoğraf on yıllık olabilir ve Dünya'nın herhangi bir yerinden gelebilir.

Birbirine yakın üç teknoloji de “bir fotoğrafın yerini bulma” olarak anlatılır: GPS üst verisini okumak, tersine görsel arama ve simge yapı tespiti. Bunlar farklı şeyler döndürür ve farklı biçimlerde başarısız olur; bu yüzden birini seçmeden önce ürününüzün gerçekte hangi soruyu sorduğunu bilmek işe yarar.

Birçok araştırma sistemi bunu bir sınıflandırma problemi olarak ele alır. Google araştırmacılarının 2016 tarihli modeli PlaNet, Dünya yüzeyini binlerce hücreye böldü ve bir görüntünün hangi hücreye ait olduğunu tahmin etmesi için bir sinir ağını milyonlarca konum etiketli fotoğrafla eğitti. Çıktı, dünyaya yayılmış bir olasılık dağılımıdır. Bir Lizbon tramvayı fotoğrafı bu olasılığı tek bir yerde toplar; bir çam ormanı fotoğrafı ise onu birkaç kıtaya ince ince yayar. Güven skoru, özünde bu dağılımın bir özetidir.

Ürün tasarımı için en önemli ayrıntı, çevrimiçi hiçbir şeyin var olmak zorunda olmamasıdır. API, hiç yayımlanmamış bir fotoğraf üzerinde de çalışır ve kanıt zayıf olduğunda bile bir cevap döndürebilir; skorun en az yer kadar önemli olmasının nedeni budur. Bir modelin sahneyi nasıl okuduğu ayrı bir yazıda anlatılıyor; bu rehber çıktıyla ne yapacağınızla ilgilidir.

Hassasiyet de tasarım gereği eşit değildir. PlaNet, yoğun fotoğraflanan bölgelere seyrek olanlardan daha küçük hücreler verdi; bu yüzden bazı şehir bölgelerinde sokak düzeyinde doğruluğa ulaşabilirken kırsal bölgeler çok daha büyük hücrelerde kaldı. Çoğu modelin, eğitim fotoğraflarının yoğun olduğu yerlerde daha keskin olmasını bekleyin.

EXIF GPS bir tahmin değil, ölçümdür

Bir telefon konumu kaydettiğinde koordinatlar, EXIF verisinin ayrı bir GPS bloğuna, GPSLatitude ve GPSLongitude gibi etiketlerin altına yazılır. GPS.gov, tipik akıllı telefon doğruluğunu açık gökyüzü altında 4,9 m olarak veriyor. Hiçbir görsel yöntem buna yaklaşamaz; bu yüzden sağlam bir akış önce üst veriyi okur ve yalnızca üst veri yoksa çıkarım yapar. Bir sosyal platformdan geçmiş görüntülerde genellikle yoktur, çünkü yüklemedeki yeniden kodlama onu siler.

Tersine görsel arama bir sorgulamadır

Google Cloud Vision'ın web algılama özelliği bu kategorinin yapısını gösterir. fullMatchingImages, partialMatchingImages ve pagesWithMatchingImages gibi alanlar döndürür. Bir eşleşme varsa bulunduğu sayfa çoğu zaman yeri doğrudan adıyla söyler ve bu, her tahminden iyidir. Fotoğraf özelse ya da orijinalse eşleşecek bir şey yoktur. Motor karşılaştırması aynı fikrin tüketici sürümlerini ele alıyor.

Simge yapı tespiti ünlü yerleri tanır

Cloud Vision'ın simge yapı tespiti, Google'ın ifadesiyle “bir görüntüdeki popüler doğal ve insan yapımı yapıları algılar”. Her sonuç, simge yapının adını taşıyan bir description, bir score, yapının karedeki yerini işaretleyen bir boundingPoly ve koordinat listesi içeren bir locations alanı barındırır. Google'ın kendi örneği, Aziz Vasil Katedrali'ni 0,78 skorla döndürür.

İki ayrıntı ekipleri yanıltır. Sıradan bir sokak hiç simge yapı döndürmez, yani kapsam dardır. Ayrıca koordinatlar kamerayı değil simge yapıyı tarif edebilir: Google'ın başvuru belgesi, bir konumun görüntüdeki sahneyi, bir başkasının ise fotoğrafın çekildiği yeri tarif edebileceğini belirtir. Eyfel Kulesi'ni Sen Nehri'nin karşı yakasından çeken biri, kulenin kendi koordinatlarından birkaç yüz metre uzakta duruyor olabilir.

Fotoğraf konum tespiti, herhangi bir dış mekân sahnesi için bölge tahmin eder

Dört yöntem arasında, hiç çevrimiçi olmamış sıradan bir sokak hakkında söyleyecek sözü olan tek yöntem görsel çıkarımdır. Bedeli hassasiyettir. Cevap, güven skoruyla birlikte bir şehir ya da bölgedir; ölçülmüş bir nokta asla değildir ve coğrafi kanıt taşımayan bir kare zayıf bir cevap alır ya da hiç cevap alamaz.

Kaçınılması gereken tasarım hatası, tahmini koordinatlarla EXIF GPS'i tek bir konum alanında birleştirmektir. Bunun ardından gelen kod ve çıktısını okuyan kişiler, şehir düzeyinde bir tahmini uydudan alınmış bir konum kadar güvenle ele alır. Ölçülen ve çıkarılan konumları arayüze kadar ayrı tutun ve gösterirken farklı etiketleyin.

Tahmini koordinatlar da aynı özeni ister. Porto için döndürülen bir nokta, pek çok kilometrekarelik bir alanın yerine geçer. Onu sokak yakınlaştırmasında bir iğne olarak çizerseniz, kullanıcılar hiç var olmamış bir hassasiyeti okur.

Bu liste yukarıdaki tabloyla birebir örtüşür. İçinde sokak adresi yoktur, çünkü görsel kanıt bir adresi desteklemez; üst veri okumasını da görsel tahminin yerine değil, yanına koyar.

Uç noktalar, fiyatlandırma, hız sınırları ve bir çıkış tarihi açıklanmadı; bu sayfadaki hiçbir şey bunlara dair bir söz olarak okunmamalı. Bir entegrasyon planlıyorsanız iletişim sayfası üzerinden erken erişim isteyin ve kullanım senaryonuzu anlatın.

O zamana kadar web sitesi, çıktının gerçek fotoğraflar üzerindeki en yakın önizlemesidir. Web analizi, haftalık 7,99 ABD doları ya da yıllık 29,99 ABD doları tutarında, siz iptal edene kadar yenilenen GeoSpy Premium aboneliğiyle birlikte gelir; yüklenen fotoğraflar saklanmaz.

• Pazar yeri ilan kontrolleri. Barselona'da ilan verilen ama fotoğrafları güçlü biçimde başka bir ülkeyi işaret eden bir tatil kiralığı ikinci bir bakışı hak eder. Uyuşmazlığı ilanı otomatik reddetmek yerine bir inceleme görevlisine gönderin ve her ilanın büyük bölümünü oluşturan iç mekân fotoğraflarının modele okunacak çok az şey verdiğini unutmayın.
• Haber odası doğrulaması. Bir şehri gösterdiği söylenen viral bir görüntü, yayımlanmadan önce karedeki kanıtlara karşı sınanabilir. Konum tespiti yalnızca “nerede” sorusunu yanıtlar; bu yüzden bir fotoğraf nasıl doğrulanır yazısında anlatıldığı gibi, daha önceki kopyaları arayan bir taramayla birlikte kullanın.
• Seyahat ve fotoğraf uygulamaları. Taranmış baskılarda ve dışa aktarılmış görüntülerde çoğunlukla GPS bulunmaz. Bir tahmin, arayüz bunu kullanıcının onayladığı bir öneri olarak sunduğu sürece, bir albüm konumu önerebilir ya da fotoğrafları bir gezide toplayabilir.
• Sigorta hasar incelemesi. Bir talep hasarı bir kasabaya yerleştirirken fotoğraflar açıkça başka bir yeri işaret ediyorsa, eksperin soru sormak için bir nedeni olur. Tahmin tek başına hiçbir şeyi reddetmenin gerekçesi değildir.
• Araştırma. Büyük bir görüntü arşivinin coğrafi dağılımını haritalamak ya da bir eğitim kümesinde bölgesel yanlılığı denetlemek, ölçekli ve kaba etiketler gerektirir; yöntemin iyi ürettiği şey tam olarak budur.

Beşinde de kalıp aynı: tahmin işaretler, karar verense bir insandır. Şehir düzeyindeki bir tahminin otomatik bir sonucu tetiklemesine izin veren bir ürün, modelin yaptığı her hatayı ölçekli biçimde devralır. Yapılandırılmış bir OSINT iş akışı, bir tahminin diğer kontroller arasında nereye oturduğunu gösterir.

Bu sınırların bir kısmı modele değil, kanıta aittir. PlaNet makalesi, hiçbir konumun çıkarılamadığı durumlar kurmanın çok kolay olduğunu belirterek başlar. Beyaz bir duvar, bir otel banyosu ya da bir tabak yemek hiçbir coğrafya taşımaz ve model büyüklüğündeki hiçbir artış bunu değiştirmez.

Araştırma sonuçları yararlı bir gerçeklik testidir. 2,3 milyon Flickr fotoğrafında PlaNet, tahminlerin %10,1'ini 25 km içine yerleştirdi; bu, kıyaslamasının şehir düzeyi saydığı mesafedir. CVPR 2024'te sunulan ve GeoGuessr'dan alınan Street View görüntüleriyle eğitilen PIGEON ise tahminlerinin %40'ından fazlasını 25 km içine yerleştirdi. Bu farkın bir kısmı daha yeni yöntemlerden, bir kısmı da fotoğraflardan kaynaklanıyor. Street View kareleri yol işaretleri ve tabelalarla doludur; genel bir fotoğraf koleksiyonunda ise içinde coğrafi hiçbir şey olmayan çok sayıda kare bulunur.

Konum tespiti bir görüntünün gerçekliğine de kefil olamaz. Yapay zekâyla üretilmiş bir sokak sahnesi bile en çok benzediği yer için bir tahmin alır. API, “bu görüntü hangi yere benziyor” sorusunu yanıtlar; “bu gerçek mi” sorusunu değil.

1. Step 1Gerçek trafikten bir test kümesi oluşturunDemo görüntüleri başarılı olsun diye seçilir. Kullanıcılarınızın göndereceği türden, gerçek konumları bilinen birkaç yüz fotoğraf toplayın ve sağlayıcıların ile sürümlerin adilce karşılaştırılabilmesi için kümeyi sabit tutun. Anekdotlar da yanıltır: ChatGPT için viral olan 1.100 kelimelik bir prompt, deneyen çoğu kişiyi etkiledi, ama 200 fotoğraflık sabit bir kümede kısa bir prompttan daha iyi sonuç vermedi.
2. Step 2Kıyaslamadan önce GPS'i silinAPI üst veriyi de okuyorsa, konum etiketli bir test fotoğrafı modeli değil, üst veri okuyucusunu ölçer. Test kopyalarından EXIF'i silin; aksi halde üretimde yok olacak kusursuz bir skor kaydedersiniz.
3. Step 3Sabit mesafelerde puanlayınAraştırma kıyaslamaları bir tahmini 1 km (sokak), 25 km (şehir), 200 km (bölge), 750 km (ülke) ya da 2.500 km (kıta) içinde doğru sayar. Yanında mesafe belirtilmemiş bir doğruluk iddiası hiçbir şeyle karşılaştırılamaz.
4. Step 4Şehirleri ve kırsalı karıştırınHassasiyet eğitim fotoğraflarının yoğunluğunu izleme eğilimindedir; bu yüzden başkentlerde keskin olan bir model tarım arazilerinde belirsiz kalabilir. Kullanıcılarınız ikisini de gönderiyorsa ikisini de test edin.
5. Step 5Okunacak hiçbir şey olmayan fotoğrafları ekleyinİç mekânlar, yakın çekimler ve düz gökyüzü düşük güvenle dönmelidir. Bir otel odasından yüksek güvenle şehir adı veren bir araç, aynısını kullanıcılarınıza da yapar.
6. Step 6Skorun kalibre olduğunu kontrol edinSonuçları güvene göre gruplandırın ve her grubun ne sıklıkla doğru olduğunu ölçün. 0,8'in üzerinde skor alan cevaplar 0,4 civarındakilerden belirgin biçimde daha doğru değilse, skor eşikleri belirlemek için kullanılamaz.
7. Step 7Veri koşullarını okuyunGörüntülerin saklanıp saklanmadığını, ne kadar süreyle saklandığını ve eğitim için kullanılıp kullanılmadığını öğrenin. Fotoğraflar, özellikle içlerinde insanlar göründüğünde, kişisel veri sayılabilir.