API di geolocalizzazione delle foto: cosa può e non può dirti

Il nome crea confusione prima ancora di scrivere una riga di codice. La Geolocation API del browser indica dove si trova un dispositivo in questo momento, e solo dopo che l’utente ha concesso il permesso. Un’API di geolocalizzazione delle foto risponde a una domanda diversa, su un input diverso: dove è stata scattata questa immagine? La foto può avere dieci anni ed essere stata scattata in qualunque punto della Terra.

Altre tre tecnologie vicine vengono descritte anch’esse come «localizzare una foto»: la lettura dei metadati GPS, la ricerca inversa per immagini e il riconoscimento dei monumenti. Restituiscono cose diverse e falliscono in modi diversi, quindi conviene sapere quale domanda pone davvero il tuo prodotto prima di sceglierne una.

Molti sistemi di ricerca trattano questo problema come una classificazione. PlaNet, un modello del 2016 di ricercatori di Google, ha diviso la superficie terrestre in migliaia di celle e ha addestrato una rete su milioni di foto geolocalizzate per prevedere a quale cella appartenga un’immagine. L’output è una probabilità distribuita sul globo. La foto di un tram di Lisbona concentra quella probabilità in un solo punto; la foto di una pineta la disperde su più continenti. Un punteggio di confidenza è, in sostanza, un riepilogo di quella distribuzione.

Il dettaglio più importante per la progettazione del prodotto è che nulla deve esistere online. L’API funziona anche su una foto mai pubblicata, e può restituire una risposta anche quando le prove sono deboli: per questo il punteggio conta quanto il luogo. Come un modello legge una scena è trattato a parte; questa guida riguarda l’uso che si fa del risultato.

La precisione, poi, è disomogenea per costruzione. PlaNet assegnava celle più piccole alle aree fotografate più densamente che a quelle rade, quindi poteva raggiungere una precisione a livello di strada in alcune zone urbane, mentre le aree rurali ricadevano in celle molto più grandi. Aspettati che la maggior parte dei modelli sia più precisa dove le loro foto di addestramento erano più fitte.

Il GPS EXIF è una misura, non una stima

Quando un telefono registra la posizione, le coordinate vanno in un blocco GPS dedicato dei dati EXIF, sotto tag come GPSLatitude e GPSLongitude. GPS.gov indica una precisione tipica degli smartphone di 4,9 m con cielo libero. Nessun metodo visivo si avvicina, quindi una pipeline seria legge prima i metadati e deduce solo quando mancano. Per le immagini che sono passate per una piattaforma social di solito mancano, perché la ricodifica al caricamento li elimina.

La ricerca inversa è una consultazione

La rilevazione web di Google Cloud Vision mostra la forma di questa categoria. Restituisce campi come fullMatchingImages, partialMatchingImages e pagesWithMatchingImages. Quando esiste una corrispondenza, la pagina su cui si trova spesso indica il luogo senza ambiguità, il che batte qualsiasi stima. Quando la foto è privata o originale, non c’è nulla da confrontare. Il confronto tra i motori copre le versioni per il pubblico della stessa idea.

Il riconoscimento dei monumenti individua luoghi famosi

Il riconoscimento dei monumenti di Cloud Vision «rileva strutture popolari, naturali e costruite dall’uomo all’interno di un’immagine». Ogni risultato contiene una description con il nome del monumento, uno score, un boundingPoly che indica dove si trova nell’inquadratura e un elenco locations di coordinate. L’esempio stesso di Google restituisce la cattedrale di San Basilio con un punteggio di 0,78.

Due dettagli spiazzano molti team. Una strada comune non restituisce alcun monumento, quindi la copertura è ristretta. E le coordinate possono descrivere il monumento anziché la fotocamera: il riferimento di Google nota che una posizione può descrivere la scena nell’immagine e un’altra il punto in cui è stata scattata la foto. Chi fotografa la Torre Eiffel dall’altra parte della Senna può trovarsi a diverse centinaia di metri dalle coordinate della torre.

La geolocalizzazione delle foto stima una regione per qualsiasi scena all’aperto

L’inferenza visiva è l’unico dei quattro metodi che abbia qualcosa da dire su una strada senza nulla di notevole che non sia mai stata online. Il costo è la precisione. La risposta è una città o una regione con un punteggio di confidenza, mai un punto misurato, e un’inquadratura senza alcun indizio geografico riceve una risposta debole o nessuna.

L’errore di progettazione da evitare è unire le coordinate stimate e il GPS EXIF in un unico campo posizione. Il codice a valle, e le persone che leggono il suo output, trattano allora una congettura a livello di città con la certezza di un rilevamento satellitare. Tieni separate le posizioni misurate e quelle dedotte fino all’interfaccia e, quando le mostri, etichettale in modo diverso.

Anche le coordinate stimate richiedono la stessa cura. Un punto restituito per Porto rappresenta un’area di molti chilometri quadrati. Se lo disegni come un segnaposto a zoom stradale, gli utenti leggeranno una precisione che non c’era.

Questo elenco corrisponde direttamente alla tabella qui sopra. Non contiene alcun indirizzo stradale, perché le prove visive non possono sostenerne uno, e riporta la lettura dei metadati accanto alla stima visiva invece che al suo posto.

Endpoint, prezzi, limiti di frequenza e una data di lancio non sono stati annunciati, e nulla in questa pagina va letto come una promessa al riguardo. Se stai pianificando un’integrazione, richiedi l’accesso anticipato tramite la pagina dei contatti e descrivi il tuo caso d’uso.

Nel frattempo il sito è l’anteprima più vicina dell’output su foto reali. L’analisi web è inclusa in GeoSpy Premium, un abbonamento da 7,99 dollari statunitensi a settimana o 29,99 dollari statunitensi all’anno che si rinnova finché non lo disdici, e le foto caricate non vengono conservate.

• Controlli degli annunci. Un affitto per le vacanze pubblicizzato a Barcellona le cui foto puntano con forza verso un altro paese merita una seconda verifica. Inoltra la discrepanza a un revisore invece di rifiutare l’annuncio in automatico, e ricorda che le foto degli interni, che costituiscono gran parte di qualsiasi annuncio, offrono poco a un modello.
• Verifica in redazione. Un’immagine virale che si dice mostri una città può essere messa alla prova con gli indizi presenti nell’inquadratura prima che qualcuno la pubblichi. La geolocalizzazione risponde solo a «dove», quindi affiancala a una ricerca di copie precedenti, come descritto in come verificare una foto.
• App di viaggi e di foto. Le stampe scansionate e le immagini esportate spesso non hanno GPS. Una stima può suggerire la località di un album o raggruppare le foto in un viaggio, purché l’interfaccia la presenti come un suggerimento che l’utente conferma.
• Verifica dei sinistri. Quando un sinistro colloca un danno in una città e le foto indicano chiaramente un’altra, l’assicuratore ha un motivo per fare domande. La sola stima non basta per negare nulla.
• Ricerca. Mappare la diffusione geografica di un grande archivio di immagini, o verificare un insieme di addestramento per individuare distorsioni regionali, richiede etichette grossolane su larga scala, ed è proprio ciò che il metodo produce bene.

Lo schema vale per tutti e cinque: la stima segnala, e una persona decide. Un prodotto che lascia che una congettura a livello di città scateni un esito automatico eredita ogni errore del modello, su larga scala. Un flusso OSINT strutturato mostra dove una stima si colloca tra gli altri controlli.

Alcuni di questi limiti appartengono alle prove, non al modello. L’articolo su PlaNet si apre notando che è banale costruire situazioni in cui non si può dedurre alcuna posizione. Un muro bianco, il bagno di un hotel o un piatto di cibo non portano alcuna geografia, e nessun aumento delle dimensioni del modello cambia questo.

I risultati della ricerca sono un utile controllo della realtà. Su 2,3 milioni di foto di Flickr, PlaNet ha collocato il 10,1% entro 25 km, la distanza che il suo benchmark considera a livello di città. PIGEON, presentato alla CVPR 2024 e addestrato su immagini di Street View tratte da GeoGuessr, ha collocato oltre il 40% delle sue stime entro 25 km. Una parte del divario dipende dai metodi più recenti, e una parte dalle foto: i fotogrammi di Street View sono pieni di segnaletica e cartelli, mentre una raccolta generica di foto contiene molti fotogrammi senza nulla di geografico.

La geolocalizzazione, inoltre, non può garantire un’immagine. Una scena di strada generata dall’IA riceve comunque una stima per il luogo a cui assomiglia di più. L’API risponde a «che luogo sembra questo?», non a «è reale?».

1. Step 1Costruisci un insieme di test dal traffico realeLe immagini demo sono scelte perché funzionino. Raccogli alcune centinaia di foto simili a quelle che i tuoi utenti invieranno, con posizioni reali note, e mantieni l’insieme fisso in modo che fornitori e versioni possano essere confrontati equamente. Anche gli aneddoti ingannano: un prompt virale di 1.100 parole per ChatGPT ha impressionato molti di quelli che l’hanno provato, ma su un insieme fisso di 200 foto non ha fatto meglio di uno breve.
2. Step 2Rimuovi il GPS prima di fare benchmarkSe l’API legge anche i metadati, una foto di test geolocalizzata misura il lettore dei metadati, non il modello. Rimuovi l’EXIF dalle copie di test, altrimenti registrerai un punteggio perfetto che sparisce in produzione.
3. Step 3Valuta a distanze fisseI benchmark di ricerca considerano corretta una stima entro 1 km (strada), 25 km (città), 200 km (regione), 750 km (paese) o 2.500 km (continente). Una dichiarazione di precisione senza una distanza associata non può essere confrontata con nulla.
4. Step 4Mescola città e campagnaLa precisione tende a seguire la densità delle foto di addestramento, quindi un modello preciso nelle capitali può essere vago nelle campagne. Prova entrambi i casi se i tuoi utenti inviano entrambi i tipi di foto.
5. Step 5Includi foto senza nulla da leggereInterni, primi piani e cieli uniformi dovrebbero restituire una confidenza bassa. Uno strumento che indica una città da una camera d’albergo con alta confidenza farà lo stesso con i tuoi utenti.
6. Step 6Verifica che il punteggio sia calibratoRaggruppa i risultati per confidenza e misura quante volte ciascun gruppo è stato corretto. Se le risposte con punteggio sopra 0,8 non sono chiaramente più accurate di quelle intorno a 0,4, il punteggio non può guidare le soglie.
7. Step 7Leggi le condizioni sui datiScopri se le immagini vengono conservate, per quanto tempo e se vengono usate per l’addestramento. Le foto possono costituire dati personali, soprattutto quando vi compaiono persone.