Fotogeolocatie-API: wat het wel en niet kan vertellen

De naam zorgt voor verwarring voordat er code is geschreven. De Geolocation API van de browser meldt waar een apparaat nu is, en alleen nadat de gebruiker toestemming geeft. Een fotogeolocatie-API beantwoordt een andere vraag over een andere invoer: waar is deze foto gemaakt? De foto kan tien jaar oud zijn en van overal op aarde komen.

Drie aanverwante technieken worden ook beschreven als “een foto lokaliseren”: het lezen van GPS-metadata, omgekeerd zoeken op afbeelding en herkenning van bezienswaardigheden. Ze geven verschillende dingen terug en falen op verschillende manieren, dus het loont om te weten welke vraag je product eigenlijk stelt voordat je er een kiest.

Veel onderzoekssystemen behandelen dit als een classificatieprobleem. PlaNet, een model uit 2016 van onderzoekers van Google, verdeelde het oppervlak van de aarde in duizenden cellen en trainde een netwerk op miljoenen foto's met geotags om te voorspellen tot welke cel een beeld behoort. De uitvoer is een kansverdeling over de hele wereld. Een foto van een Lissabonse tram drukt die kans op één plek samen; een foto van een dennenbos spreidt haar dun over meerdere continenten. Een betrouwbaarheidsscore is in feite een samenvatting van die spreiding.

Het detail dat voor productontwerp het meest telt, is dat niets online hoeft te staan. De API werkt op een foto die nooit is gepubliceerd, en hij kan een antwoord geven ook als het bewijs zwak is. Daarom telt de score net zo zwaar als de plek. Hoe een model een scène leest wordt apart behandeld; deze gids gaat over wat je met de uitkomst doet.

Ook de precisie is bewust ongelijk verdeeld. PlaNet gaf dicht gefotografeerde gebieden kleinere cellen dan dun gefotografeerde gebieden, zodat het in sommige stadsdelen straatniveau kon halen, terwijl plattelandsregio's in veel grotere cellen zaten. Verwacht dat de meeste modellen scherper zijn waar hun trainingsfoto's talrijk waren.

EXIF-GPS is een meting, geen schatting

Wanneer een telefoon de locatie vastlegt, gaan de coördinaten in een apart GPS-blok van de EXIF-gegevens, onder tags zoals GPSLatitude en GPSLongitude. GPS.gov zet de typische nauwkeurigheid van een smartphone op 4,9 m onder open hemel. Geen visuele methode komt daarbij in de buurt, dus een goede pipeline leest eerst de metadata en leidt alleen af wanneer die ontbreekt. Bij afbeeldingen die via een socialemediaplatform zijn gegaan, ontbreekt die meestal, omdat opnieuw coderen bij het uploaden de metadata verwijdert.

Omgekeerd zoeken op afbeelding is een opzoekactie

De webdetectie van Google Cloud Vision laat de vorm van deze categorie zien. Het geeft velden terug zoals fullMatchingImages, partialMatchingImages en pagesWithMatchingImages. Als er een match bestaat, noemt de pagina waarop die staat vaak de plek rechtstreeks, en dat wint van elke schatting. Is de foto privé of origineel, dan is er niets om mee te matchen. De vergelijking van zoekmachines behandelt de consumentenversies van hetzelfde idee.

Herkenning van bezienswaardigheden herkent bekende plekken

De herkenning van bezienswaardigheden van Cloud Vision “detecteert populaire natuurlijke en door mensen gemaakte structuren binnen een afbeelding”. Elk resultaat bevat een description met de naam van de bezienswaardigheid, een score, een boundingPoly die aangeeft waar die in het beeld staat, en een lijst locations met coördinaten. Het eigen voorbeeld van Google geeft de Sint-Basiliuskathedraal terug met een score van 0,78.

Twee details laten teams struikelen. Een gewone straat levert helemaal geen bezienswaardigheid op, dus de dekking is smal. En de coördinaten kunnen de bezienswaardigheid beschrijven in plaats van de camera: de referentie van Google meldt dat één locatie de scène in het beeld kan beschrijven en een andere de plek waar de foto is genomen. Iemand die de Eiffeltoren fotografeert vanaf de overkant van de Seine, kan enkele honderden meters van de eigen coördinaten van de toren af staan.

Fotogeolocatie schat een regio voor elke buitenscène

Visuele inferentie is de enige van de vier die iets te zeggen heeft over een onopvallende straat die nooit online is geweest. De prijs is precisie. Het antwoord is een stad of regio met een betrouwbaarheidsscore, nooit een gemeten punt, en een beeld zonder geografisch bewijs krijgt een zwak antwoord of geen antwoord.

De ontwerpfout die je moet vermijden, is de geschatte coördinaten en de EXIF-GPS samenvoegen in één locatieveld. Code verderop in de keten, en de mensen die de uitvoer lezen, behandelen dan een gok op stadsniveau met de zekerheid van een satellietmeting. Houd gemeten en afgeleide locaties tot in de interface gescheiden, en label ze verschillend wanneer je ze toont.

Geschatte coördinaten vragen om dezelfde zorg. Een punt dat voor Porto wordt teruggegeven, staat voor een gebied van vele vierkante kilometers. Zet je het als speld op straatzoom, dan leest de gebruiker een precisie af die er nooit was.

Die lijst komt rechtstreeks overeen met de tabel hierboven. Hij bevat geen straatadres, omdat visueel bewijs dat niet kan ondersteunen, en hij zet de uitlezing van metadata naast de visuele schatting in plaats van ervoor in de plaats.

Eindpunten, prijzen, snelheidslimieten en een lanceringsdatum zijn niet aangekondigd, en niets op deze pagina mag als belofte daarover worden gelezen. Als je een integratie plant, vraag vroege toegang aan via de contactpagina en beschrijf je gebruik.

Tot die tijd is de website de dichtstbijzijnde voorproef van de uitvoer op echte foto's. Webanalyse hoort bij GeoSpy Premium, een abonnement van 7,99 Amerikaanse dollar per week of 29,99 Amerikaanse dollar per jaar dat automatisch verlengt tot je opzegt. Geüploade foto's worden niet opgeslagen.

• Controles op marktplaatsvermeldingen. Een vakantiehuis in Barcelona waarvan de foto's sterk naar een ander land wijzen, verdient een tweede blik. Stuur de afwijking naar een beoordelaar in plaats van de vermelding automatisch af te wijzen, en bedenk dat interieurfoto's, die een groot deel van elke vermelding uitmaken, een model weinig te lezen geven.
• Verificatie in de redactie. Een viraal beeld dat een bepaalde stad zou tonen, kan worden getoetst aan het bewijs in het beeld voordat iemand het publiceert. Geolocatie beantwoordt alleen “waar”, dus koppel het aan een zoektocht naar eerdere kopieën, zoals beschreven in hoe je een foto verifieert.
• Reis- en fotoapps. Gescande prints en geëxporteerde afbeeldingen hebben vaak geen GPS. Een schatting kan een locatie voor een album voorstellen of foto's in een reis groeperen, zolang de interface het presenteert als een suggestie die de gebruiker bevestigt.
• Beoordeling van verzekeringsclaims. Wanneer een claim schade in één stad plaatst en de foto's duidelijk ergens anders wijzen, heeft een expert reden om vragen te stellen. De schatting alleen is geen grond om iets af te wijzen.
• Onderzoek. Het in kaart brengen van de geografische spreiding van een groot beeldarchief, of het controleren van een trainingsset op regionale vooringenomenheid, vraagt om grove labels op schaal, en dat is precies wat de methode goed oplevert.

Het patroon is bij alle vijf hetzelfde: de schatting markeert, en een persoon beslist. Een product dat een gok op stadsniveau een automatische uitkomst laat activeren, erft op schaal elke fout van het model. Een gestructureerde OSINT-workflow laat zien waar een schatting past tussen de andere controles.

Sommige van deze grenzen liggen bij het bewijs, niet bij het model. Het PlaNet-artikel begint met de opmerking dat het triviaal is om situaties te bouwen waarin geen locatie kan worden afgeleid. Een witte muur, een hotelbadkamer of een bord eten bevat geen geografie, en een groter model verandert dat niet.

Onderzoeksresultaten zijn een nuttige realiteitscheck. Op 2,3 miljoen Flickr-foto's plaatste PlaNet 10,1% binnen 25 km, de afstand die zijn benchmark als stadsniveau telt. PIGEON, gepresenteerd op CVPR 2024 en getraind op Street View-beelden van GeoGuessr, plaatste meer dan 40% van zijn gokken binnen 25 km. Een deel van het verschil komt door nieuwere methoden, en een deel door de foto's. Street View-frames zitten vol wegmarkeringen en borden, terwijl een algemene fotoverzameling veel frames bevat zonder enig geografisch detail.

Geolocatie kan ook niet instaan voor een beeld. Een door AI gegenereerd straattafereel krijgt nog steeds een schatting voor de plek waaraan het het meest doet denken. De API beantwoordt “op welke plek lijkt dit?”, niet “is dit echt?”.

1. Step 1Bouw een testset van echt verkeerDemobeelden worden uitgekozen om te slagen. Verzamel enkele honderden foto's die lijken op wat je gebruikers zullen sturen, met bekende werkelijke locaties, en houd de set ongewijzigd zodat leveranciers en versies eerlijk kunnen worden vergeleken. Anekdotes misleiden ook: een virale prompt van 1.100 woorden voor ChatGPT maakte indruk op velen die hem probeerden, maar op een vaste set van 200 foto's deed hij het niet beter dan een korte.
2. Step 2Verwijder GPS voordat je benchmarktAls de API ook metadata leest, meet een testfoto met geotag de metadatalezer en niet het model. Verwijder EXIF uit de testkopieën, anders noteer je een perfecte score die in productie verdwijnt.
3. Step 3Score op vaste afstandenOnderzoeksbenchmarks tellen een gok als juist binnen 1 km (straat), 25 km (stad), 200 km (regio), 750 km (land) of 2.500 km (continent). Een nauwkeurigheidsclaim zonder afstand eraan kan met niets worden vergeleken.
4. Step 4Combineer steden en plattelandDe precisie volgt meestal de dichtheid van de trainingsfoto's, dus een model dat scherp is in hoofdsteden kan vaag zijn op het platteland. Test beide als je gebruikers beide sturen.
5. Step 5Neem ook foto's op waar niets aan af te lezen valtInterieurs, close-ups en effen luchten zouden met een lage betrouwbaarheid terug moeten komen. Een tool die met hoge betrouwbaarheid een stad noemt op basis van een hotelkamer, doet hetzelfde met je gebruikers.
6. Step 6Controleer of de score gekalibreerd isGroepeer de resultaten op betrouwbaarheidsscore en meet hoe vaak elke groep juist was. Als antwoorden met een score boven 0,8 niet duidelijk nauwkeuriger zijn dan antwoorden rond 0,4, kan de score geen drempels aansturen.
7. Step 7Lees de gegevensvoorwaardenGa na of afbeeldingen worden opgeslagen, hoelang, en of ze voor training worden gebruikt. Foto's kunnen persoonsgegevens zijn, vooral wanneer er mensen op staan.