Foto-Geolokalisierung API: Was sie kann und was nicht

Der Name sorgt für Verwirrung, noch bevor Code geschrieben wird. Die Geolocation API des Browsers meldet, wo sich ein Gerät gerade befindet, und das erst, nachdem der Nutzer die Erlaubnis erteilt hat. Eine Foto-Geolokalisierung API beantwortet eine andere Frage zu einer anderen Eingabe: Wo wurde dieses Bild aufgenommen? Das Bild kann zehn Jahre alt sein und von irgendwo auf der Erde stammen.

Drei benachbarte Technologien werden ebenfalls als „ein Foto verorten“ beschrieben: das Auslesen von GPS-Metadaten, die umgekehrte Bildersuche und die Erkennung von Sehenswürdigkeiten. Sie liefern Unterschiedliches und scheitern auf unterschiedliche Weise, deshalb lohnt es sich zu wissen, welche Frage Ihr Produkt eigentlich stellt, bevor Sie sich für eine entscheiden.

Viele Forschungssysteme behandeln das als Klassifikationsproblem. PlaNet, ein Modell von Google-Forschern aus dem Jahr 2016, teilte die Erdoberfläche in Tausende Zellen und trainierte ein Netz mit Millionen von Fotos mit Geotag, um vorherzusagen, zu welcher Zelle ein Bild gehört. Die Ausgabe ist eine Wahrscheinlichkeit, die über den Globus verteilt ist. Ein Foto einer Lissabonner Straßenbahn bündelt diese Wahrscheinlichkeit an einem Ort; ein Foto eines Kiefernwalds verteilt sie dünn über mehrere Kontinente. Ein Konfidenzwert fasst diese Verteilung im Grunde zusammen.

Für das Produktdesign ist wichtig, dass nichts online existieren muss. Die API arbeitet auch mit einem Foto, das nie veröffentlicht wurde, und kann selbst bei schwacher Beweislage eine Antwort liefern; deshalb zählt der Wert ebenso wie der Ort. Wie ein Modell eine Szene liest, wird gesondert behandelt; dieser Ratgeber handelt davon, was Sie mit der Ausgabe tun.

Auch die Genauigkeit ist von Natur aus ungleichmäßig. PlaNet gab dicht fotografierten Gebieten kleinere Zellen als dünn fotografierten, konnte also in manchen Stadtgebieten Straßenebene erreichen, während ländliche Regionen in viel größeren Zellen lagen. Rechnen Sie damit, dass die meisten Modelle dort schärfer sind, wo ihre Trainingsfotos dicht waren.

EXIF-GPS ist eine Messung, keine Schätzung

Zeichnet ein Telefon den Standort auf, landen die Koordinaten in einem eigenen GPS-Block der EXIF-Daten, unter Tags wie GPSLatitude und GPSLongitude. GPS.gov beziffert die typische Genauigkeit eines Smartphones unter freiem Himmel auf 4,9 m. Keine visuelle Methode kommt auch nur in die Nähe, deshalb liest eine saubere Pipeline zuerst die Metadaten und schätzt nur, wenn sie fehlen. Bei Bildern, die eine soziale Plattform durchlaufen haben, ist das meist der Fall, weil die Neukodierung beim Hochladen sie entfernt.

Die umgekehrte Bildersuche ist eine Abfrage

Die Web Detection von Google Cloud Vision zeigt, wie diese Kategorie aufgebaut ist. Sie liefert Felder wie fullMatchingImages, partialMatchingImages und pagesWithMatchingImages. Gibt es einen Treffer, nennt die Seite, auf der er liegt, oft direkt den Ort, was jede Schätzung schlägt. Ist das Foto privat oder ein Original, gibt es nichts zum Abgleichen. Der Vergleich der Suchmaschinen behandelt die Verbraucherversionen derselben Idee.

Die Erkennung von Sehenswürdigkeiten erkennt berühmte Orte

Die Landmark Detection von Cloud Vision „erkennt bekannte natürliche und von Menschen geschaffene Strukturen in einem Bild“. Jedes Ergebnis enthält eine description mit dem Namen der Sehenswürdigkeit, einen score, ein boundingPoly, das markiert, wo sie im Bild liegt, und eine Liste locations mit Koordinaten. Googles eigenes Beispiel liefert die Basilius-Kathedrale mit einem Wert von 0,78.

Zwei Details bringen Teams ins Straucheln. Eine gewöhnliche Straße liefert überhaupt keine Sehenswürdigkeit, die Abdeckung ist also schmal. Und die Koordinaten können die Sehenswürdigkeit beschreiben statt die Kamera: Googles Referenz weist darauf hin, dass ein Ort die Szene im Bild beschreiben kann, während ein anderer beschreibt, wo das Foto aufgenommen wurde. Wer den Eiffelturm von der anderen Seite der Seine fotografiert, steht möglicherweise mehrere hundert Meter von den eigenen Koordinaten des Turms entfernt.

Die Foto-Geolokalisierung schätzt eine Region für jede Außenszene

Die visuelle Ableitung ist die einzige der vier Methoden, die etwas zu einer unauffälligen Straße sagen kann, die nie online war. Der Preis ist die Genauigkeit. Die Antwort ist eine Stadt oder Region mit einem Konfidenzwert, nie ein gemessener Punkt, und ein Bild ohne geografische Belege bekommt eine schwache Antwort oder gar keine.

Der Gestaltungsfehler, den es zu vermeiden gilt, ist, die geschätzten Koordinaten und den EXIF-GPS-Wert in einem Ortsfeld zusammenzuführen. Nachgelagerter Code und die Menschen, die seine Ausgabe lesen, behandeln eine Vermutung auf Stadtebene dann mit der Sicherheit einer Satellitenmessung. Halten Sie gemessene und abgeleitete Orte bis in die Oberfläche hinein getrennt und beschriften Sie sie bei der Anzeige unterschiedlich.

Geschätzte Koordinaten verlangen dieselbe Sorgfalt. Ein für Porto zurückgegebener Punkt steht für ein Gebiet von vielen Quadratkilometern. Zeichnen Sie ihn als Pin bei Straßenzoom ein, lesen Nutzer eine Genauigkeit heraus, die nie vorhanden war.

Diese Liste entspricht direkt der Tabelle oben. Sie enthält keine Straßenadresse, weil visuelle Belege keine tragen können, und sie führt das Auslesen der Metadaten neben der visuellen Schätzung auf, nicht anstelle von ihr.

Endpunkte, Preise, Ratenbegrenzungen und ein Starttermin wurden nicht angekündigt, und nichts auf dieser Seite ist als Versprechen dazu zu verstehen. Wenn Sie eine Integration planen, fragen Sie über die Kontaktseite einen frühen Zugang an und beschreiben Sie Ihren Anwendungsfall.

Bis dahin ist die Website die nächstliegende Vorschau auf die Ausgabe bei echten Fotos. Die Web-Analyse gehört zu GeoSpy Premium, einem Abonnement für 7,99 US-Dollar pro Woche oder 29,99 US-Dollar pro Jahr, das sich verlängert, bis Sie kündigen; hochgeladene Fotos werden nicht gespeichert.

• Prüfung von Marktplatz-Inseraten. Eine Ferienunterkunft, die in Barcelona angeboten wird, deren Fotos aber deutlich auf ein anderes Land hinweisen, verdient einen zweiten Blick. Geben Sie die Abweichung an einen Prüfer weiter, statt das Inserat automatisch abzulehnen, und bedenken Sie, dass Innenaufnahmen, die einen großen Teil jedes Inserats ausmachen, einem Modell wenig zu lesen geben.
• Verifikation in Redaktionen. Ein viral verbreitetes Bild, das angeblich eine bestimmte Stadt zeigt, lässt sich vor der Veröffentlichung anhand der Belege im Bild prüfen. Die Geolokalisierung beantwortet nur das „Wo“; kombinieren Sie sie deshalb mit einer Suche nach früheren Kopien, wie in Foto auf Echtheit prüfen beschrieben.
• Reise- und Foto-Apps. Eingescannte Abzüge und exportierte Bilder tragen oft kein GPS. Eine Schätzung kann einen Albumort vorschlagen oder Fotos zu einer Reise gruppieren, solange die Oberfläche sie als Vorschlag zeigt, den der Nutzer bestätigt.
• Prüfung von Versicherungsschäden. Verortet eine Schadensmeldung einen Schaden in einer Stadt, während die Fotos klar woandershin weisen, hat ein Sachbearbeiter Anlass nachzufragen. Die Schätzung allein ist kein Grund, irgendetwas abzulehnen.
• Forschung. Die geografische Verteilung eines großen Bildarchivs zu kartieren oder einen Trainingsdatensatz auf regionale Verzerrung zu prüfen, braucht grobe Labels in großem Umfang, und genau die liefert das Verfahren gut.

Das Muster ist in allen fünf Fällen dasselbe: Die Schätzung markiert, und ein Mensch entscheidet. Ein Produkt, das eine Vermutung auf Stadtebene automatisch etwas auslösen lässt, erbt jeden Fehler des Modells, und zwar im großen Maßstab. Ein strukturierter OSINT-Ablauf zeigt, wo eine Schätzung unter den anderen Prüfungen ihren Platz hat.

Manche dieser Grenzen liegen in den Belegen, nicht im Modell. Das PlaNet-Papier beginnt mit dem Hinweis, dass es trivial ist, Situationen zu konstruieren, in denen sich kein Ort ableiten lässt. Eine weiße Wand, ein Hotelbadezimmer oder ein Teller Essen enthalten keine Geografie, und kein größeres Modell ändert das.

Forschungsergebnisse sind ein nützlicher Realitätscheck. Bei 2,3 Millionen Flickr-Fotos verortete PlaNet 10,1 % innerhalb von 25 km, der Entfernung, die sein Benchmark als Stadtebene wertet. PIGEON, vorgestellt auf der CVPR 2024 und trainiert mit Street-View-Bildmaterial aus GeoGuessr, verortete über 40 % seiner Tipps innerhalb von 25 km. Ein Teil dieses Abstands geht auf neuere Methoden zurück, ein Teil auf die Fotos. Street-View-Bilder sind voller Straßenmarkierungen und Schilder, während eine allgemeine Fotosammlung viele Bilder ohne jeden geografischen Hinweis enthält.

Die Geolokalisierung kann auch nicht für ein Bild bürgen. Eine KI-generierte Straßenszene erhält trotzdem eine Schätzung für den Ort, dem sie am meisten ähnelt. Die API beantwortet „Welchem Ort sieht das ähnlich?“, nicht „Ist das echt?“.

1. Step 1Einen Testsatz aus echtem Datenverkehr bauenDemobilder werden so gewählt, dass sie gelingen. Sammeln Sie einige hundert Fotos, die dem ähneln, was Ihre Nutzer senden werden, mit bekannten wahren Orten, und lassen Sie den Satz unverändert, damit Anbieter und Versionen fair verglichen werden können. Auch Anekdoten täuschen: Ein viraler Prompt für ChatGPT mit 1.100 Wörtern beeindruckte viele, die ihn ausprobierten, doch bei einem festen Satz von 200 Fotos schnitt er nicht besser ab als ein kurzer.
2. Step 2GPS vor dem Benchmark entfernenLiest die API auch Metadaten, misst ein Testfoto mit Geotag den Metadatenleser statt des Modells. Entfernen Sie EXIF aus den Testkopien, sonst verzeichnen Sie einen perfekten Wert, der in der Produktion verschwindet.
3. Step 3Bei festen Entfernungen bewertenForschungs-Benchmarks werten einen Tipp als richtig innerhalb von 1 km (Straße), 25 km (Stadt), 200 km (Region), 750 km (Land) oder 2.500 km (Kontinent). Eine Genauigkeitsangabe ohne Entfernung lässt sich mit nichts vergleichen.
4. Step 4Städte und Land mischenDie Genauigkeit folgt tendenziell der Dichte der Trainingsfotos; ein Modell, das in Hauptstädten scharf ist, kann auf Ackerland unscharf sein. Testen Sie beides, wenn Ihre Nutzer beides senden.
5. Step 5Fotos ohne lesbare Hinweise einbeziehenInnenräume, Nahaufnahmen und einfarbiger Himmel sollten mit niedrigem Konfidenzwert zurückkommen. Ein Werkzeug, das aus einem Hotelzimmer mit hoher Sicherheit eine Stadt nennt, tut Ihren Nutzern dasselbe an.
6. Step 6Prüfen, ob der Wert kalibriert istGruppieren Sie die Ergebnisse nach Konfidenz und messen Sie, wie oft jede Gruppe richtig lag. Sind Antworten mit einem Wert über 0,8 nicht klar genauer als Antworten um 0,4, taugt der Wert nicht als Grundlage für Schwellen.
7. Step 7Die Datenbedingungen lesenKlären Sie, ob Bilder gespeichert werden, wie lange und ob sie für das Training verwendet werden. Fotos können als personenbezogene Daten gelten, besonders wenn Menschen darauf zu sehen sind.