Wie funktioniert die umgekehrte Bildersuche?

Ihr durchschnittliches Bild sagt wahrscheinlich deutlich weniger als tausend Worte – aus Selfies kann man nur begrenzt lernen. Aber manchmal muss man einfach wirklich wissen, woher ein Bild kommt, egal wie viele Wörter es wert ist.

Dafür gibt es Reverse-Image-Suchmaschinen wie Google, TinEye, Bing, Yandex, Pixsy und viele mehr. Da Sie jedoch keine Wörter in Ihrer Abfrage angeben, woher wissen sie, wonach sie suchen müssen? Und vor allem, wie finden sie es? Wie die umgekehrte Bildsuche jeder Suchmaschine funktioniert, ist unterschiedlich, und sie halten ihre genauen Algorithmen unter Verschluss, aber die Grundideen sind da draußen und nicht so schwer zu verstehen.

Fingerabdruck

Bilder können tatsächlich einzigartiger sein als menschliche Fingerabdrücke, da die Wahrscheinlichkeit von zwei Bildern mit genau der gleichen Anordnung von Pixeln unvorstellbar verschwindend gering ist, während die Wahrscheinlichkeit einer Fingerabdruckkollision bei etwa 64 Milliarden liegt – eine vergleichsweise gute Quote. Aber wie macht man einen Fingerabdruck von einem Bild? Die Schritte variieren je nach Algorithmus, aber die meisten folgen derselben Grundformel.

Zuerst müssen Sie die Eigenschaften des Bildes messen, zu denen Farbe, Texturen, Farbverläufe, Formen, Beziehungen zwischen verschiedenen Teilen des Bildes und sogar Dinge wie Fourier-Transformationen (eine Methode zum Zerlegen von Bildern in Sinus und Cosinus) gehören können.

Nehmen wir an, wir suchen nach dem folgenden Bild und benötigen einen Fingerabdruck davon.

Dazu können wir unter anderem das Farbhistogramm, die Fourier-Transformation und die Textur-Map des Bildes verwenden, die Sie jeweils unten sehen können.

Farbhistogramm der umgekehrten Bildsuche
Umgekehrte Bildsuche Fourier
Texturkarte für die umgekehrte Bildsuche

Wenn ein Bild in der Größe verändert, unscharf, gedreht oder anderweitig manipuliert wurde, würde eine Reihe von Algorithmen die oben genannten und andere Funktionen verwenden, um zu versuchen, Treffer zu finden.

Kodieren, Speichern und Suchen

Jedes Bildmerkmal des Fingerabdrucks kann als Buchstaben- und Zahlenfolge kodiert werden, die sich leicht in einer Datenbank speichern und indizieren lassen. Welche Kombination von Merkmalen auch immer extrahiert und gespeichert wird, wird zum Eintrag der Rückwärtsbildsuchmaschine für dieses Bild. Die Datenbank von TinEye zum Beispiel enthält im Februar 2020 rund 39,6 Milliarden indizierte Bilder, was bedeutet, dass sie ihren Algorithmus über so viele Bilder laufen lassen und all diese Fingerabdrücke speichern, um die gesuchten Bilder zu vergleichen.

Datenbank für die umgekehrte Bildsuche

Der zweite Hauptteil des Algorithmus besteht darin, herauszufinden, welche Bilder ähnlich sind. Wenn Sie ein Bild hochladen, durchläuft es den Fingerabdruck-Algorithmus der umgekehrten Bildsuchmaschine. Die Suchmaschine versucht dann, die Einträge mit den nächsten Fingerabdrücken zu finden, die als „Bildentfernung“ bezeichnet werden. Die Entscheidung, welche Faktoren zu vergleichen und wie sie zu gewichten sind, liegt ebenfalls bei jeder Suchmaschine, aber sie zielen hauptsächlich darauf ab, eine Gesamtbildentfernung so nahe wie möglich bei Null zu finden.

verbunden :  Wie man sich in die lokale Politik einmischt

Was ist mit maschinellem Lernen/KI?

Dank der oben beschriebenen Fingerabdruck-/Indexierungstechniken war die umgekehrte Bildsuche ziemlich gut, noch bevor es praktisch war, KI darauf anzuwenden. Da KI jedoch hervorragend bei der Verarbeitung von Bildern ist, werden Dinge wie Convolutional Neural Networks (CNNs) höchstwahrscheinlich von vielen der großen Suchmaschinen verwendet, um Merkmale zu extrahieren und zu kennzeichnen. Google könnte zum Beispiel ein CNN in seiner umgekehrten Bildersuche verwenden, um wahrscheinliche Schlüsselwörter für das Bild zu finden und relevante Web- und Bildergebnisse zu produzieren, wie dies schon seit einiger Zeit in Google Fotos der Fall ist.

Reverse Image Search Convolutional Neural Network

Damit geht die umgekehrte Bildsuche einen Schritt über die einfache Merkmalsextraktion und Bildentfernung. Convolutional neuronale Netze lassen Bilder im Wesentlichen durch mehrere Filter laufen, die verschiedene Arten von Merkmalen abbilden, und versuchen dann, sie basierend auf vorherigem Training zu klassifizieren. Das ist natürlich eine zu starke Vereinfachung, aber es genügt zu sagen, dass CNNs die Bildsuche viel genauer und hilfreicher machen und wahrscheinlich neben den älteren Computer-Vision-Fingerprinting-Methoden implementiert werden.

Was ist die beste Reverse-Image-Suchmaschine?

Reverse Image Search Mestia Google

Unterschiedliche Algorithmen bedeuten, dass unterschiedliche Bildsuchmaschinen in verschiedenen Dingen gut sind, obwohl sie alle letztendlich auf dasselbe Ziel abzielen: eine Übereinstimmung mit dem von Ihnen hochgeladenen Bild zu finden. Google Bilder hat zum Beispiel eine ziemlich gute Trefferquote, macht aber viel „bestes Erraten“, wodurch Sie viele Fotos erhalten, die ähnlich, aber nicht identisch sind. Das ist großartig, wenn Sie eine Stimmung oder eine allgemeine Kategorie suchen, aber eine Engine wie TinEye ist viel stärker darauf ausgerichtet, identische Bilder zu finden, auch wenn sie stark bearbeitet sind, und kann sogar Bilder in Fotos identifizieren, was es etwas besser macht, wenn Sie eine genaue Übereinstimmung benötigen.

Umgekehrte Bildsuche Mestia Tiney

Die russische Suchmaschine Yandex hat auch den Ruf, über ein hervorragendes Bildsuchwerkzeug zu verfügen, obwohl sie wahrscheinlich bei russischen Themen am besten abschneidet. Tools wie Pixsy und ImageRaider konzentrieren sich auf die Identifizierung von Fällen unbefugter Nutzung, daher enthalten sie in der Regel mehr Funktionen wie Warnungen und konzentrieren sich auf die Überwachung von Fotobibliotheken der Benutzer.

Da sich die Algorithmen ständig ändern und im Allgemeinen gesperrt bleiben, lohnt es sich, mehrere verschiedene Engines zu überprüfen, wenn eine nicht die gewünschten Ergebnisse liefert.

Bildnachweis: Dampf aus einer Straße in New York City, DB-Datenbank-Symbol

Moyens Staff
Moyens I/O-Personal. motivierte Sie und gab Ratschläge zu Technologie, persönlicher Entwicklung, Lebensstil und Strategien, die Ihnen helfen werden.