Macht der Bilderkennung: Die 10 wichtigsten Anwendungsbeispiele
By teamnext Editorial Team
Bilderkennung ist eine Fähigkeit, die Computer mithilfe künstlicher Intelligenz zunehmend zuverlässig beherrschen. Ob Gesichter, Objekte oder Symbole. Überall dort, wo optische Informationen erfasst und ausgewertet werden müssen, kommt maschinelle Bilderkennung zum Einsatz.
Beispiele aus dem Alltag sind die Google Bildersuche, das Entsperren per Face ID, die Fotoverwaltung, Apps zur Pflanzenbestimmung oder Funktionen im Umfeld autonomen Fahrens.
Bevor der Status quo eingeordnet wird, folgt ein kurzer Blick in die Geschichte. Viele Entwicklungen bauen auf frühen Formen von Zeichen und Mustererkennung auf.
Pioniere der Bilderkennung
Der Nutzen maschineller Zeichen und Mustererkennung wurde früh erkannt. In den 1910er Jahren wurden zwei Maschinen entwickelt:
• das Optophone, das gedruckte Buchstaben in Töne umwandeln konnte
• der Controller von Hyman Eli Goldberg, der Drucktext las und in Fernschreibcode übersetzte
Mary Jameson (von Geburt an blind) benutzt ein Optophone, Foto von 1918
1931 stellte Emanuel Goldberg in Dresden eine Maschine vor, die mithilfe von Lichtmessung und Mustererkennung nach Metadaten auf Mikrofilmrollen suchen konnte. 1949 folgten frühe Experimente zur Barcode Technologie, etwa durch Bernard Silver und Norman Joseph Woodland. In den 1970er Jahren wurde die optische Zeichenerkennung, optical character recognition, OCR, deutlich weiterentwickelt, unter anderem durch Ray Kurzweil. Buchstaben und Ziffern konnten dadurch auch bei wechselnden Schriftarten verlässlich erkannt werden.
Musterabgleich als Grundprinzip
In der Frühphase ging es vor allem um Zeichen und einfache Muster. Auch bei OCR ist Bilderkennung im engeren Sinne noch nicht erreicht. Das Grundprinzip ist jedoch verwandt:
• Scans werden segmentiert, typischerweise ein Segment pro Zeichen
• Pixelmuster werden mit bekannten Mustern abgeglichen
• bei hoher Ähnlichkeit wird ein Zeichenwert gesetzt
Ein digitales Foto ist ebenfalls eine Menge aus Pixeln. Die Komplexität steigt jedoch stark, weil Objekte, Kontexte und Varianten deutlich vielfältiger sind als ein begrenztes Alphabet.
Wichtige Beispiele im Bereich Gesichtserkennung
Gesichtserkennung, im Englischen facial recognition, ist ein verbreiteter Anwendungsbereich. Dabei geht es nicht nur um die Detektion von Gesichtern, sondern häufig um die Erfassung biometrischer Merkmale. Über Übereinstimmungen können Personen wiedererkannt und in bestimmten Kontexten auch identifiziert werden.
1. Gesichtserkennung zur Authentifizierung
Typische Einsatzfelder:
• Entsperren von Computern und Smartphones, etwa Face ID oder Windows Hello
• Zugang zu Gebäuden, etwa Hotels oder Büros
• Passieren von Kontrollstellen am Flughafen, etwa Boarding Gates
• Bezahlvorgänge, zum Beispiel Smile to Pay bei Alipay
• Pilotierungen im stationären Handel und Nahverkehr durch Zahlungsanbieter und Technologiepartner
• Bestandteil einer Zwei Faktor Authentifizierung
Bei eineiigen Zwillingen stößt die Technologie weiterhin an Grenzen. Der praktische Effekt ist jedoch begrenzt, weil diese Konstellation selten ist.
2. Gesichtserkennung in der professionellen Bildverwaltung
2008 führte Google in Picasa eine Gesichtserkennungsfunktion ein. Picasa war der Vorläufer von Google Photos. Nach der Verarbeitung eines größeren Fotoarchivs war die Suche nach Personen möglich und die Erstellung von Alben, Collagen oder Videos wurde deutlich beschleunigt.
In professionellen Lösungen im Bereich Digital Asset Management wird Gesichtserkennung ebenfalls eingesetzt. Der Nutzen liegt vor allem in schnellerem Auffinden von Bildern und in effizienteren Workflows.
• Digital Asset Management, DAM, bezeichnet die professionelle Verwaltung von Bildern und anderen Mediendateien.
3. Gesichtserkennung bei der Rückwärtssuche
Rückwärtssuche per Bild ist über Google, Bing und andere Dienste etabliert. Die Gesichtssuche geht weiter:
• Upload eines frontalen Porträts
• Ausgabe weiterer Bilder derselben Person, sofern indexiert
Dienste wie PimEyes indexieren öffentlich verfügbare Bilder und machen sie für solche Suchen nutzbar. Für investigative Zwecke ist das leistungsfähig. Gleichzeitig besteht Missbrauchspotenzial, zum Beispiel durch Stalking. Daraus ergeben sich ethische und rechtliche Konflikte.
4. Gesichtserkennung zur Verbrechensbekämpfung
Sicherheitsbehörden nutzen Gesichtserkennung zur Identifikation gesuchter Personen in Fotos und Videos. Das kann Ermittlungen beschleunigen und zur Aufklärung beitragen. Gleichzeitig kann die Technologie für Überwachung missbraucht werden. Diese Spannungsachse ist ein zentraler Teil der gesellschaftlichen Debatte.
5. Gesichtserkennung in sozialen Medien und im öffentlichen Raum
Facebook begann 2010 mit automatischem Markieren von Personen auf Fotos. 2021 wurde diese Funktion weltweit eingestellt.
In der Europäischen Union ist der anlasslose Einsatz von Gesichtserkennung im öffentlichen Raum stark eingeschränkt. Der EU AI Act sieht für Echtzeit Fernidentifikation im öffentlichen Raum grundsätzlich Verbote mit eng begrenzten Ausnahmen vor.
Spannende Beispiele im Bereich Objekterkennung
Gesichter sind technisch ebenfalls Objekte. Die Aufteilung in Gesichtserkennung und Objekterkennung ist hier rein praktisch.
6. Objekterkennung bei autonomen Fahrsystemen
Für autonomes Fahren ist Objekterkennung zentral. Erforderlich sind unter anderem:
• Erkennen von Fahrspuren
• Interpretation von Ampeln und Verkehrsschildern
• Erfassung von Objekten in Fahrzeugnähe
• schnelle Positionsbestimmung und Bewegungsprognosen
Fachlich fällt das in den Bereich computer vision. Die Verarbeitung muss in sehr kurzen Zeitfenstern erfolgen. Neben Kameras werden häufig Radar, Lidar und Ultraschall eingesetzt.
Cockpit eines Tesla Model S P100D
Ein Beispiel aus der Praxis ist Waymo One. Waymo beschreibt den Dienst als vollautonomen Ride Hailing Betrieb, der unter anderem in Phoenix und San Francisco verfügbar ist.
7. Objekterkennung bei der Rückwärtssuche
Die Suche per Foto ist im Alltag etabliert. Ein Beispiel ist Google Lens. Die Systeme werden durch maschinelles Lernen kontinuierlich verbessert.
Für Spezialthemen sind spezialisierte Apps oft zuverlässiger, etwa:
• Flora Incognita
• PlantNet
• PictureThis
Auch Produktsuche per Foto basiert auf Objekterkennung nach entsprechendem Training.
8. Objekterkennung in Bildverwaltung und Stockfotobranche
Automatische Verschlagwortung hat die manuelle Eingabe in vielen Fällen abgelöst. Für gängige Motive funktioniert Objekterkennung in der Praxis oft zuverlässig, etwa für:
• Stuhl
• Bohrmaschine
• Fahrrad
In der Stockfotobranche wird automatische Verschlagwortung seit Jahren eingesetzt.
Technische Hürden:
• exakte Bestimmung von Marke, Modell oder Typ erfordert oft spezielles Training
• biologische Arten sind schwer zu unterscheiden, weil Merkmale sehr subtil sind
• optische Ähnlichkeiten können Systeme irritieren, bekanntes Beispiel ist die Collage chihuahua or muffin von Karen Zack
Auch das Erkennen von Stilmitteln ist mit Deep Learning möglich. Offener bleibt, wie zuverlässig Bildaussagen, Konzepte und Bedeutungsebenen maschinell erfasst werden können.
9. Objekterkennung in der Medizin
In der Medizin wird Objekterkennung zur Unterstützung diagnostischer Prozesse eingesetzt, zum Beispiel bei der Analyse von:
• Röntgenbildern
• CT Aufnahmen
Systeme können sehr feine Auffälligkeiten markieren und mit großen Vergleichsdaten arbeiten. Besonders relevant sind Ansätze zur Früherkennung verschiedener Krebsarten. Viele Verfahren werden klinisch erprobt.
10. Bilderkennung in Kassensystemen
Beispiel Amazon Go
Amazon Go Stores gelten als fortschrittliches Beispiel für computerbasierte Bilderkennung im stationären Handel. Ziel ist ein Einkauf ohne klassischen Kassiervorgang.
Typischer Ablauf:
• Check in per Smartphone vor Betreten des Stores
• Entnahme von Waren aus Regalen und Auslagen
• Verlassen des Geschäfts ohne sichtbaren Checkout Prozess
Check in per Smartphone vor Betreten des Amazon Go Stores.
Realisiert wird dies durch eine Kombination aus Sensorik und Computer Vision, die Produkte und Vorgänge dem jeweiligen Einkauf zuordnet. Der konkrete Technikmix ist herstellerseitig nicht vollständig offengelegt.
Weitere Anwendungsbereiche
Weitere typische Einsatzfelder sind:
• Qualitätskontrolle im produzierenden Gewerbe, etwa bei Bauteilen oder empfindlichen Lebensmitteln
• Versicherungen, etwa automatisierte Bewertung von Schadensbildern
• militärische Systeme, etwa autonome Drohnen und Robotik