SEARISE

Smart Eyes: Erkennen auffälliger Ereignisse

© Foto Fraunhofer FIT

Im EU-Projekt »SEARISE – Smart Eyes: Attending and Recognizing Instances of Salient Events« entwickelte Fraunhofer FIT ein Kamerasystem, das im Erkennen und Verarbeiten von bewegten Bildern menschenähnliche Leistungen erreichen sollte. Zentrale Punkte waren das Erkennen von Auffälligkeiten im Aufnahmebereich sowie das Fixieren und Verfolgen dieser Phänomene. Zudem sollten die Smart Eyes diese Ereignisse anhand des umgebenden Kontextes und entsprechender Regeln klassifizieren können.

Die Hardware der Smart Eyes besteht aus einer festen Kamera, die ein bestimmtes Areal abdeckt, kombiniert mit zwei ultra-aktiven Stereokameras. Diese können – ähnlich dem menschlichen Auge – sehr schnell nacheinander verschiedene Punkte fixieren, verfolgen und darüber hinaus auch auf Details zoomen.

Softwareseitig wurden die Smart Eyes mit einem algorithmischen kognitiven Bildverarbeitungsmodell ausgestattet, das die wesentlichen Prinzipien und Strategien des Seh- und Verarbeitungsapparats von Säugetieren adaptiert.

Die Smart Eyes extrahieren zunächst lokale Bewegungen und Formmerkmale aus dem gesamten visuellen Input. Dadurch entstehen riesige Datenmengen, die mit spezialisierten Grafikchips verarbeitet werden.

Das Lernmodul auf der nächsten Hierarchieebene erlernt aus diesen Ergebnissen typische Objektformen und zeitliche Abhängigkeiten in den Bewegungsmustern. Diese Lernmechanismen werden wiederum in die Aufmerksamkeitssteuerung integriert.

Parallel zum Lernprozess wird eine so genannte Überraschungskarte berechnet. Sie dient als Maß für die Inkonsistenzen mit typischen, bereits gelernten Ereignissen und bietet ein Aktivitätslevel der Szene. Idealerweise wird damit das Smart Eyes-System ähnlich auf Ereignisse reagieren wie ein menschlicher Beobachter.