Exploiting Human Visual Attention for Automatic Image Selection and Annotation
Tina Walber · 2014
Mit der zunehmenden Verbreitung digitaler Kameras nimmt die Anzahl der aufgenommen Fotos drastisch zu. Fotos werden sowohl fur den privaten Gebrauch aufgenommen und auf eigenen Festplatten gespeichert, als auch im Internet verbreitet. Die Verwaltung dieser grosen Datenmengen stellt eine Herausforderung dar, bei der Benutzer zunehmend unterstutzt werden mussen. Die automatische Analyse von Bildinhalten anhand von Algorithmen ist ein ungelostes Problem und kann kaum die Bedurfnisse menschlicher Nutzer erfullen. Daher werden haufig Metainformationen genutzt, um z.B. abgebildete Szenen textuell zu beschreiben oder Bewertungen zu Fotos zu speichern. Im Rahmen dieser Arbeit wird untersucht, wie diese Metainformationen ohne zusatzlichen Aufwand fur Benutzer generiert werden konnen. Dazu werden Augenbewegungen von Benutzern mit einem Eyetrackinggerat erfasst und die daraus abgeleitete visuelle Aufmerksamkeit als Informationsquelle genutzt. Aufgrund von fallenden Hardwarepreisen bei gleichzeitig zunehmender Konkurrenz sind die Preise fur Eyetracker in den letzten Jahren stark gefallen und ihre Bedienbarkeit wurde vereinfacht. Es wird angenommen, dass die Erfassung von Blickdaten bald mit alltaglichen Geraten wie Laptops moglich sein wird, wahrend Benutzer z.B. verschiedenen Beschaftigungen mit digitalen Bildern nachgehen. Die Auswertung dieser Blickinformationen erlaubt es, Informationen ohne zusatzlichen Aufwand fur den Menschen bereitzustellen. Im ersten Teil dieser Arbeit wird untersucht, ob durch die Auswertung von Blickinformationen, Schlagworte Bildregionen zugewiesen werden konnen, mit dem Ziel abgebildete Szenen zu beschreiben. Insgesamt wurden drei Experimente durchgefuhrt um die Qualitat der Beschreibungen zu untersuchen. Im ersten Experiment entschieden Teilnehmer durch das Drucken bestimmter Tasten, ob ein gegebenes Objekt auf einem Foto zu sehen war. In der zweiten Studie suchten Benutzer mit einer simulierten Bildersuche nach Fotos von bestimmten Objekten. Im dritten Experiment klassifizierten Benutzer Fotos bezuglich gegebener Objektnamen in einem eyetracking-gesteuerten Spiel. In jedem Experiment wurden die Augenbewegungen aufgezeichnet und die Objektnamen bzw. Suchbegriffe entsprechenden Bildregionen zugeordnet. Die Ergebnisse zeigen, dass in den verschiedenen Anwendungen Bildinhalte durch Blickpfadanalysen sinnvoll beschrieben werden konnen. Im zweiten Teil wird die Identifizierung von interessanten Fotos in einer Sammlung von Fotos anhand von Blickbewegungen erforscht, mit dem Ziel, Benutzern individuelle Fotoauswahlen anzubieten, nachdem sie Fotos in einer Sammlung betrachtet haben. Durch den Vergleich der unter Einbeziehung der visuellen Aufmerksamkeit automatisch erstellten Auswahlen mit manuell von den Benutzer erstellten Auswahlen, wird das Potential von Blickinformation in der Erkennung wichtiger Fotos deutlich. Die Ergebnisse dieser Arbeit zeigen das grose und bisher ungenutzte Potential der impliziten Nutzung von Blickdaten. Es kann von menschlichen Fahigkeiten profitiert werden, besonders dort, wo Algorithmen die menschliche Wahrnehmung noch lange nicht simulieren konnen.