Künstliche Intelligenz schlägt Menschen beim Lippenlesen

Zwei neue Studien zeigen, dass Maschinen besser im Lippenlesen sind als Menschen.

Dass Computer besser Lippenlesen können als Menschen, ist ein großer Fortschritt. Menschen ist es laut verschiedenen Studien in den letzten Jahrzehnten nur möglich 17 bis 32 % der Wörter zu erkennen.

Zwei Studien beweisen jetzt, dass das nur für Menschen gilt und Maschinen mittlerweile viel besser sind!

Projekt Lipnet

Ein Projektteam der Universität Oxford hat ein System namens Lipnet erschaffen. Das System wurde mit Videos von gut ausgeleuchteten, in die Kamera sprechenden Personen, die drei Sekunden lange Sätze sprechen, angelernt. Die Wortketten folgten dabei immer dem gleichen Muster.

Anhand dieser Videos trainierte das Team ein neurales Netzwerk, ähnlich wie es bei Spracherkennungssoftware eingesetzt wird. Dabei betrachtet die Software über längere Zeit alle Zusammenhänge eines Satzes und Veränderungen in der Mundform.

Bei diesem Versuchsaufbau konnten 93,4 % der Wörter erkannt werden, im Vergleich zu 79,6 % bei den besten derzeitig üblichen Systemen. Menschen konnten im Vergleich dazu 52,3 % der Wörter erkennen.

Zugegeben, der Versuchsaufbau ist nicht ganz realistisch, weshalb auch Menschen überaus gut abgeschnitten haben.

Lipnet Studienergebnisse als Download (PDF, englisch). 

Projekt Lippenlesen in der freien Wildbahn

Es gibt noch ein weiteres Projektteam an der Universität von Oxford, das mit Google DeepMind, einer Firma für künstliche Intelligenz, zusammenarbeitet.

Diesem war der erste Versuchsaufbau zu theoretisch. Es nahm 100.000 Videos aus BBC Übertragungen. Diese Videos haben einen größeren Sprachumfang, unterschiedliche Beleuchtungen und auch die Sprecherinnen und Sprecher sehen nicht immer genau in die Kamera.

Der Versuch ergab eine Rate von 46,8 % richtig erkannter Wörter. Die Vergleichsgruppe mit geübten Lippenleserinnen und -lesern schaffte es nur 12,4 % der Wörter zu verstehen.

Studienergebnisse von Lippenlesen in der freien Wildbahn (PDF, englisch).

Erkenntnis

Auch wenn die Ansätze beider Teams sehr unterschiedlich waren, zeigen doch beide, dass künstliche Intelligenz bereits viel besser darin ist, Lippen zu lesen!

Wir werden in Zukunft noch viele mögliche Anwendungen dafür sehen, davon bin ich überzeugt.