Ist Künstliche Intelligenz oder ein Mensch besser beim Lippenlesen von Filmen?

Eine Szene auf einer Terrasse. Ein Mann spricht, historisches Filmmaterial, die Lippen bewegen sich. Die KI-gestützte Lippenlese-Software analysiert das Mundbild und liefert ein Ergebnis. Es ist falsch. Der Mann sagte: »Pressluftkrach.« Die KI hat dieses Wort nicht erkannt, und sie konnte es nicht erkennen.

Dieses Beispiel ist kein Einzelfall. Es ist ein Demonstrationsobjekt für eine Frage, die mir regelmäßig Filmarchive, TV-Sender und Produktionsfirmen stellen:

Wer ist besser beim Lippenlesen von Filmen, KI oder Mensch? Die Antwort ist keine Meinungssache, sondern das praktische Ergebnis aus jahrelanger Arbeit mit stummem Material und aus direkten Vergleichstests, die ich von mehreren Fernsehsendern erhalten habe.

Ich sage es gleich vorweg: Die Frage ist falsch gestellt. KI und menschlicher Lippenleser konkurrieren nicht miteinander, sie arbeiten auf zwei völlig verschiedenen Ebenen.

Zwei völlig verschiedene Aufgaben

Bei der Arbeit mit historischem Filmmaterial fallen zwei Aufgaben an, die technisch nichts miteinander zu tun haben: die Bildaufbereitung und die Lippenlese-Transkription.

Die Bildaufbereitung ist der Bereich, in dem KI Hervorragendes leistet. Historische Filme sind oft unscharf, verwackelt oder unterbelichtet, Gesichter verschwimmen und Lippenkonturen sind kaum zu erkennen. KI-gestützte Restauration kann Gesichter nachschärfen, Kontraste anheben und Bildrauschen entfernen, und sie macht aus einem kaum lesbaren Mundbild ein lesbares. Das ist echte Vorarbeit, die vor zwanzig Jahren noch unmöglich gewesen wäre.

Die Lippenlese-Transkription hingegen ist der Punkt, an dem die Leistung der KI endet und meine Arbeit beginnt.

Was die KI beim Lippenlesen tatsächlich liefert

KI-gestütztes Lippenlesen funktioniert am besten unter Laborbedingungen: ein frontal gefilmtes Gesicht, optimale Beleuchtung, deutliche Artikulation und ein begrenzter Wortschatz. Unter diesen kontrollierten Voraussetzungen erkennt die KI einzelne Wörter.

Historisches Filmmaterial erfüllt jedoch keine dieser Bedingungen.

Die Kamera wechselt ständig die Perspektive, Menschen sprechen im Profil, von schräg oben oder aus der Bewegung heraus, und jeder Sprecher hat ein individuelles Mundbild mit eigener Lippenform, eigener Beweglichkeit und eigener Artikulationsdeutlichkeit. Für diese Varianz hat die KI keinen Algorithmus, denn sie rechnet mit statistischen Durchschnitten, und ein individuelles Mundbild ist das genaue Gegenteil eines Durchschnitts.

Und dann sind da die Wörter selbst. »Pressluftkrach« ist kein Wort, das in Trainingsdatensätzen häufig vorkommt. Es ist ein seltenes Kompositum, zeit- und kontextabhängig. Die KI liefert in solchen Fällen nicht etwa eine Annäherung. Sie liefert etwas, das schlicht nicht das ist, was gesprochen wurde.

Ich habe von mehreren TV-Unternehmen direkte Abgleichungen zwischen KI-Transkription und meiner eigenen Arbeit erhalten, und das Ergebnis war eindeutig: Die KI spuckte einzelne Wörter aus, isoliert und ohne jeden Zusammenhang, die nicht zu dem passten, was die Menschen tatsächlich in Sätzen gesprochen hatten. Kein Kontext, keine Satzstruktur, keine Bedeutung. Was herauskam, war eine Wortliste und keine Transkription.

Und was ist mit den KI-Lippenlese-Apps?

Und was ist mit den KI-Lippenlese-Apps?

An dieser Stelle kommt meist der Einwand: „Aber es gibt doch Apps, die Lippenlesen können.“

Schaut man sich die Apps an, die tatsächlich visuelles Lippenlesen versprechen, spricht das Ergebnis für sich. Die App „Lippenlesende KI“ kommt auf 1,6 von 5 Sternen. „Lip Sync: AI Face Generator“ auf 1,4.

Was derzeit als Lippenlese-App auf dem Markt ist, funktioniert nicht zuverlässig.

Forschungslabore zeigen mit Projekten wie LipNet, dass visuelle Spracherkennung grundsätzlich möglich ist , aber unter Laborbedingungen und mit einem Bruchteil des Wortschatzes, den ein historischer Film erfordert.

Es ist kein Zufall, dass die Apps, die es tatsächlich versuchen, auf 1,6 Sternen stehen. Was im Labor in Ansätzen gelingt, scheitert in der Praxis. Und ein historischer Film mit wechselnden Perspektiven, seltenen Wörtern, unterschiedlichen Menschen und somit unterschiedlichen Mundbildern und verwackeltem Bild ist nicht Praxis, sondern Extremfall.

Ist das ein Datenproblem oder ein Kategorieproblem?

An dieser Stelle lohnt sich eine grundsätzliche Frage: Scheitert die KI an »Pressluftkrach«, weil ihr schlicht die richtigen Trainingsdaten fehlen. Oder ist es das, weil ihr eine Art von Wissen fehlt, die sich nicht in statistische Modelle übersetzen lässt?

Die Antwort ist, dass wir es noch nicht wissen.

Was wir wissen: Unter Laborbedingungen, mit frontalem Gesicht, optimalem Licht und begrenztem Wortschatz wird KI immer besser.

Aber im historischen Film gibt es keine Laborbedingungen. Jede Aufnahme ist ein Unikat, jedes Mundbild individuell, jedes gesprochene Wort in einen spezifischen historischen Kontext eingebettet, den kein allgemeiner Trainingsdatensatz abdeckt.

Wenn es ein reines Datenproblem wäre, würde die Lücke mit mehr und besseren Trainingsdaten kleiner werden. Wenn es ein Kategorieproblem ist, wenn also das, was ein erfahrener gehörloser Lippenleser über Jahrzehnte an kontextuellem Verstehen aufbaut, grundsätzlich nicht in statistische Modelle übersetzbar ist, dann bleibt der menschliche Lippenleser unersetzlich.

Ich neige aus der Praxis heraus zur zweiten These, aber die Frage zu stellen ist wichtiger, als sie voreilig zu beantworten. Sie ist der eigentliche Diskussionspunkt, den die KI-Entwicklung derzeit aufmacht und auf den es in der täglichen Arbeit mit historischem Material ankommt.

Was der menschliche Lippenleser mitbringt

Lippenlesen auf historischem Material erfordert drei Dinge, die eine KI nicht besitzt.

Erstens: einen großen, gewachsenen Wortschatz. Damit meine ich keine statistische Worthäufigkeit, sondern ein Lexikon aus jahrzehntelanger Erfahrung, in dem jedes Mundbild von unterschiedlichen zigtausenden Menschen, das ich seit meiner Kindheit gespeichert habe, abrufbar ist.

Zweitens: Recherche. Bevor ich mit der Lippenlese-Transkription beginne, lese ich mich gründlich in das Thema ein: Wer spricht, aus welcher Zeit stammt die Aufnahme, welcher Dialekt wird gesprochen? Ich lege ein Glossar an mit Fachbegriffen, Eigennamen und der historisch korrekten Aussprache.

Bei einem Film über Manfred von Richthofen muss ich Flugzeugmotoren kennen, militärische Ränge und den Pilotenjargon des Jahres 1917. Und bei einem stummen Super8-Familienvideo, in dem eine alte Dame mit einem kleinen Kind singt, muss ich erkennen können, dass es »Hoppe-hoppe-Reiter« ist und nicht irgendein Singsang. Beim Singen ist das Mundbild mehr geöffnet als beim normalen Sprechen.

Das ist der Unterschied zwischen einer KI, die Muster abgleicht, und einem Menschen, der versteht, was er sieht: Die KI hat keinen Glossar, sie hat nur ihre Trainingsdaten.

Drittens: Kontext. Ich lese Sätze, nicht Einzelwörter, ich erkenne, wann ein Satz beginnt und wann er endet. Die KI hingegen liefert Worthäufungen ohne jeden syntaktischen Zusammenhang.

Der Workflow, der funktioniert

In der Praxis hat sich ein zweistufiges Verfahren durchgesetzt, das kein Wettkampf zwischen Mensch und Maschine ist, sondern eine klare Arbeitsteilung.

Die KI übernimmt die Bildrestauration: Sie schärft Gesichter nach, entfernt Bildrauschen und macht Mundbilder lesbar. Das ist Vorarbeit auf höchstem Niveau, und sie ist unverzichtbar für die Qualität des Ausgangsmaterials. Dann übernehme ich und transkribiere das restaurierte Material Satz für Satz, mit meinem gewachsenen Wortschatz, meiner thematischen Recherche und meinem Kontextverständnis. Zuvor gleiche ich das Original-Video mit dem restaurierten Video ab, um zu prüfen, dass am Mundbild nichts verändert wurde.

Die KI bereitet vor, der Mensch transkribiert. Beides zusammen ergibt genau das, was ein Filmarchiv oder ein TV-Sender am Ende braucht: eine präzise, lesbare und kontextgenaue Transkription.

Sie haben historisches Stummfilmmaterial und wollen wissen, was darauf gesprochen wurde?

Ich prüfe Ihr stummes Filmmaterial und sage Ihnen, was mit dem heutigen Stand der Technik möglich ist.