KI kann nicht lippenlesen! Schau hier:
Kann KI wirklich Lippenlesen? Genau das wollte ich selbst testen.
Ich lese seit meiner Geburt von den Lippen und transkribiere unter anderem stumme und historische Filme.
Die echte Kommunikation sieht so aus: Menschen bewegen ihren Kopf, drehen sich weg, sprechen aus unterschiedlichen Perspektiven und werden teilweise von schlechter Bildqualität, Schatten oder anderen Hindernissen begleitet.
Ich habe deshalb einen einfachen Test mit vier bekannten KI-Systemen durchgeführt.
Sie können diesen Test selbst nachvollziehen!
Das zeige ich in meinem Lippenlese-Test
Ich wollte überprüfen, ob KI lippenlesen kann. Deshalb habe ich einen einfachen Test durchgeführt, den Sie selbst nachmachen können.
Der Test besteht aus drei Schritten.
Für den folgenden Lippenlese-Test nutze ich die folgenden KI’s:
- ChatGPT
- Claude
- Grok
- Gemini
1. Schritt
Ich gebe der KI „Gemini“ einen Befehl (Prompt), was sie tun soll:
„Generiere mir ein Video mit einer Frau mit dem folgenden gesprochenen Text: „Ich bin im Urlaub. Wo? Rate mal. Tschüß.““
Dieses KI-Video-Prompt in der KI „Gemini“ erzeugt folgendes Video, siehe Screenshot:
Die KI „Gemini generiert das KI-Video. Das Mundbild ist super. Klar und deutlich.
Wir nennen es: „Video 1“
2. Schritt:
Das generierte „Video 2“ wird nun ohne Ton abgespielt und gleichzeitig mit einem anderen Smartphone aufgenommen und zugeschnitten.
Grund:
Bei dieser neuen Aufnahme mit dem anderen Smartphone ist der Ton nicht da. Diese Situation habe ich auch als menschliche Lippenleserin.
Nun hat die KI später nur noch das Video, welches sie lippenlesen soll: ohne Ton, ohne vorgegebenen Text, ohne Metadaten. Nur noch das sichtbare Mundbild. Es entsteht eine komplett neue Videodatei, die wir „Video 2“ nennen.
Jetzt wird das „Video 2“ ohne Ton gezeigt (im folgenden Video ab Minute 01:05, 9 Sekunden lang) zu sehen.
3. Schritt:
Ich lade das bearbeitete „Video 2“ (ohne Ton) in eine KI hoch und verwende dazu diesen Prompt:
„Transkribiere mir dieses Video per Lippenlesen“
Die KI hat nun die sehr ähnliche Voraussetzungen wie eine Profi-Lippenleserin.
Nun zeige ich Ihnen die KI-Ergebnisse:
Die KI „ChatGPT“ kommt zu folgendem Ergebnis:
Die KI „Claude“ kommt zu folgendem Ergebnis:
Die KI „Gemini“ kommt zu folgendem Ergebnis:
KI „Grok“ kommt zu folgendem Ergebnis:
Das Ergebnis
Von den vier getesteten KIs konnte keine zuverlässig lippenlesen. Dieses Video ohne Ton ist für jede der getesteten KI ein Problem, dabei ist das Mundbild im Video sehr klar und deutlich. Dies kann ich als Lippenleserin sehr gut lesen.
Die KI kann einen bekannten Text in ein Mundbild umsetzen. Das gelingt sogar erstaunlich gut. Aber ein Mundbild in Text umzusetzen kann sie nicht.
Ohne Ton und ohne vorgegebenen Text konnte keine der vier getesteten KI’s vom Mund ablesen, was tatsächlich gesagt wurde.
Sie können selbst mit diesen drei Schritten überprüfen, was eine KI kann – und was eine KI nicht kann:
Sie kann nicht lippenlesen.
Testen Sie es selber aus!
Wenn eine KI es nicht schafft, den sehr einfachen Satz „Ich bin im Urlaub“ Lippen zu lesen und als Text wieder zu geben, stellt sich die Frage:
Wie verhält es sich mit anderen Filmen (historische Filme, Super8, etc.)?
Diese haben eine schlechtere Bildqualität, gröbere Filmkörnung, schwierige Situationen bezüglich Licht und Schatten, bewegte Mimik und Gestik, unterschiedliche Perspektiven auf das Gesichtund den Körper.
Die Super 8 Filme oder die historischen Stummfilme stellen noch viel größere Herausforderungen beim Lippenlesen dar als die hier vorgestellte Situation.
Die KI-Tools können einen historischen Film digital sehr gut aufbereiten und restaurieren, wie man es an den historischen restaurierten Stummfilmen sieht. Ich finde dies großartig.
Die KI’s können viel, aber das Lippenlesen gehört derzeit nicht zu ihren Stärken.
Ich bin professionelle Lippenleserin und transkribiere die stummen Filme. Ich lese täglich von den Lippen ab und bringe jahrzehntelange Erfahrung mit. Das Lippenlesen ist wie eine Muttersprache für mich.
Gerade deshalb finde ich es spannend, die Möglichkeiten und die Grenzen der KI beim Lippenlesen selbst zu testen.
Haben Sie noch Fragen zu diesem Lippenlese-Test? Wenn Sie selbst getestet haben, welche Ergebnisse kamen bei Ihnen heraus? Schreiben Sie mir.
Sie haben einen stummen Film oder ein Super-8-Video, dessen gesprochene Worte Sie gerne verstehen würden?
Wenn ich Ihnen mit einer Lippenlese-Transkription weiterhelfen kann, erreichen Sie mich hier.
