KAIST senkt mit einem Diffusions-Sprachmodell die Wortfehlerrate beim Lippenlesen auf 19,4 %
Das Team von Prof. Ro Yong-man erkennt zuerst die deutlichsten Wörter und ergänzt unklare aus dem Kontext; auf dem 433-Stunden-Datensatz LRS3 erreichte es 19,4 % WER, nach eigenen Angaben der niedrigste Wert unter nur mit LRS3 trainierten Methoden.
Die wichtigsten Fakten
- Team: Prof. Ro Yong-man, KAIST-Fakultät für Elektrotechnik
- Methode: Diffusions-LLM für visuelle Spracherkennung
- Benchmark: LRS3, 433 Stunden Video
- Ergebnis: 19,4 % Wortfehlerrate
- Nächstes Ziel: kleinere On-Device-Modelle