Le KAIST utilise un modèle de langage par diffusion pour ramener l'erreur de lecture labiale à 19,4 %
L'équipe du professeur Ro Yong-man décode d'abord les mots les plus nets et complète les ambigus par le contexte ; sur le jeu LRS3 de 433 heures, elle obtient 19,4 % de WER, le plus bas selon elle parmi les méthodes entraînées sur LRS3 seul.
Faits clés
- Équipe : prof. Ro Yong-man, école de génie électrique du KAIST
- Méthode : grand modèle de langage par diffusion pour la reconnaissance visuelle de la parole
- Référence : LRS3, 433 heures de vidéo
- Résultat : 19,4 % de taux d'erreur de mots
- Prochain objectif : modèles embarqués plus légers