KAIST usa um modelo de linguagem de difusão para reduzir para 19,4% o erro de palavras na leitura labial
A equipa do professor Ro Yong-man descodifica primeiro as palavras mais nítidas e completa as ambíguas pelo contexto; no conjunto LRS3 de 433 horas obteve 19,4% de WER, que diz ser o menor entre métodos treinados só com LRS3.
Fatos principais
- Equipa: prof. Ro Yong-man, Escola de Engenharia Elétrica do KAIST
- Método: modelo de linguagem de difusão para reconhecimento visual da fala
- Referência: LRS3, 433 horas de vídeo
- Resultado: 19,4% de taxa de erro de palavras
- Próximo objetivo: modelos menores no dispositivo