KAIST、拡散言語モデルで読唇の単語誤り率を19.4%に低減

ノ・ヨンマン教授のチームは、口の形が明確な単語から認識し、曖昧な部分を文脈で補う。433時間のLRS3データセットで単語誤り率19.4%を記録し、LRS3のみで学習した手法で最も低いとしている。
要点
- チーム:KAIST電気・電子工学部のノ・ヨンマン教授
- 手法:視覚音声認識に拡散大規模言語モデルを活用
- 評価:LRS3(433時間の映像)
- 結果:単語誤り率19.4%
- 次の目標:ウェアラブルやロボット向けの小型オンデバイス化

ノ・ヨンマン教授のチームは、口の形が明確な単語から認識し、曖昧な部分を文脈で補う。433時間のLRS3データセットで単語誤り率19.4%を記録し、LRS3のみで学習した手法で最も低いとしている。