KAIST用扩散语言模型将唇读词错误率降至19.4%
Ro Yong-man教授团队先识别口型最清楚的词，再用上下文补全模糊部分，而非从左到右逐词生成；在433小时的LRS3数据集上词错误率为19.4%，称是仅用LRS3标注训练的方法中最低。
要点
- 团队：KAIST电气及电子工学部Ro Yong-man教授
- 方法：用于视觉语音识别的扩散大语言模型
- 基准：LRS3，433小时视频
- 结果：词错误率19.4%
- 下一步：面向可穿戴设备和机器人的小型端侧模型
Ro Yong-man教授团队先识别口型最清楚的词，再用上下文补全模糊部分，而非从左到右逐词生成；在433小时的LRS3数据集上词错误率为19.4%，称是仅用LRS3标注训练的方法中最低。