Estudo da UW mostra que grandes modelos de IA dão as notas mais baixas a sotaques chinês e nigeriano em entrevistas e testes
Os pesquisadores testaram modelos multimodais do Google, OpenAI e Alibaba com roteiros idênticos lidos em cinco sotaques e encontraram notas menores de fala e às vezes de conteúdo, mesmo com transcrição correta.
Por que importa
Modelos de áudio são cada vez mais usados para triar entrevistas gravadas e avaliar provas orais e testes de inglês, então uma penalidade sistemática por sotaque afeta diretamente contratações e educação. A equipe comparou sotaques americano, britânico, chinês, indiano e nigeriano nos mesmos roteiros, isolando o sotaque do conteúdo. Os modelos muitas vezes disseram que falantes chineses e nigerianos murmuravam, embora os transcrevessem corretamente. O trabalho foi apresentado em 25 de outubro na EMNLP, em Budapeste; resta ver a resposta de desenvolvedores e aplicadores de testes.
Fatos principais
- Cinco sotaques: americano, britânico, chinês, indiano, nigeriano
- Modelos do Google, OpenAI e Alibaba testados
- Entrevistas, palestras e testes de inglês
- Sotaques chinês e nigeriano com as piores notas
- Apresentado em 25 de outubro na EMNLP, Budapeste