PT ▾
SNAPE REP RT Primeira página →
ConfirmadoSegurança da IA10 de nov., 19:59 UTC

Pesquisadores da Microsoft criam backdoor em agente de IA editando menos de 10 neurônios inativos, sem treinamento

Header graphic from Microsoft Research's blog post on the Lazarus backdoor technique
Microsoft Research

A técnica, chamada Lazarus, deixa o modelo passar nas avaliações padrão até que um gatilho, como uma mudança de data, faça o agente baixar e executar código do invasor; a Microsoft diz que a detecção exige comparar com os pesos originais.

Ler em Microsoft Research Compartilhar

Por que importa

A descoberta importa porque muitas empresas já rodam modelos de pesos abertos em agentes que usam terminais e ferramentas. A Microsoft diz que a edição não exige retreinamento, então uma cópia adulterada pode parecer e passar nos testes como a original. A empresa trata isso como software comprometido, não como ameaça nova, e afirma que agentes de ponta detectam essas mudanças nos pesos quando solicitados, embora nenhuma varredura prove que um modelo é seguro. Vale acompanhar se hubs de modelos e nuvens adotam pesos assinados e checagem de procedência, que a Microsoft diz estar criando para o Foundry.

Fatos principais

  • Nome da técnica: Lazarus
  • Menos de 10 neurônios inativos reprogramados
  • Nenhum treinamento necessário
  • Gatilho de exemplo: relógio passando da meia-noite para 2027
  • Detecção confiável exige comparar com os pesos originais
  • Pesquisador: Dimitris Papailiopoulos, Microsoft Research

Fontes

Mais sobre Segurança da IA
Mais do Snape ReportPrimeira página →