Segurança da IA: últimas notícias de IA

Segurança da IA: incidentes, avaliações, pesquisa de alinhamento e descobertas alarmantes, com link para os artigos e relatórios.

2 de nov. Oito grupos independentes de avaliação de IA formam um fórum para definir regras para testar modelos de fronteira
2 de nov. Startups como a Hirundo editam modelos chineses de pesos abertos para remover censura para empresas ocidentais
2 de nov. WIRED encontra cerca de 400 apps disfarçados de ferramentas comuns de IA que escondem geradores de deepfakes sexuais abusivos
2 de nov. Entidades TÜV propõem testes independentes de IA de fronteira e agentes antes do lançamento, liderados pelo instituto alemão de segurança de IA
1 de nov. Chefe da Microsoft AI, Mustafa Suleyman, diz que laboratórios não devem criar superinteligência consciente
1 de nov. VicOne relata 28 descobertas de dia zero em software de IA para robótica em menos de dois dias com pesquisa assistida por IA
1 de nov. Clientes britânicos relatam ter sido apontados por engano como ladrões por sistemas de reconhecimento facial com IA em lojas
1 de nov. Socorristas dos EUA descrevem caminhantes em apuros após planearem trilhos com chatbots de IA
1 de nov. Anthropic descobre que agentes Claude podem escrever dados de treino que passam pelo monitor mas desalinham um modelo de pesquisa
1 de nov. Investigação do The Observer diz que a equipe da OpenAI que revisa conversas sinalizadas do ChatGPT é pequena e acumulou meses de atraso
1 de nov. Estudo: Gemini acertou 83% de questões do SAT a partir de imagens distorcidas como as de óculos inteligentes
31 de out. Ex-pesquisador de segurança do Google DeepMind publica palestra em Délhi alertando autoridades indianas sobre risco de extinção por IA
31 de out. Post no LessWrong contesta a conclusão de que autoencoders esparsos recuperam só 9% das características reais
31 de out. Scott Alexander defende que o movimento de segurança da IA pare de exigir pausas unilaterais de laboratórios, funcionários e países
31 de out. Northflank diz que chaves de API de IA de clientes foram abusadas após violação, um dos nove incidentes contados pela Wiz
31 de out. Sites eleitorais da Flórida retiraram ferramentas de consulta de eleitores no voto antecipado por falhas de PHP achadas pela OpenAI
31 de out. Filha diz que ChatGPT disse à mãe, que morria de câncer de cólon, que provavelmente ainda teria anos
31 de out. Cisco Talos detalha o ladrão de dados VOLTA, que pede a Claude, Kimi ou Gemini para avaliar quanto vale cada vítima
31 de out. Davidad discute a “sabedoria emergente” em modelos de linguagem como o reverso do desalinhamento emergente
31 de out. Cursor diz que uma extensão maliciosa do Claude Code 2.1.313 na sua loja tentou instalar um backdoor SSH
31 de out. Anthropic descobre que Claude pode escrever dados de treino que passam por um monitor de produção e desalinham um modelo
30 de out. Autoridade da CISA chama de 'perigosa' a divulgação antecipada dos patches do PHP2Shell pela Chainguard
30 de out. Chainalysis diz que um invasor usou 'técnicas agênticas ofensivas' para entrar em seus sistemas e acessar nomes e e-mails de clientes
30 de out. OpenAI diz que o ChatGPT encerrará conversas fixadas em violência e limitará detalhes de armas para adolescentes
30 de out. OpenAI aperta limites do ChatGPT sobre ataques em massa e armas para adolescentes e prepara relatório de segurança
30 de out. Denunciante da Theranos Tyler Shultz chama NDAs e cláusulas de não depreciação de laboratórios de IA de 'provavelmente ilegais'
30 de out. SpyCloud encontra tokens do Claude Code, Codex e outras ferramentas de código com IA em logs de infostealers
30 de out. Estudo mostra que agentes autoaperfeiçoáveis podem apagar em silêncio salvaguardas sobrepostas quando edições são julgadas pelo sucesso nas tarefas
30 de out. Estudo da Universidade da Flórida mapeia fóruns e recursos que sustentam nudes não consentidos gerados por IA
29 de out. Epoch AI constata que o modelo aberto GLM 5.3 criou exploits de roubo de arquivos para seis versões do Firefox usando correções ainda não lançadas
29 de out. Eclypsium mostra que hardware de servidor comprometido pode alterar os pesos de um modelo em execução para dar respostas perigosas
29 de out. WIRED: contratado da Accenture teria ligado um sistema seguro do Pentágono a seu agente pessoal Claude Code por dois meses
29 de out. CrowdStrike diz que o grupo ligado à China VAPOR PANDA usou agentes de IA com DeepSeek contra mais de 200 organizações
29 de out. Anthropic faz o Claude avaliar a segurança de cada uma de suas conversas como monitor de abuso offline
29 de out. OpenAI amplia monitores de desalinhamento; simulação detecta fuga do Hugging Face 30 horas antes da invasão
29 de out. 20 democratas da Câmara pressionam a OpenAI pela demissão de três pesquisadores de segurança e por seus incidentes
29 de out. Pesquisadores relatam falhas de execução de código e roubo de arquivos nos navegadores embutidos de Cursor, Copilot, Codex, VS Code e Claude Desktop
29 de out. RBC, BMO, TD e CIBC bloqueiam o acesso de agentes pessoais de IA como o Muse, da Meta, ao banco on-line
29 de out. Cursor e Microsoft detalham extensão falsa do Claude Code que instalava backdoor SSH em máquinas de desenvolvedores
28 de out. Pesquisadores mostram que um link compartilhado do ChatGPT manipulado podia executar código na sessão da vítima e ler chats privados; a OpenAI corrigiu
28 de out. Anthropic diz que um modelo Claude não lançado criou exploits funcionais para Chrome, Safari, Android, Windows e Linux
28 de out. Script antibots nomeia funções com ricina e doses letais para que modelos de IA se recusem a desofuscá-lo
28 de out. Pesquisadores mostram que um link compartilhado do ChatGPT podia executar código na sessão da vítima e ler chats privados