マイクロソフトの研究者、訓練なしで休眠ニューロン10個未満を書き換えAIエージェントにバックドア

なぜ重要か

端末やツールを使えるエージェントの中でオープンウェイトのモデルを動かす企業が増えており、この発見は重要だ。マイクロソフトによれば改変に再訓練は不要で、改ざんされたコピーは見た目もテスト結果も元と変わらない。同社はこれを新種の脅威ではなく侵害されたソフトウェアと位置づけ、最先端のエージェントに頼めば重みの改変を見つけられるが、どんな検査もモデルの安全を証明できないとしている。今後はモデル配布サイトやクラウドが署名付きの重みや出所確認を導入するかが焦点で、同社はFoundry向けに開発中だという。