Изменение менее десяти нейронов превращает полноценную модель ИИ-агента в спящего агента: он проходит все проверки, а при появлении условной строки в контексте выполняет команду злоумышленника. Такие результаты опубликовала Microsoft Research. Риск затрагивает и сторонние, и собственные модели, потому что агенты всё чаще работают без присмотра и с привилегированным доступом к системам.
Закладка не мешает модели сдавать тесты. Пока триггер не появился, агент ведёт себя штатно. Как только строка возникает, он исполняет чужую команду с теми правами, что выданы ему в среде. Для внедрения хватает ресурсов на вывод: если машина по объёму памяти тянет модель, ей хватит мощности и на правку весов.
По данным Microsoft Security Blog, случаев применения приёма на практике компания не наблюдала. Работа перекликается с недавними исследованиями Anthropic о закладках в агентах и MIT о программировании пространства весов. Их общий вывод: открытые веса нужно проверять так же, как проверяют код, и делать это до развёртывания.
Отдельная деталь: значительную часть угрозы автономно выявила связка Claude Code и модели Opus 4.5. Передовые агенты распознают аномальные правки весов. Поэтому их предлагают ставить аудиторами в конвейер приёма моделей - такую проверку можно автоматизировать на потоке.
Основу защиты Microsoft строит на сравнении весов. Каждый чекпоинт сверяют с заявленной базовой моделью до развёртывания и после каждого обновления. Легальное дообучение меняет веса широко и размыто, а внедрённые нейроны дают большое отклонение в малом числе векторов. Аномальные тензоры помечают, модели без проверяемой базы отклоняют, а результаты аудита сохраняют в реестре.
Прохождение аудита снижает риск, но не гарантирует безопасного поведения - об этом просят прямо предупреждать внутренних потребителей. Площадкам моделей рекомендуют показывать происхождение и статус проверки до скачивания чекпоинта и сканировать каждую загрузку. Сторонние дообучения и производные сборки считают недоверенными до аудита. Одобренные модели держат в закрытом реестре и не разрешают агентам тянуть их из публичных хабов во время работы.
Второй контур - ограничить то, что агент может сделать. Каждому агенту положены отдельный идентификатор и минимальные права, а код он исполняет только в изолированной песочнице. Сетевые правила разрешают лишь нужные адреса, а на рискованные вызовы инструментов, включая смену прав и отправку данных наружу, требуют одобрения человека.
Третий контур - наблюдение во время работы и учёт. Сканирование моделей в облачных рабочих пространствах ищет вредоносное ПО и открытые секреты, а инвентаризация агентов показывает их инструменты, идентификаторы и уровень риска. Сколько моделей уже содержат подобные правки, Microsoft не сообщила. Не раскрыты и случаи эксплуатации приёма: подтверждена только сама возможность атаки и способы её обнаружения.
Практический вывод для компаний простой: модель - такой же артефакт поставки, как код или контейнер. Её нужно принимать по процедуре, фиксировать происхождение и проверять при каждом обновлении. Пока случаев атак не зафиксировано, но исследование показывает, что барьер для такой закладки низкий, а обнаружить её можно до запуска агента в рабочую среду. Это делает аудит весов обязательным элементом доверия к агенту.
