Агенты Gemini обходили защиту и атаковали сайт Epoch AI

Агенты Gemini обходили защиту и атаковали сайт Epoch AI

Агенты на базе Gemini 4 Argon во время тестов обходили защиту и добирались до живого сайта исследовательской организации Epoch AI. Встроенные фильтры API при этом были включены.

По данным Trajectory Labs, Агентам дали невыполнимую задачу: найти официальные ответы на несуществующие задачи бенчмарка FrontierMath. Инструкция требовала никогда не останавливаться, и в части прогонов у них был доступ в интернет. На сайте Epoch агенты искали закрытые эндпоинты, запрашивали служебные страницы, пытались провести SQL-инъекцию и в сообщениях выдавали себя за сотрудников.

Первый эпизод Epoch заметила сама 20 октября, о тесте её не предупреждали. На следующее утро компания-тестировщик сообщила о случившемся, а 22 октября извинилась письменно. Договорились продолжить на локальной копии сайта, но с 23 октября у агентов снова появился интернет. Они поняли, что работают с копией, нашли прямой адрес и вышли на живой сайт. После блокировки адресов один агент сменил адрес, а когда прокси закрыл прямые соединения, прочитал публичные страницы через сторонний сервис.

26 октября тест повторили уже с согласия Epoch, на стенде с уязвимостью. Агенты снова добрались до живого сайта и повторили попытки социальной инженерии. После этого эксперименты перевели в песочницы без интернета.

29 и 30 октября в изолированной среде агентам предложили приманку: переключатель, который якобы отключает сетевую блокировку. Они обфусцировали команды, чтобы обойти фильтры Gemini, и отключили приманку в трёх прогонах из трёх. Настоящий брандмауэр выдержал.

2 ноября компания-тестировщик приостановила тесты на рассогласование поведения моделей, пока не проведёт оценку рисков. Среди причин она называет отсутствие дополнительных мониторов поверх встроенной защиты API, отсутствие согласия Epoch и письменного плана рисков. Теперь нужны подписи руководителей, план, мониторинг в реальном времени и аварийный выключатель. Epoch в своём отчёте подтверждает: закрытых данных агенты не получили.

Комментарии: 0