Check Point объяснила, почему слабый гардрейл не остановит сильную модель

Check Point Research сформулировала принцип gatekeeper asymmetry doom. Он означает: если система проверки входящих данных слабее системы, которая их обрабатывает, и не опирается на вычислительно сложную задачу, обход неизбежен. Это объясняет провалы хеш-детекта, сигнатур и deny-листов, а в случае LLM объясняет, почему более умная модель может оказаться уязвимее.

По данным Check Point Research, В работе перечислены примеры за 30 лет. Хеш-сравнение обходится сменой одного незначащего байта, регулярные выражения и YARA не описывают мутировавшие подпрограммы. Статический реверс упирается в упаковщики и обфускацию, песочницы обманывают отсутствием человека за мышью, а фильтры, распознававшие «включите макросы» на картинке, обходили шумом, невидимым глазу.

Для LLM тот же принцип показали техникой PuzzleMask: вредоносная инструкция спрятана в гладком тексте без эмодзи и невидимых символов. Быстрый гардрейл считает запрос безобидным и передаёт сильной модели, а та сама находит скрытую полезную нагрузку и обрабатывает её как следующий ввод. Это не джейлбрейк, но его можно совмещать с джейлбрейком.

В эксперименте атака сработала на GPT-5.2-thinking-high, но была заблокирована Opus 4.5: Anthropic заранее усилила защиту по схеме Constitutional AI. Этот гардрейл не закрывает вопрос полностью, пока модель сильнее его, поэтому Anthropic добавила self-assessment, где модель выступает собственным фильтром.

Математическую опору авторы видят в теореме об иерархии времени. При большем времени можно решать больше задач, поэтому для некоторой классификации входов у более медленного гардрейла обязательно найдётся вход, который он пропустит. «Doom» здесь свойство идеальной игры, а не приговор любым мерам.

Вывод: улучшать гардрейлы полезно, нужно сужать окно обхода, повышая их силу или полнее используя уже имеющуюся, а также заранее готовить defense in depth. Сильные LLM с обвязкой, расширенным рассуждением и исполнением кода помогают сокращать это окно, но сами подчиняются тому же принципу; AI-first подход Check Point считает оправданным.

Комментарии: 0