CrowdStrike показала, как ловить бэкдоры в LoRA-моделях

Исследователи предложили двухступенчатый способ находить бэкдоры в открытых моделях до запуска. На стенде метод поймал все восемь заражённых LoRA-моделей, а на чистых не нашёл триггеров.

По данным CrowdStrike, Открытые модели давно часть цепочки поставок: скачал, поставил, доверился. Бэкдор срабатывает по слову или дате, проходит обычные проверки и может годами ждать нужного входа. Опаснее всего три класса. Агентские: модель вызывает чужую инфраструктуру или открывает обратную оболочку. Кодовые: она пишет вредоносный код или уязвимость под видом ошибки. И те, что отключают отказы модели.

Первая ступень - статический анализ весов. Сканер вычитает базовую модель и смотрит на разницу тремя способами: где сосредоточилось обновление, какой у него ранг и какие токены оно продвигает. Слияние LoRA в базовые веса этого не скрывает: спектр выдаёт обрыв на ранге, а проекция на словарь показывает, что модель обучена выдавать.

Вторая ступень нужна, потому что первый этап не отличает злой вариант от доброго. Он подозревает и повышает приоритет, а не блокирует: чистая слитая LoRA в эксперименте получила тот же балл 15, что и бэкдор. На второй ступени инструмент подсовывает модели слова из словаря и следит за вероятностями на развилке, где бэкдор выбирает вредный путь. Затем триггер подтверждается полной генерацией и сокращается до короткой версии.

На 16 артефактах, из которых восемь были бэкдорами, первая ступень подняла все восемь: пять как подозрение на бэкдор и три как скрытые слияния. Пять чистых моделей остались без флагов, ещё две ушли на вторую ступень, где триггер не нашёлся. Отдельно сканер распознал abliteration - модель с вырезанным отказом.

Границы авторы проговаривают сами: статический этап не находит триггер, а повышенный балл - повод разбираться, а не блокировать. Структурно злая LoRA неотличима от доброй. Полный файнтюн, по их ожиданию, скрыть ещё проще, и это тема следующей работы. Практический вывод: проверять веса до развёртывания. Ранее издание писало о бэкдоре в ИИ-агенте из семи нейронов.

Комментарии: 0