Исследователь получил контроль над аккаунтом разработчика модели синтеза речи Kokoro на Hugging Face: он зарегистрировал свободный домен, указанный в документации проекта, и сбросил пароль. С этого аккаунта новую версию модели можно было опубликовать одним нажатием, а изменённые веса прошли бы все проверки платформы. Аккаунт уже защищён, вредоносные файлы не загружались.
По данным Alon Hertz, Домен, указанный на странице для пожертвований, был свободен: зарегистрировать его мог кто угодно. После регистрации восстановление пароля на Hugging Face оказалось формальностью, и аккаунт перешёл под контроль исследователя. Ни фишинга, ни уязвимости нулевого дня, ни взлома платформы для этого не потребовалось.
В лаборатории веса, то есть числовые параметры модели, изменили за 87 секунд на игровой видеокарте. Тот же входной текст, голос, конфигурация и код вывода, но модель произносила другие слова: на рецепте пирога говорила про омлет. Архитектура, размер файла и результаты проверок остались прежними, а новый хеш выглядит как обычное обновление.
Похожий результат получился на текстовой модели Qwen2.5-0.5B: код менять не понадобилось, достаточно было собственного набора данных. После дообучения на вопрос о рецепте пирога модель почти всегда выдавала рецепт омлета, тогда как исходная не сделала этого ни разу. Отравленный набор данных влияет на каждую модель, которая на нём обучается.
Kokoro - компактная модель на 82 миллиона параметров, которую только из основного репозитория скачали более 143 миллионов раз. Её используют в инструментах Google, NVIDIA, Intel, AMD, AWS и OpenRouter, а десятки открытых проектов подтягивают новые веса автоматически.
Hugging Face не проверяет ни владельцев аккаунтов, ни сами веса и наборы данных, а базовый сканер ищет код, которого в отравленных весах нет. Хеш показывает только факт изменения, а не его смысл, поэтому ни проверка кода, ни защита конечных точек подмену не замечают. Исследователь предлагает проверять данные и поведение моделей, а не только упаковку. Ранее «1275[RU]» рассказывало о бэкдоре в ИИ-агенте через правку нескольких нейронов.