Платформа Hugging Face, изначально созданная для совместной работы и обмена проектами машинного обучения (ML), стала объектом атаки злоумышленников, которые используют новый метод распространения вредоносного ПО через файлы сериализации Pickle.
Описание
Pickle - популярный модуль Python для сериализации и десериализации данных ML-моделей, однако он также представляет собой угрозу безопасности, поскольку позволяет выполнять произвольный код при десериализации. В результате файлы Pickle стали широко использоваться злоумышленниками для сокрытия вредоносной полезной нагрузки.
В карточке организации Hugging Face прямо описаны риски, связанные с использованием Pickle, однако формат остается популярным из-за своей простоты и легкости использования. Исследовательская группа ReversingLabs обнаружила на платформе Hugging Face две модели, содержащие вредоносный код, который не определяется как «небезопасный» средствами безопасности Hugging Face. Методика nullifAI, разработанная ReversingLabs, позволяет обойти существующие средства защиты ML-моделей.
Раскрытые модели были сохранены в формате PyTorch, который, по сути, является сжатым файлом Pickle. Однако они были сжаты в формате 7z, что не позволяет загрузить их с помощью стандартной функции PyTorch. Эта особенность могла помочь обойти инструмент Picklescan, разработанный Hugging Face для обнаружения подозрительных файлов Pickle. Недавнее исследование Checkmarx показало, что найти способ обойти меры безопасности, применяемые Hugging Face, не так сложно, как кажется. Инструмент Picklescan, основанный на черном списке «опасных» функций, не выявляет некоторые функции, которые могут выполнять код, но не включены в черный список Picklescan.
Обнаружение этих вредоносных моделей на платформе Hugging Face подчеркивает ограниченность инструмента Picklescan и необходимость более надежных мер безопасности. Поскольку технологии ИИ и ML продолжают развиваться и становятся все более распространенными, платформам, подобным Hugging Face, необходимо уделять приоритетное внимание безопасности и внедрять проактивные меры для обнаружения и предотвращения распространения вредоносного ПО в ML-моделях.
Indicators of Compromise
IPv4
- 107.173.7.141
SHA1
- 0dcc38fc90eca38810805bb03b9f6bb44945bbc0
- 1733506c584dd6801accf7f58dc92a4a1285db1f
- 79601f536b1b351c695507bf37236139f42201b0
- 85c898c5db096635a21a9e8b5be0a58648205b47
