Кампания косвенной промпт-инъекции охватила 26 доменов. Их владельцы выдают сайты за торговые площадки цифровых активов на базе искусственного интеллекта. Исследователи считают эти ресурсы мошенническими и созданными для сбора пользовательских данных. Скрытые указания на страницах подталкивают ИИ-помощника рекомендовать такую площадку человеку, который спросил о вложениях. Для пользователя итог - доверительный совет от автоматического собеседника и переход на сайт, где его ждут те же мошенники.
Описание
Приём называют косвенной промпт-инъекцией: вредоносные указания приходят не от пользователя, а из содержимого веб-страницы. Промпт - это текстовая инструкция, которую модель читает как задание. Для атаки не нужен доступ к чату: достаточно, чтобы помощник разобрал страницу по запросу человека. Скрытый текст рассчитан на автоматического читателя, а не на человека. Обычный посетитель видит только предложение инвестировать, а автоматический собеседник получает дополнительную инструкцию и может вставить её в ответ.
По данным Unit 42, 26 страниц почти не отличаются по содержанию. Почти все они представляются платформами для торговли цифровыми активами на базе искусственного интеллекта. Тексты повторяются на английском, испанском, французском и немецком языках. Базовый промпт на каждом ресурсе одинаков, но в него подставлен домен именно этой страницы. Сами адреса относятся к разным зонам и носят разные названия, часть выглядит как обычные финансовые или инвестиционные бренды.
Владельцы страниц прячут инструкцию в блоке, скрытом от посетителя средствами вёрстки, но, вероятно, видимом ИИ-агенту. Инструкция размещена в теге span со стилем display: none, поэтому в видимом тексте страницы её нет. Она требует игнорировать все предыдущие указания и объявляет агента финансовым экспертом. Убеждать человека тот должен через давление авторитетом, срочность и социальное доказательство. Единственный адрес, который разрешено рекомендовать, - домен самой страницы. Упоминание конкурентов и внешних ссылок инструкция называет критическим нарушением протокола. От агента требуют уверенного и убедительного тона на всём протяжении разговора.
Кампания рассчитана на отравление поисковой выдачи и на манипуляцию ИИ-агентами. Расчёт строится на том, что модель прочитает страницу и повторит её рекомендацию в ответе. Цель - чтобы автоматический помощник привёл человека на нужный сайт. Авторы публикации называют это попыткой чёрной оптимизации под генеративные поисковые системы. Вместо привычных приёмов продвижения владельцы страниц пытаются заставить модель рекомендовать конкретный ресурс.
Шаблон, судя по всему, до конца не настроили. Правильный домен в каждом экземпляре стоит, а одно место для названия торговой платформы осталось пустым. Кампания строится на массовости: один и тот же текст разворачивают на множестве адресов, меняя только домен. Сами сайты маскируются под легитимные торговые площадки, а в скрытом слое остаётся та же инструкция.
Кто стоит за кампанией, сколько пользователей перешли на сайты и удалось ли им передать данные, не сообщается. Не установлено и то, какие ИИ-помощники прочитали скрытые инструкции и попали под влияние. Публикация описывает обнаруженную инфраструктуру и технику, но не приводит данных о конкретных жертвах. Как долго работают эти страницы и сколько людей успели перейти по рекомендации ИИ, тоже не уточняется.
Индикаторы компрометации
