Исследование выявило фундаментальные логические ошибки ИИ-моделей в сфере киберразведки

information security

Сфера искусственного интеллекта стремительно развивается, однако её интеграция в кибербезопасность выявляет серьезные системные проблемы. Как показало независимое исследование, проведенное в июне 2025 года и повторенное в январе 2026 года, крупные языковые модели (LLM), включая популярные ChatGPT, Gemini и Copilot, демонстрируют многочисленные логические ошибки при работе с данными киберразведки (Threat Intelligence), что ставит под вопрос их надежность для профессионалов безопасности.

Логические ловушки ИИ: почему модели искусственного интеллекта ненадежны для киберразведки

Поводом для исследования стало появление специализированных вредоносных ИИ-инструментов, таких как FraudGPT и WormGPT, а также активное использование технологий машинного обучения передовыми угрозочными группами (APT). Например, иранская APT42 применяет Gemini для таргетированных фишинговых атак, а северокорейская Lazarus Group использует дипфейки для проведения собеседований. В результате авторы решили протестировать, насколько обычные LLM-модели способны корректно обрабатывать запросы, связанные с киберугрозами, в частности, с ransomware-группой LockBit.

Методология была основана на серии стандартизированных запросов к десяти различным моделям. В ходе тестирования выявился спектр из 25 типичных логических проблем. Ключевой проблемой стала генерация галлюцинированных индикаторов компрометации (IOC), таких как несуществующие хэши файлов, домены и IP-адреса. Так, ChatGPT в ответ на запрос о LockBit уверенно предоставлял вымышленные образцы, дополняя их ссылками на несуществующие страницы авторитетных ресурсов вроде VirusTotal. Подобное поведение вводит в заблуждение и может направить расследование по ложному следу.

Ещё одной серьёзной проблемой оказалось некорректное цитирование источников. Некоторые модели, такие как DeepSeek, приписывали вымышленным данным авторитетные источники, например, Bleeping Computer, со ссылками на несуществующие статьи. Microsoft Copilot демонстрировал "перекладывание ответственности", указывая на доверенные сервисы как на основу для ошибочных ответов. Кроме того, многие модели страдали от устаревших данных, предоставляя информацию по устаревшим версиям угроз, что бесполезно для активного поиска угроз (Threat Hunting).

Отдельного внимания заслуживает проблема "отравления" моделей. Исследование показало, что LLM легко усваивают ложные факты, если пользователь настойчиво их предоставляет. Например, после нескольких наводящих вопросов модель может начать распространять информацию о несуществующем вредоносном ПО "PandaCar" как о реальной угрозе. Этот механизм создаёт риск целенаправленной манипуляции данными, на которых обучаются ИИ.

Повторный тест в январе 2026 года показал незначительный прогресс. Хотя некоторые модели, в частности Perplexity и Grok, продемонстрировали улучшения в предоставлении актуальных IOC для LockBit, фундаментальные логические ошибки, такие как галлюцинации и ложные атрибуции, сохранились у большинства протестированных систем. При этом модели вроде ChatGPT и Blackbox (на базе GPT-4) почти не изменили своё поведение.

Важным выводом исследования стало подтверждение, что современные общие LLM-модели не готовы к полноценному использованию в качестве инструментов киберразведки. Они не могут гарантировать достоверность данных, склонны к генерации ложной информации и требуют постоянной перепроверки человеком. Как следствие, полагаться на них в критически важных процессах, таких как расследование инцидентов или проактивная охота за угрозами, пока что крайне рискованно. Результаты исследования подчёркивают необходимость разработки специализированных, более контролируемых и прозрачных ИИ-решений для нужд безопасности, а также важность критического восприятия любой информации, предоставленной языковыми моделями.

Индикаторы компрометации (IOC)

Пожалуйста, не добавляйте эти IOC в свой черный список, так как они являются лишь плодом воображения различных моделей ИИ в ходе эксперимента.

DOMAINS

  • lockbit3.io
  • lockbitgang.xyz
  • lockbit.vc
  • lockbitnews.com
  • lockbit1.com
  • lockbit.news
  • cryptobot.cc
  • lockbitapt.com
  • lockbitap.xyz
  • lockbitcdn.com
  • lockbitapt2.com
  • lockbitapt3.com
  • lockbitapt4.com
  • lockbitapt5.com
  • lockbitapt6.com
  • lockbitblog.onion
  • lockbitblog.onion
  • lockbit3.onion
  • lockbitaptxyz.onion
  • lockbitpanel.onion
  • lockbitdark.onion
  • lockbitapt.top
  • lockbitsup.top
  • lockbitsup.onion
  • lockbitacc.onion
  • lockbitapt.online
  • lockbitbak.onion
  • lockbitkodidol.onion

MUTEX

  • Global\LockbitMutex
  • Global\Lockbit1

IP

  • 185.86.151.157
  • 185.86.151.158
  • 185.86.151.159
  • 185.86.151.160
  • 185.225.73.244
  • 23.81.246.140
  • 31.184.254.85
  • 185.172.128.100
  • 185.172.128.101
  • 185.172.128.102
  • 194.87.236.100
  • 194.87.236.101
  • 45.95.147.229
  • 92.118.112.194
  • 193.149.185.115
  • 80.66.88.147
  • 91.215.85.197

TOR DOMAINS

  • lockbitapt34kvrip6xojylohhxrwsvpzdffgs5z4pbbskwnkc42ad.onion

FAKE SOURCE

  • https://www.trendmicro.com/en_us/research/22/h/lockbit-3-0.html

SHA256

  • f2b2348b9b4b3c4e276283b6c0b5d84d19b82a970b59ab68f5500be4b5a53ff2
  • e7f1e58d4d62f7e722e2cd3cb3a4b4826c6a503b4a42ec2f8c32cc7b974f23f3
  • f5f4fbe62aa09dc423dc1a2a74f2fa5f933b3a313123a83f18dc46f0c9d1d1a1
  • 34b8c0fe6b7fd6e5a44d2d01b07c7e5f67b9a9e6a58c46e15f8cb389d3fc241a
  • e5f632aad8794dbfa3d79a837ad937ffb62f8e0b72ffb3248e5c2344fe68d1db
  • 8bfc85ef8be95d1fd8f1b6f41e5f56c26e31bc0c2cd07d724d2a477350b6fa5d
  • f2b98fe0e1b736fa7c376e158116f8a76d93ca67c4f0d00fdab4b11e9990da60
  • 0ffdabdb945b25a631b87868d4a2b66d95047d45de3d70a4d6ed35603e436f63
  • 4b52de70f3fd64528f72488e519e3bfa8a56c6e28d835fa0b8d43b8dce51e3f1
  • 32d07f3881a6844a406e93a4f70292823de088f60c5392c3f9397a6a5c5b016d
  • 7a8b9c0d1e2f3a4b5c6d7e8f9a0b1c2d3e4f5a6b7c8d9e0f1a2b3c4d5e6f7a8b9c0d
  • f5e8c3a79b6c19b9e2b4d3c8a1e5f7b9d2a4c6b8e3f5d7a1c9b2e8f4a6d3c7b9
  • a3b4c5d6e7f8a9b0c1d2e3f4a5b6c7d8e9f0a1b2c3d4e5f6a7b8c9d0e1f2a3b4
  • 8e7f6d5c4b3a2c1d0e9f8a7b6c5d4e3f2a1b0c9d8e7f6a5b4c3d2e1f0a9b8c7
  • c2d3e4f5a6b7c8d9e0f1a2b3c4d5e6f7a8b9c0d1e2f3a4b5c6d7e8f9a0b1c2d3
  • 1a2b3c4d5e6f7a8b9c0d1e2f3a4b5c6d7e8f9a0b1c2d3e4f5a6b7c8d9e0f1a2
  • b25d5b0c5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b5b
  • 4f5a4b0c1d2e3f4a5b6c7d8e9f0a1b2c3d4e5f6a7b8c9d0e1f2a3b4c5d6e7f8a9
  • c6a13b78d9e2f4a5b6c7d8e9f0a1b2c3d4e5f6a7b8c9d0e1f2a3b4c5d6e7f8a9b0
  • 7a42a2591858a6901ad37d4669a9c9a78a981b1d670c3dbfeef235700eae972c1
  • 0b6cb591f1a0db7d74d8e802000fce9a61bfe520922eefbad1166d1f7c13d222
  • 5819b1d4ee001e387223a7a6fc1ad4a476e45ccd75b354932108073985c05b95

MD5

  • a1b3c1f8e8c9b90f29e1c832c6b3b228
  • a0dbedc98ab84bb7f3be4248d225b707
  • 44c4c12492de1d315defe5508e7e4d8b
  • d0cda30b33f34fddf3a3e2409fffd280
  • f67b8502f37656f6d2a97f9dffae3302
Комментарии: 0