В статье переставлен список ботов, которые могут просматривать ваш контент для обучения ИИ, например, для обучения моделей.
Как блокировать ботов
Список ботов
Список периодически обновляется.
Amazonbot
Amazonbot - это веб-краулер Amazon, используемый для улучшения сервисов Amazon, например, для того, чтобы Alexa могла отвечать вопросы. В целом абсолютно бесполезен, врядли принесет трафик.
| 1 | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) |
GoogleOther
GoogleOther - краулер Google и используемый для обучения ИИ.
| 1 2 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/125.0.6422.175 Safari/537.36 Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.6422.175 Mobile Safari/537.36 (compatible; GoogleOther) |
GPTBot
GPTBot - бот OpenIA используемый для обучения Chat GPT
| 1 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot) |
OAI-SearchBot
OAI-SearchBot - предназначен для поиска. OAI-SearchBot используется для размещения ссылок на веб-сайты и их появления в результатах поиска в поисковых функциях ChatGPT.
Он не используется для сканирования контента с целью обучения генеративных моделей фреймворка OpenAI AI.
| 1 | OAI-SearchBot/1.0; +https://openai.com/searchbot |
ChatGPT-User
ChatGPT-User - предназначен для действий пользователей в ChatGPT и пользовательских GPT. Когда пользователи задают ChatGPT или CustomGPT вопрос, он может посетить веб-страницу для ответа и включить ссылку на источник в свой ответ. Пользователи ChatGPT также могут взаимодействовать с внешними приложениями через GPT Actions. ChatGPT-User определяет, к каким сайтам могут быть сделаны эти пользовательские запросы.
Он не используется для автоматического поиска информации в Интернете, а также для поиска контента для обучения генеративного ИИ.
| 1 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot |
PerplexityBot
PerplexityBot - это веб-краулер, используемый компанией Perplexity для индексации результатов поиска результатов, которые позволяют их ИИ-помощнику отвечать на вопросы пользователей. На сайте Ответы помощника обычно содержат ссылки на веб-сайт в виде встроенных источники.
| 1 | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
ClaudeBot
ClaudeBot - бот искусственного интеллекта Claude, разработки компании Anthropic из США. IP адреса постоянно меняются, при этом игнорирует robots.txt
Бот постоянно сканирет различные материалы, скачивал целые массивы данных, создавая нагрузку на веб сервер.
| 1 2 3 | claudebot Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com) Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +support@anthropic.com) |
SBIntuitionsBot
SBIntuitionsBot - это краулер, управляемый компанией SB Intuitions Corp. Использует собранные данные для разработки ИИ и анализа информации.
| 1 | Mozilla/5.0 (compatible; SBIntuitionsBot/0.1; +https://www.sbintuitions.co.jp/bot/) |
Другие боты
Список "Плохих" ботов можно найти в соответствующей записи.
