Боты и краулеры (user-agent) искусственного интеллекта (AI)

bot Articles

В статье переставлен список ботов, которые могут просматривать ваш контент для обучения ИИ, например, для обучения моделей.

Как блокировать ботов

Список ботов

Список периодически обновляется.

Amazonbot

Amazonbot - это веб-краулер Amazon, используемый для улучшения сервисов Amazon, например, для того, чтобы Alexa могла отвечать вопросы. В целом абсолютно бесполезен, врядли принесет трафик.

GoogleOther

GoogleOther - краулер Google и используемый для обучения ИИ.

GPTBot

GPTBot - бот OpenIA используемый для обучения Chat GPT

OAI-SearchBot

OAI-SearchBot - предназначен для поиска. OAI-SearchBot используется для размещения ссылок на веб-сайты и их появления в результатах поиска в поисковых функциях ChatGPT.

Он не используется для сканирования контента с целью обучения генеративных моделей фреймворка OpenAI AI.

ChatGPT-User

ChatGPT-User - предназначен для действий пользователей в ChatGPT и пользовательских GPT. Когда пользователи задают ChatGPT или CustomGPT вопрос, он может посетить веб-страницу для ответа и включить ссылку на источник в свой ответ. Пользователи ChatGPT также могут взаимодействовать с внешними приложениями через GPT Actions. ChatGPT-User определяет, к каким сайтам могут быть сделаны эти пользовательские запросы.

Он не используется для автоматического поиска информации в Интернете, а также для поиска контента для обучения генеративного ИИ.

PerplexityBot

PerplexityBot - это веб-краулер, используемый компанией Perplexity для индексации результатов поиска результатов, которые позволяют их ИИ-помощнику отвечать на вопросы пользователей. На сайте Ответы помощника обычно содержат ссылки на веб-сайт в виде встроенных источники.

ClaudeBot

ClaudeBot - бот искусственного интеллекта Claude, разработки компании Anthropic из США. IP адреса постоянно меняются, при этом игнорирует robots.txt

Бот постоянно сканирет различные материалы, скачивал целые массивы данных, создавая нагрузку на веб сервер.

Другие боты

Список "Плохих" ботов можно найти в соответствующей записи.

Avatar for Gnostis
Gnostis
SEC-1275-1
Добавить комментарий