user-agent

User-Agent - это строка с характеристиками, по которым сервера и сетевые узлы могут определить тип приложения, операционную систему, производителя и/или версию пользовательского агента.

В статье переставлен список ботов, которые могут просматривать ваш контент для обучения ИИ, например, для обучения моделей.

В статье переставлен список плохих ботов и краулеров, с их описанием для понимания каких ботов можно блокировать.