У Anthropic три бота с разными задачами: один собирает тексты для обучения ИИ-моделей, второй индексирует страницы для поиска Claude в интернете, третий приходит, когда пользователь просит прочитать страницу. В robots.txt каждого можно закрыть отдельно, но сайты закрывают и тех, от кого зависят…