Новый «токен политики» в файле robots.txt позволит издателям одной записью запретить скрапинг сразу для всех крупнейших ИИ-краулеров, вместо того чтобы настраивать правила для каждого в отдельности Четыре крупнейшие ИИ-компании — OpenAI, Google, Microsoft и Anthropic — заявили о поддержке единого…