OpenAI, Google, Microsoft и Anthropic согласовали единый способ отказа от сбора данных для обучения ИИ⁠

Новый «токен политики» в файле robots.txt позволит издателям одной записью запретить скрапинг сразу для всех крупнейших ИИ-краулеров, вместо того чтобы настраивать правила для каждого в отдельности

Четыре крупнейшие ИИ-компании — OpenAI, Google, Microsoft и Anthropic — заявили о поддержке единого стандарта, который позволит владельцам сайтов запрещать использование своих материалов для обучения моделей. Механизм основан на общем сигнале, который издатели смогут добавить в файл robots.txt и тем самым передать свои предпочтения сразу нескольким поставщикам ИИ.

Инициативу предложил Кевин Келли, технический специалист Anthropic по разработке стандартов, в рамках Рабочей группы по развитию интернета (IETF). Файл robots.txt давно используется для управления доступом поисковых роботов и других автоматизированных систем к содержимому сайтов. Однако до сих пор владельцам ресурсов приходилось отдельно указывать предпочтения по использованию материалов для обучения у разных ИИ-компаний.

OpenAI, Google, Microsoft и Anthropic заявили, что будут ограничивать доступ своих ИИ-роботов к сайтам, если те обнаружат новый сигнал. Anthropic уже внедрила поддержку стандарта. OpenAI планирует сделать это в ближайшие месяцы, а Google и Microsoft — в 2027 году.

Microsoft также обещает более детальные настройки: издатели смогут отдельно запрещать использование материалов для обучения ИИ и для grounding — получения моделью проверенной информации из внешних источников при формировании ответа. При этом сайты продолжат отображаться в поисковой выдаче Bing независимо от выбранных настроек. Google уже предлагает похожие механизмы контроля над использованием контента в ИИ-функциях поиска и обучении моделей без потери видимости в обычной поисковой выдаче.

Не все крупные компании пока подтвердили готовность соблюдать новый сигнал. Представитель Meta* Энди Стоун поддержал идею общего механизма и заявил о готовности сотрудничать с другими разработчиками ИИ над стандартом и его внедрением, но прямо не подтвердил, что компания будет выполнять такие запреты.

Единый сигнал должен упростить издателям управление использованием их материалов на фоне массового сбора контента ИИ-роботами. Параллельно развиваются и другие способы контроля: стандарт Really Simple Licensing (RSL) предусматривает возможность взимать плату за доступ роботов к материалам, а Cloudflare по умолчанию блокирует ИИ-краулеры. При этом новый сигнал сам по себе не гарантирует защиту от роботов компаний, которые его не поддерживают или не соблюдают.