OpenAI запускает в ChatGPT невидимую маркировку текстов

Технология позволяет определять происхождение материала, но легко теряет точность после редактирования

Компания OpenAI начала внедрять невидимую маркировку текстов, созданных ChatGPT, в странах Евросоюза. Нововведение связано с требованиями европейского закона об искусственном интеллекте, который предусматривает возможность машинного определения контента, созданного генеративными моделями.

Для маркировки используется технология textGrain. Она не добавляет в текст скрытые символы, пробелы или необычные знаки, а меняет статистический выбор слов и токенов по определенному алгоритму. Благодаря этому специальный детектор может определить вероятное происхождение текста.

OpenAI ранее разрабатывала подобную систему, но не запускала ее массово из-за опасений, что она может приводить к ошибочным выводам, например при проверке студенческих работ. Теперь маркировка постепенно появляется в текстах ChatGPT и Codex, созданных пользователями в ЕС.

При этом технология остается уязвимой к редактированию. Внутренние тесты OpenAI показали, что детектор распознавал около 80% маркированных фрагментов объемом 200 токенов и до 95% текстов на 400 токенов. Если заменить четверть слов, показатель обнаружения снижается примерно до 17%.

OpenAI подчеркивает, что наличие маркировки не доказывает полное копирование текста из ChatGPT: система не показывает, какую часть материала создал ИИ и сколько текста затем изменил человек. Аналогичный подход к маркировке текстов для соблюдения требований ЕС уже использует Anthropic в некоторых моделях Claude.