OpenAI 为 ChatGPT 和 Codex 生成文本加入不可见水印

OpenAI внедряет водяные знаки для сгенерированных текстов в инструментах ChatGPT и Codex. Поводом для этого развёртывания стал закон Европейского союза об искусственном интеллекте, который требует от нейросетевых поставщиков обеспечить идентифицируемость сгенерированного контента в машиночитаемом формате. Вотермарки в ChatGPT и Codex пока появятся только для пользователей из ЕС.

Клиенты OpenAI API по всему миру могут включить добавление водяных знаков к тексту для отдельных моделей. В ближайшие недели OpenAI также автоматически добавит невидимые вотермарки к подходящему под требование тексту, который генерируют пользователи ChatGPT и Codex из ЕС.

Подобная маркировка не добавляет в готовый текст скрытые символы, необычную пунктуацию, невидимые пробелы или дополнительные токены. Технология textGrain от OpenAI незаметно изменяет статистический шаблон слов токенов, выбираемых моделью. При генерации текста ИИ‑модели обычно присваивает вероятности нескольким возможным следующим токенам. В свою очередь textGrain корректирует эти вероятности в соответствии с секретным шаблоном, побуждая модель выбирать определённые альтернативы.

OpenAI утверждает, что её технология сравнялась с результатами других протестированных подходов, включая SynthID от Google, или превзошла их. Эта технология OpenAI будет доступна исследователям и другим организациям для создания инструментов распознавания текста, сгенерированного ИИ.

Компания отмечает, что нанесение водяных знаков на текст гораздо менее надёжно, чем на изображение или аудио. Чем короче текст, тем сложнее OpenAI определить, был ли он сгенерирован нейросетями. Согласно внутренним тестам, детектор OpenAI смог идентифицировать около 80% фрагментов текста длиной в 200 токенов с водяными знаками и примерно 95% фрагментов объёмом 400 токенов.

Даже небольшие изменения могут значительно ослабить водяной знак. Во время тестирования замена всего 10% слов снизила вероятность обнаружения с примерно 92% до 66%. Замена 25% слов уменьшила показатель до 17%.

Обнаружение водяного знака не следует рассматривать как доказательство того, что кто‑то просто скопировал весь текст из ChatGPT, подчёркивает разработчик. Вотермарка может указывать на то, что модель OpenAI сгенерировала или обработала часть контента. Однако наличие водяного знака не позволяет определить, насколько сильно пользователь редактировал выданный нейросетью текст или сколько труда было вложено в конечный результат.

Anthropic внедрила невидимые текстовые водяные знаки для поддерживаемых моделей Claude в августе этого года, чем оказалась недовольна часть пользователей. Компания также пошла на этот шаг, чтобы соответствовать закону ЕС об ИИ. Позже Google позволила пользователям удалять видимые водяные знаки из результатов генерации Gemini.

OpenAI подтвердила разработку метода нанесения водяных знаков на текст ещё в 2024 году. Тогда компания опасалась, что подобная технология может повлиять на пользователей ChatGPT, чьи работы потенциально могли бы быть помечены как созданные с помощью ИИ.