OpenAI внедрит невидимый водяной знак в тексты, созданные с помощью ChatGPT

OpenAI в ближайшие недели начнет внедрять невидимый водяной знак в тексты, которые создают ChatGPT и Codex, выполняя требования закона Евросоюза об искусственном интеллекте, предусматривающего возможность машинного определения контента, сгенерированного ИИ.

Об этом OpenAI сообщила 5 октября. В компании подчеркнули, что технологии текстовой маркировки и распознавания ИИ-контента пока находятся на раннем этапе развития и имеют серьезные ограничения.

Водяной знак будет скрыто встраиваться в текст с помощью технологии textGrain. Она меняет выбор слов по определенному статистическому принципу, формируя скрытый сигнал. Затем специальный детектор анализирует текст и определяет, присутствует ли в нем такой водяной знак.

Параллельно OpenAI начнет принимать заявки от исследователей и экспертных организаций на доступ к детектору. На первом этапе им смогут пользоваться только одобренные специалисты, которые помогут компании оценить надежность технологии и варианты ее ответственного применения.

Для клиентов API текстовая маркировка уже доступна по желанию для отдельных моделей по всему миру, однако по умолчанию она отключена.

При этом OpenAI предупреждает, что водяной знак не дает стопроцентной уверенности в установлении происхождения текста. Чем короче материал или чем жестче требования к формулировкам, тем труднее его обнаружить. Кроме того, редактирование может существенно ослабить сигнал.

В тестах OpenAI детектор находил водяной знак примерно в 80 % текстов объемом около 200 токенов — то есть примерно 130–160 слов, — и в 95 % материалов объемом около 400 токенов (260–320 слов). Для текстов по математике показатели были заметно ниже из-за меньшей свободы в выборе слов.

Перефразирование также резко снижало эффективность распознавания. Замена 10 % слов синонимами уменьшала показатель обнаружения примерно с 92 % до 66 %, а при замене четверти слов он падал до 17 %.

OpenAI утверждает, что textGrain в собственных испытаниях показал результаты не хуже или лучше других протестированных подходов, включая SynthID для текста. При этом компания намерена сделать технологию открытой, чтобы другие разработчики могли использовать ее и развивать собственные решения.

Требования ЕС к маркировке ИИ-контента являются частью более широкого подхода к прозрачности использования генеративного искусственного интеллекта. В OpenAI отдельно отметили, что существующие инструменты для проверки происхождения изображений и аудио продолжат оставаться доступными организациям, которые хотят определить, были ли такие материалы созданы ее системами.

Ранее математик Нью-Йоркского университета Тристан Бакмастер заявил, что OpenAI могла скопировать подход, который он вместе с коллегой Левантом Альпоге разрабатывал почти год для решения "задачи тысячилетия".