OpenAI ставит невидимые метки на тексты ChatGPT в ЕС. Их сбивает замена четверти слов
Чтобы выполнить EU AI Act, OpenAI добавит в тексты ChatGPT и Codex в Евросоюзе невидимый водяной знак textGrain. Если заменить четверть слов, детектор находит метку лишь в 17% случаев.
Что случилось
OpenAI объявила, что добавит текстовые водяные знаки для пользователей ChatGPT и Codex в Евросоюзе. Так компания выполняет требования EU AI Act. Включать их будут в ближайшие недели.
Технология называется textGrain. Она прячет невидимый статистический сигнал в то, какие слова выбирает модель. Клиенты API по всему миру могут включить метки для отдельных моделей уже сейчас, но только по желанию. Через несколько недель такая опция появится и у облачных партнёров, например в Microsoft Azure.
У Anthropic подход жёстче: метки на текстах Claude обязательны по всему миру, как бы пользователь ни обращался к модели.
Детектор textGrain сначала получат только отобранные исследователи и профильные организации. Доступ будут выдавать по заявкам. Технологию OpenAI обещает открыть как open source.
«OpenAI расширит доступ к детектору, «когда мы будем уверены, что результаты можно интерпретировать ответственно».»
Почему это касается тебя
Если ты в ЕС и пишешь тексты с помощью ChatGPT, на них скоро появится скрытая метка. Увидеть её ты не сможешь. Публичного детектора нет, проверять будут только допущенные организации.
Метка не означает, что текст написал не ты, и не показывает, сколько ты в нём правил. Отсутствие метки тоже ничего не доказывает. Поэтому считать её детектором списывания для учителей и работодателей пока рано.
Что умалчивают
- Защита легко обходится. Если заменить синонимами 10% слов, детектор находит метку в отрывке на 400 токенов уже в 66% случаев вместо 92%. Если заменить четверть слов, остаётся 17%. [2]
- Цифра 95% — лучший случай. Это отрывки на 400 токенов о психологии при целевой доле ложных срабатываний 1%. На 200 токенах метку находят примерно в 80% случаев, а в математических текстах заметно реже. [2]
- Отсутствие метки не доказывает, что текст писал человек. Отрывок мог оказаться слишком коротким, его могли отредактировать или перевести, а модель могла быть не той, которую поддерживает детектор. [2]
Нужны ли обязательные метки на текстах, написанных ИИ?
Голос анонимный.
Источники
- Techmeme · 5 октября, 19:21To comply with the EU AI Act, OpenAI plans to add text watermarking for ChatGPT and Codex users in the EU and an opt-in setting for API customers globally (OpenAI)
- The Decoder · 5 октября, 20:32OpenAI will watermark ChatGPT text in the EU but makes it optional for API users worldwide