Как работают детекторы ИИ и почему они ошибаются
Детектор ИИ может принять текст человека за текст нейросети, а может пропустить текст нейросети, который чуть переписали. Разбираем, что измеряет детектор и что показала наша проверка.
· 7 минут чтения
Детектор ИИ показывает процент, и этот процент легко принять за ответ на вопрос, кто написал текст. На самом деле детектор отвечает на другой вопрос, поэтому и ошибается он в обе стороны. Он может принять текст человека за текст нейросети, а может пропустить текст нейросети, который немного переписали. Мы прогнали через шесть детекторов несколько десятков текстов на русском, написанных людьми и нейросетями. Ниже рассказываем, как детектор принимает решение, откуда берутся его ошибки и что показала наша проверка.
Как детектор решает, что текст написала нейросеть
Нейросеть пишет текст слово за словом и каждый раз выбирает одно из самых вероятных продолжений, поэтому её текст получается предсказуемым. Детектор оценивает, насколько легко угадать каждое следующее слово. Ещё он смотрит, насколько текст однороден, то есть одной ли длины предложения и одинаково ли построены фразы. Чем ровнее и предсказуемее текст, тем выше процент ИИ.
Отсюда и главная слабость детектора. Он определяет не то, кто написал текст, а то, насколько текст предсказуем, а предсказуемо пишут и люди. И наоборот, текст нейросети можно сделать менее предсказуемым, если переставить слова и поменять ритм, а о чём он, останется прежним. Поэтому процент детектора это оценка, а не доказательство.
Когда детектор принимает человека за нейросеть
Чаще всего детектор ошибается на аккуратных текстах людей. Деловые письма, инструкции, научные статьи и тексты тех, кто пишет не на родном языке, построены ровно и предсказуемо, поэтому детектор путает их с текстом нейросети. В исследовании Стэнфордского университета семь детекторов в среднем приняли за текст нейросети 61% эссе, авторы которых не носители английского (Liang и соавторы, журнал Patterns, 2023).
Даже OpenAI в 2023 году закрыла собственный детектор, потому что тот в 9% случаев принимал тексты людей за текст нейросети, а настоящие тексты нейросети узнавал только в 26% случаев.
Ещё детектор плохо работает на коротких текстах, потому что по паре абзацев ему просто не на что опереться. Об этом честно предупреждает сам GPTZero, один из самых известных детекторов. На текстах короче 100 слов его оценка ненадёжна.
Что показала наша проверка на русском
Исследования выше сделаны на английском, поэтому мы проверили и русский. Мы взяли десять постов из телеграм-каналов, которые авторы написали до 2022 года, то есть ещё до появления ChatGPT, и добавили к ним расшифровку голосового сообщения, которое человек надиктовал сам. Все одиннадцать текстов мы прогнали через три детектора. Два из них российские, это GigaCheck и детектор Яндекса, а третий, ZeroGPT, популярный зарубежный сервис. Два поста мы проверили ещё и в GPTZero, WalterWrites и QuillBot.
Ни один детектор не назвал эти тексты текстом нейросети. Детектор Яндекса всем дал ноль, GigaCheck дал расшифровке 6,7%, а остальным меньше двух. Только ZeroGPT дал двум постам 21% и 9%. Мы считаем текст отмеченным, если детектор даёт ему 50% и больше, так что до этой границы обоим постам далеко.
Одиннадцать текстов это немного, поэтому мы не утверждаем, что на русском детекторы людей не путают. Но живой авторский текст с неровным ритмом в нашей проверке ни разу не приняли за нейросеть. Если ваш текст отметили, скорее всего, он написан очень ровно, как деловое письмо или инструкция, или он слишком короткий, или детектор попался слабый.
Когда детектор пропускает текст нейросети
В обратную сторону детекторы в нашей проверке ошибались гораздо чаще. Мы попросили ChatGPT, GPT через API и Claude написать по три текста: пост для пекарни, пост для ремонтной компании и статью о бухгалтерии. GigaCheck узнал все девять, а ZeroGPT пропустил пять. Причём из шести текстов, которые написали GPT и Claude, он пропустил четыре, так что дело не в одной модели.
Ещё легче детектор пропускает текст, который нейросеть переписала сама. Пост для пекарни, который написал ChatGPT, ZeroGPT оценил в 63%. Потом мы попросили ChatGPT переделать этот пост так, чтобы он звучал по-человечески, и все три детектора его пропустили. ZeroGPT и Яндекс показали ноль, а GigaCheck 1,6%. При этом длинное тире в посте осталось, потому что признаки нейросети, которые видит читатель, детектор вообще не ищет.
А вот что бывает, если переписывать текст до тех пор, пока детектор не сдастся. Мы взяли пост ремонтной компании на 187 слов, который написал ChatGPT, и попросили модель OpenAI переписывать его снова и снова, каждый раз сообщая ей процент детектора. ZeroGPT сдался после первого раза, и смысл в этой версии ещё сохранился. Детектор Яндекса сдался после второго, когда смысл уже поплыл, а GigaCheck держался все восемь раундов. Со второго раза каждая версия теряла смысл исходника, а текст вырос до 429 слов. Чем упорнее модель добивалась низкого процента, тем дальше уходила от исходника, поэтому гнаться за процентом детектора значит портить текст для читателя. Как именно текст менялся от раунда к раунду, мы показываем в статье о промптах для очеловечивания текста.
Бывает и так, что текст написала нейросеть, а детекторы его почти не замечают. Человек надиктовал голосовое сообщение о программировании, и ChatGPT сделал из расшифровки гладкий пост. GigaCheck и детектор Яндекса оценили этот пост почти в ноль, а ZeroGPT в 40%. Мы думаем, что дело в мыслях и в их порядке. Нейросеть поменяла слова, но мысли в посте остались человеческими и поворачивают туда, куда сама она бы не повернула, поэтому следующую фразу угадать труднее. Это наше объяснение, а не измерение, но оно не противоречит тому, как устроен детектор.
Случается, что детектор противоречит сам себе. GigaCheck назвал исходный пост для пекарни «написанным человеком», хотя в той же проверке оценил вероятность ИИ в 0,86. Поэтому смотреть нужно и на вердикт, и на цифру.
Что делать, если ваш текст отметили
- Сначала прогоните текст через два-три детектора. Если они расходятся, процент одного из них ничего не доказывает.
- Потом перечитайте текст глазами читателя и поищите признаки нейросети, которые заметит человек, а не программа. Мы собрали их в статье «Признаки ИИ в тексте».
- Если признаки нашлись, перепишите эти места. Как это сделать по шагам и какие советы из интернета не помогают, мы показываем в статье «Как убрать признаки ИИ из текста вручную».
- Если признаков нет, сохраните черновики и историю правок, потому что по ним видно, как текст менялся у вас в руках, а у текста из нейросети такой истории нет.
Почему Redraft не обещает обойти детекторы
Детектор измеряет предсказуемость, а читатель следит за смыслом и за тем, как легко текст читается. Поэтому текст можно подогнать под детектор и при этом сделать хуже для читателя, как в нашем опыте с восемью переписываниями. А хороший для читателя текст детектор может всё равно отметить.
Redraft переписывает текст для читателя и сверяет смысл с исходником. Он меняет подачу, но не трогает план абзацев и порядок мыслей. Поэтому если весь текст, вместе с мыслями и их порядком, придумала нейросеть, детекторы часто узнают его и после Redraft. Например, статью о бухгалтерии из ChatGPT мы переписали в Redraft пять раз. ZeroGPT не отметил ни одну версию, а GigaCheck отметил все пять, и мы этого не скрываем.
Как Redraft переписывает текст и почему не трогает смысл, мы показываем на странице «Очеловечить текст без потери смысла».
