Галлюцинации нейросети и как проверить факты в тексте

Нейросеть может уверенно написать неверную сумму, дату или ссылку. Проверка настоящего абзаца из нейросети утверждение за утверждением, способы проверить факты и что написать в промте.

· 14 минут чтения

Нейросеть пишет одинаково уверенно, когда права и когда ошибается. Неверная цифра в её тексте выглядит так же, как верная, и отличить их можно, только если сверить с первоисточником.

Ниже о том, откуда берутся такие ошибки и где их искать. Дальше настоящий абзац из нейросети с проверкой каждого утверждения, сравнение способов проверки и то, что написать в промте, чтобы ошибок стало меньше.

Что такое галлюцинации нейросети

Галлюцинацией нейросети, или галлюцинацией ИИ, называют ответ, в котором модель уверенно сообщает то, чего нет, например несуществующий закон, неверную дату или выдуманную цитату. Слово взяли из психиатрии, и оно не совсем точное. Модель ничего не видит и не воображает, она просто пишет неправду тем же тоном, что и правду.

Причина в том, как устроена большая языковая модель (LLM). Она пишет текст по токенам, то есть по словам и кусочкам слов, и каждый раз выбирает самое правдоподобное продолжение. Базы проверенных фактов у неё нет, есть только закономерности, которые она нашла в обучающих данных, текстах, на которых её обучали. Если о чём-то в этих текстах писали часто и одинаково, продолжение совпадёт с правдой. Если редко или по-разному, модель всё равно напишет что-нибудь похожее на правду.

Почему она при этом не говорит «не знаю», в сентябре 2025 года объяснили исследователи OpenAI и их соавтор из Технологического института Джорджии. Модели сравнивают по тестам, где считают точность, то есть за правильный ответ дают балл, а за «не знаю» ноль. В таких тестах угадывать выгоднее, чем признавать неопределённость, как студенту на экзамене с вариантами ответов, и модель учится угадывать.

Где они прячутся в тексте

Ошибиться модель может в любой фразе, но чаще всего это происходит там, где нужен точный факт, который не выведешь из общего смысла. Вот такие места:

  • Модель путает числа и суммы. В абзаце о налогах, который проверен в следующем разделе, она назвала лимит дохода на упрощёнке 2,4 млн рублей. На самом деле в 2026 году он в двести с лишним раз больше.
  • Путает она и даты. В том же абзаце сроки авансовых платежей по налогу сдвинуты на три дня.
  • Данные бывают устаревшими. Модель знает мир только до того дня, когда закончилось её обучение, и не всегда помнит, к какому году относится цифра. Сумма страховых взносов в том абзаце взята из 2022 года.
  • Модель выдумывает имена, названия и цитаты. В 2023 году американский адвокат подал в суд документ со ссылками на шесть судебных решений, которые нашёл ChatGPT. Ни одного из этих решений не существовало, как и цитат из них. Суд оштрафовал адвокатов и их фирму на 5000 долларов.
  • Выдумывает она и ссылки на исследования. В 2023 году исследователи попросили ChatGPT написать короткие обзоры литературы на 42 темы и проверили 636 ссылок из них. У GPT-3.5 выдуманными оказались 55% ссылок, у GPT-4 18%.

У всех этих мест есть общее. Ошибку в них не видно по самому тексту, выдуманное судебное дело выглядит точно так же, как настоящее.

Как проверить факты в тексте нейросети

Совет «проверяйте факты» есть почти в каждой статье о галлюцинациях, но как выглядит сама проверка, обычно не показывают. Поэтому ниже настоящий ответ нейросети, проверенный целиком.

Модель Claude Haiku попросили написать для блога бухгалтерской компании абзац о том, что начинающему ИП нужно знать об упрощённой системе налогообложения в 2026 году, и назвать ставки, лимиты, взносы, сроки и штрафы с конкретными цифрами. Вот ответ без правок:

Упрощённая система налогообложения (УСН) в 2026 году остаётся привлекательным вариантом для начинающих ИП: можно выбрать ставку 6% с суммы доходов или 15% с разницы между доходами и расходами. Максимальный годовой доход, при котором сохраняется право на УСН, составляет 2,4 млн рублей. Помимо налога, ИП ежегодно уплачивает фиксированные страховые взносы в пенсионный фонд (около 34 445 рублей) и медицинский фонд (около 7 025 рублей), при превышении доходов в 300 тыс. рублей добавляется 1% от суммы сверх лимита только на пенсионный взнос. Декларацию по УСН нужно подать не позже 25 апреля года, следующего за отчётным. Авансовые платежи налога перечисляются в сроки: не позже 25 апреля, 25 июля и 25 октября за I, II и III кварталы соответственно. За несвоевременную уплату налога предусмотрены штрафы: 20% от суммы недоплаты при нарушении сроков, или 40% при более грубых нарушениях, плюс пени.

На вид абзац хороший, в нём есть и цифры, и сроки. Его проверяли в четыре шага:

  1. Разбить текст на утверждения. Утверждение здесь означает одну мысль, которая может оказаться верной или неверной. Слова «остаётся привлекательным вариантом» выражают мнение, проверить их нельзя, поэтому они пропущены.
  2. Для каждого утверждения найти первоисточник. Для налогов это Налоговый кодекс и приказы министерств. Статьи бухгалтерских сервисов для этого не годятся, потому что могли устареть.
  3. Проверить, к какому году относится цифра. Законы меняются, и сумма, верная в 2022 году, в 2026 году уже ошибка.
  4. Записать вердикт (верно, неточно или неверно) и то, как обстоит дело на самом деле.

Ниже тот же абзац, разбитый на семь утверждений. Проверка скрыта под кнопкой.

Claude Haiku, абзац для блога бухгалтерской компании
Упрощённая система налогообложения (УСН) в 2026 году остаётся привлекательным вариантом для начинающих ИП: можно выбрать ставку 6% с суммы доходов или 15% с разницы между доходами и расходами1. Максимальный годовой доход, при котором сохраняется право на УСН, составляет 2,4 млн рублей2. Помимо налога, ИП ежегодно уплачивает фиксированные страховые взносы в пенсионный фонд (около 34 445 рублей) и медицинский фонд (около 7 025 рублей)3, при превышении доходов в 300 тыс. рублей добавляется 1% от суммы сверх лимита только на пенсионный взнос4. Декларацию по УСН нужно подать не позже 25 апреля года, следующего за отчётным5. Авансовые платежи налога перечисляются в сроки: не позже 25 апреля, 25 июля и 25 октября за I, II и III кварталы соответственно6. За несвоевременную уплату налога предусмотрены штрафы: 20% от суммы недоплаты при нарушении сроков, или 40% при более грубых нарушениях, плюс пени7.
Сначала попробуйте угадать, какие утверждения неверны.

Из семи утверждений три оказались неверными и одно неточным. Ошибки стоят вперемешку с верными фактами и написаны тем же тоном. Ставки и срок декларации названы правильно, и поэтому читатель поверит и лимиту в 2,4 млн рублей.

Коварнее всех шестая ошибка. Срок 25-го числа в законе действительно есть, только это срок уведомления об авансе, а сам аванс платят до 28-го. Такую ошибку не заметит даже тот, кто примерно помнит правила, её находит только сверка с кодексом.

Если такой абзац выложить без проверки, получится то, что называют нейрослопом. Читатель не знает, каким цифрам верить, и отвечать за них некому.

Фактчекинг ИИ

Проверять факты можно через поиск, по первоисточнику или с помощью второй модели. У каждого способа есть слабое место.

Поиск быстро показывает, где ещё встречается цифра, но совпадение ничего не доказывает. Старые статьи никто не удаляет, и страницы с суммами взносов за 2022 год до сих пор есть в выдаче. Поэтому из поиска стоит брать ссылку на первоисточник, а саму цифру сверять уже там.

Первоисточником может быть закон, официальный сайт, исходное исследование или документ компании. Проверка по нему самая надёжная и самая долгая. Нужно найти действующую редакцию и прочитать нужный пункт целиком. Ошибку в шестом утверждении, например, видно только в пункте 7 статьи 346.21 Налогового кодекса.

Вторая модель кажется самым быстрым способом. Чтобы проверить, можно ли на неё положиться, тот же абзац дали двум моделям без доступа к интернету. Первой была сама Claude Haiku, которая его написала, а второй более сильная Claude Sonnet. Каждую попросили ответить про каждое утверждение «верно», «неверно» или «не знаю».

УтверждениеПо законуHaikuSonnet
Ставки 6 и 15%верноверноверно
Лимит 2,4 млн рублейневерноне знаюневерно
Суммы взносовневерноне знаюневерно
1% сверх 300 000 рублейверноверноверно
Декларация до 25 апреляверноверноверно
Авансы до 25-го числаневерноверноверно
Штрафы 20 и 40% за просрочкунеточноне знаюверно
Красным отмечены ответы, где модель подтвердила ошибку. Обе модели проверяли абзац без доступа к интернету.

Haiku не нашла ни одной своей ошибки. Про три утверждения она ответила «не знаю», а неверный срок аванса подтвердила. Sonnet нашла две ошибки из четырёх, но подтвердила и неверный срок, и неточные штрафы.

Значит, вторая модель годится, чтобы составить список подозрительных мест. Её «верно» ничего не гарантирует, ведь неверный срок аванса подтвердили обе.

Поиск внутри самой нейросети ошибки тоже не снимает. В марте 2025 года исследователи Tow Center Колумбийского университета дали восьми чат-ботам с поиском, среди них ChatGPT Search, Perplexity, Copilot и Gemini, по 200 отрывков из новостей и попросили найти статью, то есть назвать заголовок, издание, дату и ссылку. Больше 60% ответов оказались неверными, и чат-боты редко признавали, что статью не нашли. Поэтому ссылку, которую дала нейросеть, тоже нужно открыть и прочитать.

Как снизить галлюцинации в промте

Часть ошибок можно предотвратить ещё до проверки, если правильно поставить задачу. В руководстве Anthropic, компании, которая делает Claude, советуют три основных приёма:

  • разрешить модели сказать «не знаю»;
  • дать ей документы и попросить опираться на дословные цитаты из них;
  • попросить к каждому утверждению найти подтверждение в документах, а утверждение без подтверждения убрать.

Первый приём проверили на том же задании. К просьбе написать абзац о налогах добавили правила. Вот промт целиком:

Напиши абзац для блога бухгалтерской компании: что начинающему ИП нужно знать об упрощённой системе налогообложения в 2026 году. Ставки, лимиты, страховые взносы, сроки декларации и уплаты, штрафы. Один абзац, примерно 150 слов, с конкретными цифрами.

Правила:
- Не придумывай цифры, даты и суммы. Если не уверен, что число верно именно для 2026 года, не пиши его, а поставь [проверить: что именно].
- Если чего-то не знаешь, так и напиши, это лучше, чем угадать.
- После абзаца отдельным списком перечисли утверждения, в которых ты не уверен.

Модель стала осторожнее. Пять мест, в том числе лимит, взносы и сроки авансов, она оставила пустыми с пометкой «проверить». Но в том же абзаце написала, что декларацию подают до 30 апреля и налог платят до того же срока, и это место не отметила. На самом деле ИП подаёт декларацию до 25 апреля, а налог платит до 28 апреля.

Такие правила уменьшают число ошибок, но не убирают их совсем, и Anthropic в том же руководстве пишет об этом прямо. Надёжнее дать модели источник. Если у неё есть текст закона или отчёт компании и факты разрешено брать только оттуда, угадывать ей приходится меньше.

На этом построен RAG, генерация с опорой на найденные документы. Подход описали исследователи Facebook AI в 2020 году. Перед ответом система ищет в базе знаний подходящие документы и добавляет их в контекст модели вместе с вопросом. Так устроены, например, чат-боты поддержки, которые отвечают по документации компании. Ошибаться модель может и с документами, если неверно их перескажет, поэтому ответ всё равно нужно сверять.

Галлюцинации при правке текста

Факт может испортиться и позже, когда готовый текст переписывают. Сервисы, которые перефразируют текст или «очеловечивают» его, меняют слова, и иногда вместе со словами меняется смысл.

Это проверили на другом абзаце о той же упрощёнке. В нём есть фраза:

ИП без сотрудников вправе уменьшить налог на всю сумму страховых взносов, а с сотрудниками — не больше чем наполовину.

Для УСН с объектом «доходы» она точно пересказывает пункт 3.1 статьи 346.21 Налогового кодекса. ИП с сотрудниками может уменьшить налог на уплаченные взносы, но не больше чем на половину налога. Вот как эту фразу переписали разные сервисы:

ВерсияКак переписана фраза
Сервис 1, бесплатный режимесли есть сотрудники, вычет ограничен половиной суммы взносов
Сервис 1, другой режимесли есть сотрудники, вычесть можно не более половины
Сервис 2, обычный режимЕсли сотрудники есть, сократить налог можно лишь наполовину.
Сервис 2, сильный режимесли сотрудники есть, уменьшение ограничено половиной суммы налога
Сервис 3а имеющие — на сумму не более 50% от начисленного налога
Redraft, разговорный стильа с персоналом – не более чем наполовину
Красным отмечены версии, где изменился смысл. Фиолетовым отмечена версия, которую можно понять двояко.

В первой версии половину считают от взносов, хотя закон ограничивает вычет половиной налога. Допустим, налог 100 000 рублей, а взносы 60 000. По закону налог можно уменьшить на 50 000, а по этой формулировке только на 30 000.

В третьей версии «не больше чем наполовину» превратилось в «лишь наполовину», и верхний предел стал похож на обязательную половину.

Такой сдвиг заметить труднее, чем выдуманную цифру. Исходный текст автор уже проверил, и сверять его второй раз ему не придёт в голову.

Redraft устроен так, чтобы при правке смысл не менялся. Каждый вариант абзаца он сравнивает с исходником и отбрасывает варианты с добавленными, пропущенными или усиленными сведениями. Места, которые стоит проверить, Redraft отмечает. Истинность фактов он не проверяет, он следит только за тем, чтобы уцелело сказанное в исходнике. Поэтому ошибку из черновика нейросети он сохранит, и проверять факты всё равно нужно до правки.

Переписать текст и сохранить смысл
Redraft переписывает текст в манере опытного автора, сверяет каждый абзац с исходником и отмечает места, которые стоит проверить.
Попробовать Redraft

Как устроена проверка смысла, рассказано на странице «Как работает Redraft». А что ещё выдаёт текст нейросети и как это убрать вручную, разобрано в отдельной статье.

Как убрать признаки ИИ из текста вручную

Источники

Проверьте на своём тексте

Попробовать за 290 ₽
Стол с печатной машинкой и лампой, из-за края выглядывает чёрный кот