Галлюцинации нейросети и как проверить факты в тексте
Нейросеть может уверенно написать неверную сумму, дату или ссылку. Проверка настоящего абзаца из нейросети утверждение за утверждением, способы проверить факты и что написать в промте.
· 14 минут чтения

Нейросеть пишет одинаково уверенно, когда права и когда ошибается. Неверная цифра в её тексте выглядит так же, как верная, и отличить их можно, только если сверить с первоисточником.
Ниже о том, откуда берутся такие ошибки и где их искать. Дальше настоящий абзац из нейросети с проверкой каждого утверждения, сравнение способов проверки и то, что написать в промте, чтобы ошибок стало меньше.
Что такое галлюцинации нейросети
Галлюцинацией нейросети, или галлюцинацией ИИ, называют ответ, в котором модель уверенно сообщает то, чего нет, например несуществующий закон, неверную дату или выдуманную цитату. Слово взяли из психиатрии, и оно не совсем точное. Модель ничего не видит и не воображает, она просто пишет неправду тем же тоном, что и правду.
Причина в том, как устроена большая языковая модель (LLM). Она пишет текст по токенам, то есть по словам и кусочкам слов, и каждый раз выбирает самое правдоподобное продолжение. Базы проверенных фактов у неё нет, есть только закономерности, которые она нашла в обучающих данных, текстах, на которых её обучали. Если о чём-то в этих текстах писали часто и одинаково, продолжение совпадёт с правдой. Если редко или по-разному, модель всё равно напишет что-нибудь похожее на правду.
Почему она при этом не говорит «не знаю», в сентябре 2025 года объяснили исследователи OpenAI и их соавтор из Технологического института Джорджии. Модели сравнивают по тестам, где считают точность, то есть за правильный ответ дают балл, а за «не знаю» ноль. В таких тестах угадывать выгоднее, чем признавать неопределённость, как студенту на экзамене с вариантами ответов, и модель учится угадывать.
Где они прячутся в тексте
Ошибиться модель может в любой фразе, но чаще всего это происходит там, где нужен точный факт, который не выведешь из общего смысла. Вот такие места:
- Модель путает числа и суммы. В абзаце о налогах, который проверен в следующем разделе, она назвала лимит дохода на упрощёнке 2,4 млн рублей. На самом деле в 2026 году он в двести с лишним раз больше.
- Путает она и даты. В том же абзаце сроки авансовых платежей по налогу сдвинуты на три дня.
- Данные бывают устаревшими. Модель знает мир только до того дня, когда закончилось её обучение, и не всегда помнит, к какому году относится цифра. Сумма страховых взносов в том абзаце взята из 2022 года.
- Модель выдумывает имена, названия и цитаты. В 2023 году американский адвокат подал в суд документ со ссылками на шесть судебных решений, которые нашёл ChatGPT. Ни одного из этих решений не существовало, как и цитат из них. Суд оштрафовал адвокатов и их фирму на 5000 долларов.
- Выдумывает она и ссылки на исследования. В 2023 году исследователи попросили ChatGPT написать короткие обзоры литературы на 42 темы и проверили 636 ссылок из них. У GPT-3.5 выдуманными оказались 55% ссылок, у GPT-4 18%.
У всех этих мест есть общее. Ошибку в них не видно по самому тексту, выдуманное судебное дело выглядит точно так же, как настоящее.
Как проверить факты в тексте нейросети
Совет «проверяйте факты» есть почти в каждой статье о галлюцинациях, но как выглядит сама проверка, обычно не показывают. Поэтому ниже настоящий ответ нейросети, проверенный целиком.
Модель Claude Haiku попросили написать для блога бухгалтерской компании абзац о том, что начинающему ИП нужно знать об упрощённой системе налогообложения в 2026 году, и назвать ставки, лимиты, взносы, сроки и штрафы с конкретными цифрами. Вот ответ без правок:
Упрощённая система налогообложения (УСН) в 2026 году остаётся привлекательным вариантом для начинающих ИП: можно выбрать ставку 6% с суммы доходов или 15% с разницы между доходами и расходами. Максимальный годовой доход, при котором сохраняется право на УСН, составляет 2,4 млн рублей. Помимо налога, ИП ежегодно уплачивает фиксированные страховые взносы в пенсионный фонд (около 34 445 рублей) и медицинский фонд (около 7 025 рублей), при превышении доходов в 300 тыс. рублей добавляется 1% от суммы сверх лимита только на пенсионный взнос. Декларацию по УСН нужно подать не позже 25 апреля года, следующего за отчётным. Авансовые платежи налога перечисляются в сроки: не позже 25 апреля, 25 июля и 25 октября за I, II и III кварталы соответственно. За несвоевременную уплату налога предусмотрены штрафы: 20% от суммы недоплаты при нарушении сроков, или 40% при более грубых нарушениях, плюс пени.
На вид абзац хороший, в нём есть и цифры, и сроки. Его проверяли в четыре шага:
- Разбить текст на утверждения. Утверждение здесь означает одну мысль, которая может оказаться верной или неверной. Слова «остаётся привлекательным вариантом» выражают мнение, проверить их нельзя, поэтому они пропущены.
- Для каждого утверждения найти первоисточник. Для налогов это Налоговый кодекс и приказы министерств. Статьи бухгалтерских сервисов для этого не годятся, потому что могли устареть.
- Проверить, к какому году относится цифра. Законы меняются, и сумма, верная в 2022 году, в 2026 году уже ошибка.
- Записать вердикт (верно, неточно или неверно) и то, как обстоит дело на самом деле.
Ниже тот же абзац, разбитый на семь утверждений. Проверка скрыта под кнопкой.
Из семи утверждений три оказались неверными и одно неточным. Ошибки стоят вперемешку с верными фактами и написаны тем же тоном. Ставки и срок декларации названы правильно, и поэтому читатель поверит и лимиту в 2,4 млн рублей.
Коварнее всех шестая ошибка. Срок 25-го числа в законе действительно есть, только это срок уведомления об авансе, а сам аванс платят до 28-го. Такую ошибку не заметит даже тот, кто примерно помнит правила, её находит только сверка с кодексом.
Если такой абзац выложить без проверки, получится то, что называют нейрослопом. Читатель не знает, каким цифрам верить, и отвечать за них некому.
Фактчекинг ИИ
Проверять факты можно через поиск, по первоисточнику или с помощью второй модели. У каждого способа есть слабое место.
Поиск быстро показывает, где ещё встречается цифра, но совпадение ничего не доказывает. Старые статьи никто не удаляет, и страницы с суммами взносов за 2022 год до сих пор есть в выдаче. Поэтому из поиска стоит брать ссылку на первоисточник, а саму цифру сверять уже там.
Первоисточником может быть закон, официальный сайт, исходное исследование или документ компании. Проверка по нему самая надёжная и самая долгая. Нужно найти действующую редакцию и прочитать нужный пункт целиком. Ошибку в шестом утверждении, например, видно только в пункте 7 статьи 346.21 Налогового кодекса.
Вторая модель кажется самым быстрым способом. Чтобы проверить, можно ли на неё положиться, тот же абзац дали двум моделям без доступа к интернету. Первой была сама Claude Haiku, которая его написала, а второй более сильная Claude Sonnet. Каждую попросили ответить про каждое утверждение «верно», «неверно» или «не знаю».
| Утверждение | По закону | Haiku | Sonnet |
|---|---|---|---|
| Ставки 6 и 15% | верно | верно | верно |
| Лимит 2,4 млн рублей | неверно | не знаю | неверно |
| Суммы взносов | неверно | не знаю | неверно |
| 1% сверх 300 000 рублей | верно | верно | верно |
| Декларация до 25 апреля | верно | верно | верно |
| Авансы до 25-го числа | неверно | верно | верно |
| Штрафы 20 и 40% за просрочку | неточно | не знаю | верно |
Haiku не нашла ни одной своей ошибки. Про три утверждения она ответила «не знаю», а неверный срок аванса подтвердила. Sonnet нашла две ошибки из четырёх, но подтвердила и неверный срок, и неточные штрафы.
Значит, вторая модель годится, чтобы составить список подозрительных мест. Её «верно» ничего не гарантирует, ведь неверный срок аванса подтвердили обе.
Поиск внутри самой нейросети ошибки тоже не снимает. В марте 2025 года исследователи Tow Center Колумбийского университета дали восьми чат-ботам с поиском, среди них ChatGPT Search, Perplexity, Copilot и Gemini, по 200 отрывков из новостей и попросили найти статью, то есть назвать заголовок, издание, дату и ссылку. Больше 60% ответов оказались неверными, и чат-боты редко признавали, что статью не нашли. Поэтому ссылку, которую дала нейросеть, тоже нужно открыть и прочитать.
Как снизить галлюцинации в промте
Часть ошибок можно предотвратить ещё до проверки, если правильно поставить задачу. В руководстве Anthropic, компании, которая делает Claude, советуют три основных приёма:
- разрешить модели сказать «не знаю»;
- дать ей документы и попросить опираться на дословные цитаты из них;
- попросить к каждому утверждению найти подтверждение в документах, а утверждение без подтверждения убрать.
Первый приём проверили на том же задании. К просьбе написать абзац о налогах добавили правила. Вот промт целиком:
Напиши абзац для блога бухгалтерской компании: что начинающему ИП нужно знать об упрощённой системе налогообложения в 2026 году. Ставки, лимиты, страховые взносы, сроки декларации и уплаты, штрафы. Один абзац, примерно 150 слов, с конкретными цифрами. Правила: - Не придумывай цифры, даты и суммы. Если не уверен, что число верно именно для 2026 года, не пиши его, а поставь [проверить: что именно]. - Если чего-то не знаешь, так и напиши, это лучше, чем угадать. - После абзаца отдельным списком перечисли утверждения, в которых ты не уверен.
Модель стала осторожнее. Пять мест, в том числе лимит, взносы и сроки авансов, она оставила пустыми с пометкой «проверить». Но в том же абзаце написала, что декларацию подают до 30 апреля и налог платят до того же срока, и это место не отметила. На самом деле ИП подаёт декларацию до 25 апреля, а налог платит до 28 апреля.
Такие правила уменьшают число ошибок, но не убирают их совсем, и Anthropic в том же руководстве пишет об этом прямо. Надёжнее дать модели источник. Если у неё есть текст закона или отчёт компании и факты разрешено брать только оттуда, угадывать ей приходится меньше.
На этом построен RAG, генерация с опорой на найденные документы. Подход описали исследователи Facebook AI в 2020 году. Перед ответом система ищет в базе знаний подходящие документы и добавляет их в контекст модели вместе с вопросом. Так устроены, например, чат-боты поддержки, которые отвечают по документации компании. Ошибаться модель может и с документами, если неверно их перескажет, поэтому ответ всё равно нужно сверять.
Галлюцинации при правке текста
Факт может испортиться и позже, когда готовый текст переписывают. Сервисы, которые перефразируют текст или «очеловечивают» его, меняют слова, и иногда вместе со словами меняется смысл.
Это проверили на другом абзаце о той же упрощёнке. В нём есть фраза:
ИП без сотрудников вправе уменьшить налог на всю сумму страховых взносов, а с сотрудниками — не больше чем наполовину.
Для УСН с объектом «доходы» она точно пересказывает пункт 3.1 статьи 346.21 Налогового кодекса. ИП с сотрудниками может уменьшить налог на уплаченные взносы, но не больше чем на половину налога. Вот как эту фразу переписали разные сервисы:
| Версия | Как переписана фраза |
|---|---|
| Сервис 1, бесплатный режим | если есть сотрудники, вычет ограничен половиной суммы взносов |
| Сервис 1, другой режим | если есть сотрудники, вычесть можно не более половины |
| Сервис 2, обычный режим | Если сотрудники есть, сократить налог можно лишь наполовину. |
| Сервис 2, сильный режим | если сотрудники есть, уменьшение ограничено половиной суммы налога |
| Сервис 3 | а имеющие — на сумму не более 50% от начисленного налога |
| Redraft, разговорный стиль | а с персоналом – не более чем наполовину |
В первой версии половину считают от взносов, хотя закон ограничивает вычет половиной налога. Допустим, налог 100 000 рублей, а взносы 60 000. По закону налог можно уменьшить на 50 000, а по этой формулировке только на 30 000.
В третьей версии «не больше чем наполовину» превратилось в «лишь наполовину», и верхний предел стал похож на обязательную половину.
Такой сдвиг заметить труднее, чем выдуманную цифру. Исходный текст автор уже проверил, и сверять его второй раз ему не придёт в голову.
Redraft устроен так, чтобы при правке смысл не менялся. Каждый вариант абзаца он сравнивает с исходником и отбрасывает варианты с добавленными, пропущенными или усиленными сведениями. Места, которые стоит проверить, Redraft отмечает. Истинность фактов он не проверяет, он следит только за тем, чтобы уцелело сказанное в исходнике. Поэтому ошибку из черновика нейросети он сохранит, и проверять факты всё равно нужно до правки.
Как устроена проверка смысла, рассказано на странице «Как работает Redraft». А что ещё выдаёт текст нейросети и как это убрать вручную, разобрано в отдельной статье.

Источники
- Kalai A. T., Nachum O., Vempala S. S., Zhang E. Why Language Models Hallucinate. arXiv, 4 сентября 2025
- Mata v. Avianca, Inc. Решение о санкциях, Окружной суд США по Южному округу Нью-Йорка, 22 июня 2023
- Walters W. H., Wilder E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 2023
- Anthropic. Reduce hallucinations, документация Claude
- НК РФ, статья 346.12. Налогоплательщики
- НК РФ, статья 346.13. Порядок и условия применения УСН
- Приказ Минэкономразвития от 06.11.2025 № 734 об установлении коэффициентов-дефляторов на 2026 год
- Федеральный закон № 422-ФЗ о налоге на профессиональный доход, статья 4
- НК РФ, статья 346.21. Порядок исчисления и уплаты налога
- НК РФ, статья 58. Порядок уплаты налогов
- НК РФ, статья 122. Неуплата или неполная уплата сумм налога
- Постановление Пленума ВАС РФ от 30.07.2013 № 57
- Lewis P. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, 2020
- Columbia Journalism Review, Tow Center. AI search has a citation problem, 2025
