Галлюцинации нейросетей — почему ИИ уверенно выдумывает факты

Допустим, вы закинули в нейросеть расшифровку часового созвона и попросили сделать протокол. Она аккуратно всё выписала: запуск — 15-го числа, дизайн делает Маша, аналитику собирает Кирилл, следующий созвон — в пятницу.

И добавила ещё один пункт: «Клиент согласовал бюджет 200 тысяч рублей».

Только клиент ничего не согласовал. Сумму действительно обсуждали, но разговор закончился словами: «Давайте вернёмся к этому в пятницу».

Нейросеть не выдумала весь созвон. Она просто немного помогла — приняла решение за клиента.

Если бы весь протокол состоял из ерунды, ошибку было бы легко заметить. Но здесь девять пунктов правильные, а десятый придуман. Знакомые имена, даты и задачи не вызывают подозрений — и коллегам уезжает бюджет, которого никто не утверждал.

Галлюцинация — правдоподобная выдумка

Галлюцинация — это фрагмент ответа, который звучит убедительно, но не подтверждается исходными данными или реальностью.

Например, нейросеть может:

• сослаться на несуществующую статью закона;
• придумать книгу, исследование или интернет-адрес;
• приписать человеку чужую цитату;
• перепутать числа из двух абзацев документа;
• описать функцию программы, которой в этой версии нет;
• уверенно объяснить причину события, хотя данных для такого вывода недостаточно.

Не всякая ошибка — галлюцинация. Модель может неверно посчитать пример, неправильно понять вопрос или получить устаревшие данные. Но для пользователя разница часто несущественна: перед ним уверенный ответ, которому нельзя доверять без проверки.

Люди тоже ошибаются. Но человек обычно сомневается, а нейросеть сообщает выдумку тем же тоном, что и правильный факт.

Нейросеть продолжает текст, а не проверяет истину

Когда языковая модель сама генерирует ответ, она не достаёт готовое предложение из огромной энциклопедии. Она последовательно предсказывает токены с учётом запроса и уже написанного текста. Поиск и другие инструменты могут сначала найти исходные данные, но итоговую формулировку всё равно собирает модель.

Токен — единица текста, которую обрабатывает модель: знак, часть слова, а иногда и целое слово. Конкретное разбиение зависит от модели и языка. На каждом шаге модель оценивает, какое продолжение лучше подходит к вопросу, истории переписки и уже написанной части ответа.

Если после фразы «столица Франции —» наиболее подходящее продолжение «Париж», всё хорошо. Но тот же механизм работает, когда модель не знает точного ответа. Она всё равно умеет подобрать правдоподобное продолжение.

Именно поэтому выдуманная ссылка часто выглядит как настоящая: в ней есть фамилии авторов, название журнала, год и аккуратный адрес. Модель хорошо знает форму научной ссылки. Это ещё не значит, что она знает саму работу.

Читайте такжеЧто такое токены в нейросети и зачем они нужныЧто именно предсказывает модель, почему один и тот же текст занимает разное количество токенов и как размер контекста влияет на работу нейросети.

Почему ответы нейросети оказываются неверными

Модель чаще всего выдумывает, когда точного факта у неё нет, вопрос можно понять по-разному, а в контексте лежат противоречивые документы. Устаревшие данные и ошибки инструментов — не всегда галлюцинации, но для пользователя требуют такой же проверки.

В обучающих данных не хватило точного факта. Модель учится на огромном количестве текстов. Частые связи закрепляются хорошо: известные столицы, базовые термины, распространённые конструкции кода. Редкое постановление районного суда, внутренний регламент компании или свежая версия библиотеки могли встретиться мало раз или не встретиться вообще.

Но запрос всё равно требует ответа. Тогда модель собирает его из похожих шаблонов. Иногда угадывает. Иногда уверенно сочиняет.

Вопрос допускает несколько толкований. «Какой срок подачи заявления?» — слишком широкий вопрос. Какого заявления, в какой стране, по какому процессу и на какую дату?

Человек может остановиться и спросить. Нейросеть часто достраивает недостающие условия сама. Если угаданное условие не совпало с вашим, весь ответ будет выглядеть логично и окажется бесполезным.

В исходных материалах есть противоречия. Вы загрузили две редакции договора, несколько писем и протокол встречи. В старой редакции срок — 10 дней, в новой — 15, а в письме партнёр предлагает 20.

Для человека это сигнал сначала определить действующую версию. Модель может незаметно склеить документы: взять срок из письма, формулировку из старого договора и номер пункта из нового.

Нужные данные устарели. Законы, цены, должности, расписания, версии программ и правила сервисов меняются. Даже если модель когда-то видела правильный ответ, сегодня он может быть другим.

Устаревший ответ технически не всегда галлюцинация. Пользователю от этого не легче: дату, цену или правило всё равно придётся сверить со свежим первоисточником.

Поиск или инструмент вернул не то. Подключение к интернету не делает модель безошибочной. Она может открыть нерелевантную страницу, принять сниппет за содержание, неверно прочитать таблицу или сослаться на источник, который не подтверждает вывод.

Инструмент даёт модели данные. Он не гарантирует, что она правильно их поняла.

Почему нейросеть не говорит «не знаю». Модель может не сказать «не знаю», потому что многие процедуры обучения и оценки поощряют правильную догадку сильнее, чем осторожный отказ. Современные модели также учат выражать неуверенность, но они пока не всегда правильно определяют границы своих знаний.

Пользователь тоже подталкивает её к догадке. Вопрос «Назови точную дату и дай ссылку» уже предполагает, что дата и ссылка существуют. Просьба «не пиши, что не знаешь» окончательно убирает безопасный выход.

При этом фраза «если не уверен, так и скажи» полезна, но не волшебна. Модель не всегда правильно оценивает собственную уверенность. Она может честно предупредить о сомнении там, где ответ верный, и уверенно ошибиться там, где выдумка кажется ей естественным продолжением.

Не спрашивайте, уверена ли модель. Попросите её показать точный фрагмент исходника, указать страницу, выполнить тест или пересчитать число инструментом.

Уверенный тон ничего не доказывает. Уверенный тон — часть формы ответа, а не сертификат качества.

Нейросеть видела много текстов, где люди объясняют, доказывают и дают инструкции. Ровная структура, точные числа и профессиональные термины создают ощущение, что ответ проверили. На деле это всего лишь форма.

Особенно подозрительна лишняя точность. Если у модели не было источника, а она называет дату до дня, процент до сотых или точную цитату, это повод проверить ответ в первую очередь.

Почему длинный и шумный контекст мешает использовать факты

Контекст — это доступные модели инструкции, сообщения, файлы и результаты инструментов. Некоторые системы переносят между ходами ещё и служебные элементы, поэтому точный состав контекста зависит от продукта.

У современных моделей контекстные окна стали огромными. В них можно положить книгу, репозиторий или пачку документов. Но максимальная вместимость не означает, что модель одинаково надёжно использует каждую строку.

По мере роста контекста нужный факт конкурирует с сотнями похожих деталей. Важная инструкция может затеряться между логами. Число из действующего договора — смешаться с числом из старой редакции. Ограничение из первого сообщения — уступить более свежей, но случайной формулировке.

Каждый новый токен не превращается в дополнительную галлюцинацию. Но длинный и шумный контекст может ухудшить поиск нужной информации и повысить риск ответа без достаточной опоры.

В 2025 году авторы NoLiMa проверили 13 моделей с заявленным контекстом не меньше 128 тысяч токенов. Задача была сложной: вопрос и нужный фрагмент почти не совпадали словами, поэтому модели приходилось восстанавливать скрытую связь. На 32 тысячах токенов 11 моделей набрали меньше половины результата, который показывали на коротком контексте до одной тысячи токенов.

NoLiMa измеряет умение найти и связать информацию, а не частоту галлюцинаций. Но вывод для пользователя практический: «окно на 128 тысяч токенов» означает, что текст примут, а не что каждую строку используют одинаково хорошо.

Как не превращать контекст в склад

Начинайте новый чат, когда меняется задача. Обсуждение позиционирования сайта и проверка договора не должны жить в одной бесконечной переписке только потому, что так привычнее.

Перед переходом переносите короткий бриф:

• цель текущей задачи;
• уже принятые решения;
• факты, которые нельзя менять;
• ссылки или файлы, на которые нужно опираться;
• открытые вопросы;
• формат готового результата.

Загружайте не всё, что удалось найти, а то, что помогает принять решение. Если нужен один пункт договора, дайте этот пункт и соседние абзацы. Если нужен весь документ, укажите, какая редакция действующая и какие разделы важны.

Важные ограничения повторяйте прямо перед задачей. Не надейтесь, что модель безошибочно достанет правило из сообщения двадцатиминутной давности.

Если сервис позволяет убрать старое вложение или сообщение — уберите. Если нет, попросите краткую сводку, проверьте её и начните новый чат только со сводкой и актуальными файлами.

В Codex постоянные правила проекта храните в AGENTS.md, в Claude Code — в CLAUDE.md. Не превращайте эти файлы в склад: оставьте только то, что агент должен помнить в каждой задаче.

Какие ответы нужно проверять всегда

Не каждый текст требует одинаковой строгости. Варианты заголовка для внутреннего черновика можно быстро просмотреть глазами. Цена ошибки почти нулевая.

Если ответ влияет на деньги, здоровье, права, безопасность или чужую репутацию, проверка обязательна. Нейросеть может помочь найти варианты и разобрать материал, но последнее слово должно остаться за человеком и первичным источником.

Проверяйте обязательно:

• законы, судебную практику и условия договора;
• медицинские рекомендации, дозировки и противопоказания;
• финансовые расчёты, налоги, цены и курсы;
• цитаты, даты, фамилии, должности и статистику;
• ссылки на исследования, книги и документы;
• команды, которые удаляют данные или меняют инфраструктуру;
• утверждения о том, чего нет в приложенном файле или кодовой базе.

Хорошее правило: чем точнее выглядит деталь и чем дороже возможная ошибка, тем меньше причин верить ей без проверки.

Как заметить галлюцинацию

Попросите показать, откуда взялся вывод. Если ответ сделан по документу, попросите привести точную цитату и номер страницы или пункта. Затем найдите этот фрагмент сами.

Если модель вместо цитаты пересказывает мысль другими словами, это ещё не подтверждение. Если ссылка ведёт на главную страницу организации, а не на конкретный документ, тоже.

Проверьте, что источник подтверждает именно вывод. Существующая ссылка может быть нерелевантной. В статье говорится, что метод тестировали на небольшой выборке, а нейросеть пишет, что его эффективность доказана для всех случаев. Источник настоящий, вывод — выдуманный.

Читайте не только заголовок. Смотрите на дату, автора, область применения, ограничения и тот фрагмент, на который опирается ответ.

Отделите факты от интерпретаций. Попросите оформить ответ в двух частях:

1. Что прямо сказано в источнике.
2. Какие выводы сделала модель.

Так гораздо проще увидеть момент, где заканчиваются данные и начинается догадка.

Проверьте вычисления инструментом. Калькулятор, таблица, тесты и компилятор надёжнее уверенного тона. Если результат можно вычислить или выполнить, не просите модель просто «подумать ещё раз» — попросите запустить проверку.

Для кода полезны тесты, линтер и чтение фактического diff. Для данных — формула и исходная таблица. Для веб-страницы — открытая ссылка, а не пересказ сниппета.

Поиск помогает, но ссылки тоже нужно проверять. Для свежих фактов поиск почти обязателен. Для внутреннего документа полезнее прямой доступ к этому документу. Для расчёта — калькулятор или код. Для вопроса о программе — документация нужной версии.

Но количество ссылок не равно качеству. Десять ссылок в конце ответа могут создавать видимость исследования, хотя ни одна не подтверждает ключевой тезис. Лучше две ссылки, которые вы открыли и сверили, чем двадцать декоративных.

Зачем отдавать результат отдельному субагенту

Субагент — отдельный запуск нейросети с собственной задачей. Простая просьба «проверь себя» ненадёжна: модель видит уже написанный ответ и легко повторяет ту же ошибку.

Откройте субагенту отдельный, ограниченный контекст. Дайте исходную задачу, готовый текст или diff, первичные источники и критерии проверки — без переписки, в которой первый агент уже десять раз объяснил, почему он прав.

В Codex субагенты выполняют делегированные задачи в отдельных агентских ветках и возвращают результаты главному агенту. В Claude Code обычный субагент начинает с изолированного контекста, а режим fork, наоборот, наследует историю основной беседы. Для независимой проверки выбирайте отдельный запуск и сами ограничивайте входные данные.

Отдельный проход не гарантирует точность. Проверка становится сильнее, когда субагент может открыть первичный источник, запустить тест, пересчитать число или сопоставить ответ с исходным документом. Без внешней опоры второй агент способен повторить ту же ошибку.

Как сформулировать запрос, чтобы выдумок было меньше

Хороший запрос не запрещает галлюцинации магической фразой. Он уменьшает пространство для догадки.

Вместо «Расскажи, что сказано в договоре про штрафы» лучше написать:

«Отвечай только по приложенной редакции договора. Найди условия о штрафах и неустойке. Для каждого вывода приведи точную цитату и номер пункта. Если условия нет, напиши: “В документе не найдено”. Не используй общие знания и типовые формулировки договоров».

Для актуальной информации добавьте дату и источник:

«Проверь правила, действующие на [укажите дату]. Используй официальный сайт организации. Для каждого числа дай ссылку на страницу, где оно указано. Если официального подтверждения нет, отдели предположение от факта».

Подставьте дату, на которую вам нужен ответ. Иначе модель может принести правильное правило не для того периода.

В большом файле сначала сузьте поиск:

«Сначала перечисли разделы, где может находиться ответ. Затем прочитай только эти разделы. В финале покажи таблицу: вывод, точная цитата, пункт документа и статус проверки — подтверждено прямой цитатой, подтверждено косвенно или в документе не найдено».

Чем яснее границы ответа, тем меньше модели приходится додумывать за вас.

Если выбранная модель и интерфейс позволяют менять температуру, низкое значение делает выбор токенов менее случайным. Но параметр поддерживается не везде и не проверяет факты. Нулевая температура может заставить модель одинаково уверенно повторять одну и ту же ошибку.

Главное о галлюцинациях нейросетей

• Языковая модель предсказывает правдоподобное продолжение текста, а не сверяет каждую фразу с реестром истины.
• Редкий факт, неоднозначный вопрос, устаревшие данные и противоречивые документы увеличивают риск ошибки.
• Длинный контекст может вместить все материалы и всё равно плохо использовать нужную строку. Разделяйте задачи, убирайте старые версии и переносите в новый чат короткий проверенный бриф.
• Важные числа, даты, цитаты и ссылки проверяйте по первоисточнику. Расчёты отдавайте калькулятору или коду, а программные решения — тестам.
• Отдельный субагент полезен как второй проход с узкими критериями. Он помогает найти пропущенное, но тоже должен опираться на источники и инструменты.

Полностью убрать галлюцинации пока нельзя. Надёжность даёт процесс, в котором выдумка обнаруживается до публикации, оплаты или запуска команды.