Галлюцинации: уверенный правдоподобный мусор

🍽 Блюдо, которого нет в меню

Помнишь из темы 2.2 — Как агент «думает», что под капотом модель не достаёт факт из хранилища, а собирает ответ слово за словом — прикидывает, что обычно идёт дальше? Галлюцинация — это не сбой этого механизма. Это тот же самый механизм, работающий ровно как задумано, просто в ситуации, где правды модель не знает.

Представь опытного повара. Гость спрашивает: «А у вас есть такое блюдо — севиче из лобстера с манговой пеной?». Такого в меню нет, повар его в глаза не видел. Но он не говорит «нет, у нас такого не готовят». Он по насмотренности мгновенно прикидывает: севиче — это сырое, под цитрусом; лобстер — морепродукт; манговая пена — модно, сладко-кисло. И уверенно, с серьёзным лицом, описывает блюдо, которого не существует: «Да, конечно, нежнейший лобстер в лаймовом маринаде, воздушная пена из спелого манго…». Звучит как настоящая позиция из меню. А её нет.

Вот это и есть галлюцинация. Модель не «врёт» — врать значит знать правду и говорить обратное. Модель правды не знает и знать не пытается. Её работа — собрать правдоподобное продолжение, и она его собирает всегда, даже когда опереться не на что. И собирает тем же спокойным, складным тоном, что и про настоящие вещи. Тон одинаковый — потому что для модели нет разницы между фактом и выдумкой. И то и другое для неё — просто вероятное продолжение фразы.

🧯 Это не глюк железа и не злой умысел

Тут важно разобрать два ходовых заблуждения, потому что они мешают принимать верные решения.

Заблуждение первое: «это баг, его починят следующей версией». Нет. Галлюцинация — не поломка, которую забыли залатать. Это прямое следствие того, как модель устроена в принципе. Способность собирать правдоподобное продолжение из насмотренности — это ровно то, что делает модель полезной и гибкой (вспомни из 2.2: она и гениальна, и сочиняет — из одного и того же свойства). Нельзя забрать сочинительство, не убив гибкость. Новые версии галлюцинируют реже и аккуратнее — но полностью это не лечится, потому что лечить пришлось бы саму природу модели. Планируй с тем, что галлюцинации есть и будут.

Заблуждение второе: «модель меня обманывает». Обман предполагает намерение и знание правды. У модели нет ни того ни другого. Она не «решает соврать» — у неё нет внутреннего переключателя «сейчас говорю правду / сейчас выдумываю». Для неё всё — один процесс сборки вероятного текста. Это важно не для того, чтобы её оправдать, а чтобы правильно с ней обращаться: бесполезно «ловить её на лжи» или «требовать честности». Полезно — заранее знать, где она почти наверняка сочиняет, и там подстилать соломку.

🆕 Отдельная ловушка: модель не знает свежего

Есть особый вид галлюцинации, на который попадаются даже осторожные люди. Повара обучили на блюдах, которые он застал до какого-то момента — у каждой модели есть дата, после которой она мира не видела (это называют датой обучения, или по-английски training cutoff — момент, на котором знания обрываются). Что произошло в мире после — она не застала.

И вот тут засада. Спроси модель про вчерашнюю новость, свежий курс валюты, последнее изменение в законе или цену, которая поменялась на той неделе, — и она, как правило, не скажет «я не в курсе, это после моей даты». Она по привычке соберёт правдоподобный ответ: назовёт похожую цифру, опишет «как обычно бывает». Складно и неверно. Самое коварное — что про старое, которое она реально знает, и про свежее, которого знать не может, она отвечает одинаково уверенно.

Чтобы повар знал свежее, ему надо это свежее принести — отдельным механизмом: либо дать актуальные данные прямо в запрос, либо подключить к нему «кладовую» со справочниками и свежими источниками. Это отдельная большая тема впереди (повар идёт в кладовую за справочником, а не выдумывает из головы). Сейчас держи в голове правило: если вопрос про свежее или про конкретный факт из твоих данных — модель сама по себе этого знать не может, и любой её уверенный ответ здесь под подозрением.

🎯 Где галлюцинация почти неизбежна, а где её мало

Теперь главное, ради чего написана страница, — научиться заранее чуять опасные зоны. Галлюцинации не равномерны: есть задачи, где модель сочиняет почти гарантированно, и есть, где риск мал. Разница — в том, опирается ли ответ на точный факт, которого у модели может не быть.

Красная зона — высокий риск выдумки. Точные цифры и статистика, которых не было в твоём запросе. Конкретные номера: статей закона, ГОСТов, договоров, артикулов. Цитаты, ссылки, источники, имена, даты. Всё свежее (после даты обучения). Узкие специальные факты из твоей отрасли. Здесь модель чаще всего и подаёт «блюдо, которого нет в меню».

Зелёная зона — риск мал. Переформулировать текст, сделать его короче или вежливее. Собрать черновик письма или структуру документа. Обобщить длинный текст, который ты сам ей дал в запросе. Предложить варианты, накидать идеи, разложить мысль по полочкам. Здесь модель работает с тем, что у неё перед глазами или с языком как таковым — выдумывать особо нечего.

И поверх зоны риска накладывается вторая ось — цена ошибки. Одно дело — модель приврала в наброске поста для соцсетей: заметишь — поправишь, никто не пострадал. Другое дело — выдуманная статья закона в иске, несуществующая цифра в отчёте совету директоров, ложный медицинский факт. Тут одна пропущенная выдумка стоит репутации, денег или хуже. Чем выше цена ошибки, тем меньше у тебя права полагаться на уверенный тон — и тем обязательнее живая проверка человеком или нормальным инструментом.

🛡 Как снизить (но не обнулить) галлюцинации

Ты как владелец кухни AI не обречён просто бояться. Риск выдумки можно заметно сбить — двумя способами, оба будут отдельными темами впереди, тут только назову, чтобы у тебя сложилась картина.

• Принести повару справочники — «кладовая». Вместо того чтобы повар отвечал из головы, ему дают доступ к проверенным документам и свежим источникам, и он отвечает по ним, а не по насмотренности. Это резко снижает выдумки на фактах и часто даёт ссылку на источник, которую можно проверить. Так лечат и проблему «не знает свежего».
• Заставить повара сначала подумать на бумаге — «рассуждающие» модели. Есть модели, которые перед ответом прогоняют рассуждение по шагам. На задачах, где надо что-то сопоставить и не сбиться, это снижает долю ляпов. Но платишь временем и деньгами, и на чистом незнании факта рассуждение всё равно не спасёт — нельзя «дорассуждаться» до того, чего не знаешь.

И вот что критично понять: оба способа снижают риск, но не обнуляют его. Кладовая может достать не тот документ, рассуждение может стройно прийти к неверному выводу. Так что финальный рубеж в дорогих задачах — всё равно человек. Не «AI плюс слепое доверие», а «AI плюс проверка там, где цена ошибки этого требует».

Прежде чем идти к тренажёру — притормози на секунду. Дальше будут пять рабочих ситуаций, и в каждой стоит мысленно прокрутить те же две оси: где тут точный факт, который модель могла выдумать, и сколько стоит ошибка. Не угадывай — жми кнопку уже с готовым ответом в голове.