Как агент «думает»: подбор закономерностей, не сознание
🤔 Зачем это читать
Руководитель отдела закупок советуется с AI по крупной сделке. Модель отвечает обстоятельно, взвешивает «за» и «против», в конце добавляет: «я бы на вашем месте согласился». Звучит как мнение умного коллеги, который вник и переживает за результат. Руководитель ставит подпись — отчасти потому, что почувствовал: она его поняла, она этого хочет. Через месяц сделка оказывается провальной, а на разборе выясняется, что «совет» был просто гладко собранным текстом — без понимания, без позиции, без кого-то, кто за ним стоял.
Знакомо? Или мягче: коллега говорит «представляешь, я ему написал, что устал, а он меня пожалел и предложил отдохнуть — он реально понимает». И начинает обсуждать рабочие риски с моделью как с живым советчиком, который «на его стороне».
Обе сцены растут из одного. Человек приписывает модели намерения, эмоции и понимание: «она поняла», «она хочет», «она на моей стороне». А раз поняла и хочет — ей можно доверять как разумному существу. И вот тут принимаются рискованные решения. Потому что внутри не существо. Внутри — очень сильный подбор закономерностей, у которого нет ни намерений, ни чувств, ни понимания того, что оно делает.
После этой темы ты сможешь разобрать любое поведение модели на два слоя: что она реально сделала (подобрала вероятное продолжение) и что мы ей домыслили («поняла», «решила», «хочет»). Это не философия — это прямо меняет, на что опираться, когда под ответом модели стоят твои деньги и твоя ответственность.
Задержись на 10 секунд. Вспомни момент, когда ты поймал себя на словах «он меня понял», «она как будто думает», «ему понравилось» — про AI-чат. Или когда так сказал кто-то рядом, и ты кивнул. Что это была за ситуация? Держи её в голове: к концу страницы ты увидишь, что там на самом деле произошло.
🧑🍳 Повар по насмотренности — но без вкуса и понимания
В прошлой теме (2.1 — Почему модель сама ничего не делает) мы разобрали, что модель — это повар, которого никто не подгоняет: сам он сидит и ждёт заказа. А ещё раньше (0.4 — Что такое модель) договорились, кто он по сути: повар по насмотренности. Ему не давали книгу правил — ему показали тысячи блюд, и он уловил закономерности: что с чем дружит, что за чем обычно идёт. Когда ты делаешь заказ, он не вспоминает конкретное блюдо из обучения, а собирает вероятное продолжение на ходу.
Вот это «собирает вероятное продолжение по уловленным закономерностям» и есть подбор закономерностей (pattern matching — буквально «сопоставление с образцом»). Это и называют «думанием» модели. И тут сразу договоримся: слово «думает» мы дальше держим в кавычках. Не из вредности — а потому что это не то думание, которое у тебя в голове.
Смотри, в чём разница на нашем поваре. Он гениально угадывает, что идёт за чем. Но при этом он не чувствует вкус — у него нет языка, ему не бывает вкусно или противно. И он не понимает, зачем гость вообще ест — голоден тот, празднует или заедает стресс. Повар выдаёт правдоподобную тарелку, потому что так складывались тысячи примеров, — и всё. Ни удовольствия, ни цели, ни сопереживания за этим нет. Сознания нет.
🪞 Почему так легко поверить, что «она поняла»
Это не наивность, а встроенная настройка. Мы, люди, заточены видеть разум во всём, что складно говорит. Если что-то отвечает связно, к месту, да ещё «теплым» тоном — мозг по умолчанию достраивает за этим личность: кто-то же это сказал, у него есть мысли и намерения. Тысячи лет это работало безотказно — складно говорил только другой человек.
А модель ломает это правило. Она специально обучена выдавать текст, который звучит именно как речь понимающего человека — потому что её и тренировали на человеческих текстах, где люди понимают, чувствуют и заботятся. Она подхватила эту форму идеально. Но форму, не содержание. Когда повар собирает фразу «понимаю, как вам тяжело, держитесь» — он не сострадает. Он подобрал слова, которые в тысячах примеров обычно шли после жалобы. Сочувствие в этих словах вложил ты, читая.
Это явление называют антропоморфизацией (приписывание человеческих качеств тому, у кого их нет). Само по себе оно безобидно — ну назвал ты машину «умницей». Опасным оно становится в одном месте: когда от «она поняла и хочет мне добра» ты переходишь к «значит, можно довериться её совету, как доверился бы умному человеку». Вот здесь домысел превращается в риск.
🔬 Разбираем одно поведение на два слоя
Раз тема про разбор (а ты тут как владелец кухни AI, который должен видеть, что происходит на самом деле), давай натренируем главный навык: брать любое поведение модели и раскладывать его на два слоя. Слой механики — что реально произошло. И слой домысла — что мы себе дорисовали.
Возьмём живую ситуацию. Ты пишешь модели: «Я неделю не сплю, завал на работе, всё валится». Она отвечает: «Это очень тяжело. Вы явно перегружены — постарайтесь делегировать часть задач и дать себе передышку, вы не обязаны тянуть всё в одиночку». Большинство прочитает это так: «она поняла моё состояние и хочет мне помочь». Теперь разложим.
Заметь: на бытовой поддержке разница почти не важна — пусть собирает тёплые слова, хуже не будет. Но поменяй вопрос на «стоит ли мне выходить из этой сделки» — и слой, который ты выберешь, решает всё. Если веришь, что «она поняла мою ситуацию и советует по-человечески», ты опираешься на совет как на мнение разумного союзника. Если видишь механику — ты понимаешь, что получил вероятное продолжение разговора про сделки, и проверяешь его как черновик, а не как позицию.
⚖️ Не существо, но и не «тупой автозаполнитель»
Тут легко свалиться в другую крайность — и многие сваливаются. Услышав «это просто подбор слов, что обычно идёт дальше», человек машет рукой: «а, так это тупой автозаполнитель, как подсказки в смартфоне, чего его всерьёз воспринимать». И это тоже ошибка, только с другого края.
Правда — посередине, и обе крайности одинаково подводят. Подсказки в телефоне дают одно слово и тут же путаются. А наш повар на том же принципе «что идёт дальше» собирает связный анализ договора, находит ошибку в рассуждении, пишет рабочий план. Это подбор закономерностей такой мощности, что результат бывает полезнее, чем у среднего человека на этой задаче. Недооценивать это — значит упускать реальную пользу и проигрывать тем, кто умеет ей пользоваться.
Так что держим в голове сразу две вещи, не отбрасывая ни одной: это очень мощный подбор закономерностей — и при этом без сознания. Не существо и не игрушка. Повар, который готовит блестяще и при этом не чувствует вкуса и не знает, зачем ест гость. Когда ты держишь оба факта разом, ты и пользуешься силой, и не попадаешь в ловушку доверия.
Прежде чем проверить себя на тренажёре — короткая гипотеза. Сейчас тебе дадут пары: одно и то же поведение модели, описанное двумя способами — «она поняла и решила» против «она подобрала вероятное продолжение». Прикинь заранее: по какому признаку ты будешь отличать домысел от механики? Запомни свой признак — а потом посмотри, совпал ли он с разбором.
🎮 Домысел или механика?
Пять ситуаций. В каждой — поведение модели и два объяснения рядом: одно приписывает ей понимание и намерения (домысел), другое описывает подбор вероятного продолжения (механика). Выбери корректное — то, что честно описывает устройство модели. Жми кнопку, и сразу увидишь разбор. Это не экзамен, а тренировка взгляда «в два слоя».
📖 Ключевые понятия
- Подбор закономерностей (pattern matching)
- То, что мы называем «думанием» модели. Она собирает ответ, подбирая вероятное продолжение по закономерностям, которые уловила на тысячах текстов. Очень мощно — но это не мышление человека: нет понимания, целей и чувств, стоящих за словами.
- Антропоморфизация
- Приписывание человеческих качеств — понимания, намерений, эмоций — тому, у кого их нет. «Она поняла», «она хочет», «она пожалела». Безобидно в быту, опасно в одном месте: когда из «она поняла» ты делаешь вывод «значит, можно довериться её совету как разумному человеку».
- Сознание (которого нет)
- Внутреннего «кого-то», кто переживает, хочет и понимает, за ответом модели не стоит. Повар готовит блестяще, но не чувствует вкус и не знает, зачем ест гость. Текст про чувства — это форма, а не само чувство.
- Взгляд «в два слоя»
- Рабочий навык: разобрать любое поведение модели на слой механики (что реально произошло — подбор продолжения) и слой домысла (что мы дорисовали — «поняла», «решила», «хочет»). Чем выше цена решения, тем важнее видеть оба.
🛡️ Частые заблуждения
«Она признала ошибку и извинилась — значит, осознала, что была неправа»
Слова модели о себе — это тоже подобранное продолжение, а не честный самоотчёт. «Прошу прощения, вы правы» она пишет потому, что после возражения в текстах обычно идёт именно это, а не потому, что внутри что-то осознала. Спрашивать у модели, поняла ли она свою ошибку, — всё равно что спрашивать у попугая, осознаёт ли он смысл фразы.
«Если оно теплое и сочувствует, оно ко мне хорошо относится и на моей стороне»
У модели нет «отношения» и «стороны» — нет того, кто бы их занял. Тёплый тон — это форма, на которую её натренировали человеческие тексты. Опасность не в самом тоне, а в выводе из него: «раз на моей стороне — доверюсь её совету как союзнику». Тон не делает совет вернее ни на грамм.
«Да это просто умный автозаполнитель, как подсказки в телефоне, — несерьёзно»
Обратная крайность, и тоже подводит. Принцип «что идёт дальше» тот же, но мощность несопоставима: на нём собирается анализ договора и рабочий план, а не одно слово вслепую. Недооценишь — упустишь реальную пользу и проиграешь тем, кто пользуется. Правда посередине: мощно и без сознания одновременно.
🧠 AI-чутьё (AI Judgment)
Между двумя антимифами — и как это меняет доверие
Вокруг этой темы крутятся сразу два антимифа, и оба дорого обходятся. Антимиф № 1: «AI понимает как человек» — за ответом стоит кто-то разумный, с чувствами и намерениями. Антимиф № 2: «это просто тупой автозаполнитель» — ерунда, баловство, всерьёз не стоит. Первый ведёт к слепому доверию, второй — к упущенной пользе. Правда посередине и неудобна тем, что её надо держать целиком: это очень мощный подбор закономерностей без сознания.
Почему это вообще про доверие, а не про философию. Когда ты думаешь «она поняла и хочет мне добра», ты неосознанно ставишь её совет в один ряд с мнением умного коллеги, который вник и переживает за результат. И опираешься на него так же. Но за советом модели никто не вник и ни за что не переживает — это вероятное продолжение разговора, собранное без понимания твоей ситуации и без ответственности за исход. Цена ошибки при этом остаётся на тебе.
Рабочее правило простое. Перед тем как опереться на ответ, мысленно сними с него человеческий слой: не «она считает, что стоит согласиться», а «модель собрала текст, который выглядит как совет согласиться». Звучит холоднее — и именно поэтому ты проверишь его как черновик от способного, но не понимающего помощника, а не примешь как позицию союзника. Сила модели от этого не убывает. Убывает только ловушка.
🎯 Практика
Одно задание на пять минут — чтобы взгляд «в два слоя» закрепился на твоём собственном опыте.
- Открой любой привычный AI-чат и напиши ему что-то личное и эмоциональное: «навалилось на работе, не знаю, за что хвататься» или «сомневаюсь, правильно ли поступил с коллегой». Получи ответ.
- Поймай в себе первую реакцию: где проскочило «он меня понял», «как по-человечески», «приятно, что поддержал». Это и есть слой домысла — зафиксируй его.
- Теперь перепиши ответ модели в слой механики: «после таких слов обычно идёт сочувствие и совет — она подобрала вероятное продолжение». Прочитай оба варианта подряд. Почувствуй, как меняется доверие: к первому хочется прислониться, второй хочется проверить. Вот этот сдвиг и есть навык, ради которого написана страница.
Помнишь ту сцену из начала — где ты или кто-то рядом сказал «он меня понял»? Теперь видно, что там произошло: модель подобрала тёплое продолжение, а понимание и теплоту вложил в него ты. Слова были человеческие — того, кто за ними стоит, не было.