Producer-Critic: свежий взгляд лучше самопроверки
🤔 Зачем это читать
В прошлой теме ты дал агенту полезную привычку — перед выдачей перечитывать свой черновик и сам себя поправлять. Логично, должно помочь. И помогает — но вот сцена, которая повторяется на работе снова и снова. Агент написал клиенту ответ, сам его «вычитал», доложил «всё проверил, ошибок нет» — а ты глазами видишь: в письме перепутаны два заказа. Он смотрел туда же, куда и ты, и не заметил. Как так?
Знакомо? Это ровно то же, что происходит с тобой, когда сам вычитываешь свой текст. Глаз «замылен»: ты читаешь не то, что написано, а то, что хотел написать. Опечатку в собственном письме замечаешь через неделю, а в чужом — за секунду. Не потому что чужой автор хуже. Потому что ты смотришь свежим взглядом.
С агентом — один в один. Когда модель проверяет сама себя, она судит теми же глазами, которыми делала: те же предположения, та же логика, та же слепая зона. Если она ошиблась, потому что чего-то не учла, — на проверке она это «чего-то» снова не учтёт. Самопроверка ловит описки и явные ляпы, но системную ошибку, вшитую в её же ход мысли, она пропускает.
После этой темы ты сможешь увидеть, почему отдельная роль-критик (producer-critic) ловит больше ошибок, чем автор, проверяющий сам себя, — и распознавать это в любом AI-предложении. Это маленький, почти бесплатный приём, но он отделяет «агент сам себя похвалил» от «агента реально проверили». Научишься видеть разницу — перестанешь верить отчёту «всё ок» на слово.
Задержись на 10 секунд. Вспомни последний раз, когда ты сам себя проверил — отчёт, письмо, расчёт — был уверен, что всё чисто, а потом кто-то другой с ходу нашёл ошибку, которую ты смотрел десять раз и не видел. Подержи эту сцену в голове. Это и есть вся суть сегодняшней темы, только про агента.
🍳 Готовил один повар — пробует отдельный шеф
В теме про самопроверку (reflection — это когда повар сам пробует своё блюдо перед подачей и переделывает, если что не так) мы договорились: повар-модель пробует ложкой и поправляет соль. Хорошая привычка. Но у неё есть встроенный предел, и про него — вся сегодняшняя тема.
Представь повара, который три часа варил сложный соус. Он пробовал его двадцать раз по ходу. И вот незадача: язык к этому вкусу принюхался (повара говорят «нос забился», «нёбо устало»). Соус давно пересолен, но повар этого уже не чувствует — для него это норма, он к ней привык за три часа. Попросишь его попробовать ещё раз перед подачей — он честно попробует и честно скажет: «нормально». Он не врёт. Он правда не чувствует.
А теперь к плите подходит другой шеф, который соус не варил и пробует его впервые. Первая ложка — «солёно же, куда столько». Свежий вкус. Не привык, не «принюхался», не защищает свою трёхчасовую работу. Он ловит то, что первый уже физически не способен поймать.
Вот это и есть producer-critic (по-русски — «исполнитель и критик»): один агент-исполнитель делает работу, а отдельный агент-критик (critic — тот, кто оценивает и ищет недостатки) её проверяет. Не тот же самый, что себя перепроверяет, а именно другой — со своей ролью, своей инструкцией, своим «свежим вкусом». И ровно как на кухне, второй ловит то, на что у первого уже «забился нос».
🧠 Почему «другой» работает, если это та же самая модель
Тут возникает честный вопрос, и он правильный: «погоди, но под капотом-то это может быть та же модель — откуда же „свежий взгляд", если мозг один?» Хороший вопрос, давай разберём, потому что фокус именно здесь.
Свежесть берётся не из «другого мозга». Она берётся из другой роли и другой инструкции. Когда модель работает исполнителем, ей сказано: «сделай хорошо». Она настроена создавать, защищать своё решение, двигаться к цели. Когда та же модель работает критиком, ей сказано совсем другое: «перед тобой чужая работа, твоя задача — найти в ней изъяны, придерись». Это разные установки — и модель ведёт себя по-разному.
Грубо говоря, дело не в том, кто думает, а в том, с какой задачей он садится смотреть. Автор, перечитывая своё, подсознательно ищет подтверждение «всё ок». Критик, которому велено искать дыры, ищет дыры — и находит. Это и в людях так: один и тот же человек, надев шляпу «придирчивого проверяющего», заметит то, мимо чего прошёл бы как автор. У модели этот эффект ещё чётче, потому что роль ей задают прямо в инструкции.
Ключевое, что стоит унести: важна не «вторая голова», а вторая роль с противоположной установкой. Исполнитель тянет «принять», критик тянет «забраковать». На стыке этих двух тяг и рождается честная проверка. Когда же агент проверяет сам себя в той же роли, обе тяги — на «принять», и проверка получается формальной.
🔁 Как это встроено в цикл (на пальцах)
Помнишь круг доработки из прошлых тем — итерацию (это один круг «сделал → проверил → поправил», агент крутит его, пока не доведёт результат)? Producer-critic — это та же итерация, только проверку в ней делает не сам исполнитель, а отдельный критик. Если в двух словах: исполнитель сделал черновик → критик придрался и нашёл дыры → исполнитель поправил по замечаниям → готово. А ниже то же самое чуть подробнее, на псевдокоде — это просто логика на человеческом языке, не настоящий код (можешь пролистать, если суть уже ясна).
задача = «составить ответ клиенту по его двум заказам»
# роль 1 — ИСПОЛНИТЕЛЬ: ему сказано «сделай хорошо»
черновик = исполнитель делает ответ по задаче
# роль 2 — КРИТИК: ОТДЕЛЬНАЯ роль, ему сказано «найди изъяны, придерись»
замечания = критик читает черновик → ищет ошибки, путаницу, пропуски
# круг доработки: исполнитель переделывает ПО замечаниям критика
если замечания есть → исполнитель правит черновик → отдать критику снова
если замечаний нет → выдать ответ клиенту
# → критик не варил соус, поэтому ловит пересол, который исполнитель уже не чувствует
Заметь две вещи. Первое: критик — это отдельный шаг с отдельной инструкцией, а не «исполнитель ещё разок посмотрел». Второе: круг можно повторять, но не бесконечно — иначе агент зациклится, и про это мы говорили отдельно. На практике хватает одного-двух кругов: критик придрался, исполнитель поправил, критик глянул ещё раз — и хорош.
💸 Что это даёт владельцу и сколько стоит
Теперь по-деловому, потому что приём не бесплатный, хоть и дешёвый. Каждый проход критика — это ещё один вызов модели: лишние секунды и лишние деньги на каждую задачу. Не драматично, но если задач миллион в день — счёт набегает. Поэтому это не «всегда включать», а инструмент под конкретный случай.
Где он окупается с лихвой: там, где цена ошибки высокая. Ответ клиенту, который уйдёт без редактуры человеком. Юридическая формулировка. Расчёт, на который кто-то будет опираться. Сводка для руководства. Везде, где пропущенная ошибка стоит дороже, чем лишний вызов модели, — отдельный критик окупается мгновенно.
А где он перебор: на дешёвых массовых задачах, где ошибка некритична и легко откатывается. Гонять критика по каждому «спасибо за обращение» — палить деньги на ровном месте. Это и есть мышление владельца: не «включить критика везде», а понять, где пропущенная ошибка дороже лишнего вызова — там и ставить. Свежий взгляд стоит денег ровно настолько, насколько дорого вам обходится незамеченный пересол.
🎮 Где поймали больше — и почему?
Одна и та же работа агента проходит проверку двумя способами: слева — самопроверка (исполнитель сам себя перечитал), справа — отдельный критик (свежий взгляд со своей инструкцией «ищи дыры»). По каждой ошибке реши: кто из двоих её поймает? Но прежде чем жать кнопку, проговори про себя признак, по которому решаешь: «привязан ли проверяющий к той же посылке, с которой делалась работа?» — если ошибка вшита в эту посылку, самопроверка её не увидит. Сначала сформулируй признак, потом жми и сверяйся. Это тренировка того самого чутья — какие ошибки самопроверка пропускает в принципе.
📖 Ключевые понятия
- Producer-critic (исполнитель и критик)
- Приём, где один агент-исполнитель делает работу, а отдельный агент-критик её проверяет. Не самопроверка, а проверка другой ролью со «свежим взглядом». Готовил один повар — пробует отдельный шеф, который к этому вкусу не «принюхался».
- Критик (critic)
- Роль, чья единственная задача — найти в чужой работе изъяны: ошибки, путаницу, пропуски, выдумки. Ему дают противоположную исполнителю установку — не «принять», а «придраться». От этого он ловит то, что автор пропускает.
- Самопроверка (reflection)
- Из прошлой темы: агент сам перечитывает свой черновик и поправляет. Ловит описки и явные ляпы, но системную ошибку, вшитую в его же логику, пропускает — судит теми же глазами, которыми делал. Producer-critic закрывает именно этот пробел.
- Итерация (круг доработки)
- Один проход «сделал → проверил → поправил». В producer-critic проверку в этом круге делает критик, а не исполнитель. Кругов обычно один-два: больше — риск зацикливания и лишние расходы.
🛡️ Частые заблуждения
«Критик — это лишний театр: поставишь его — он просто согласится с исполнителем, и всё»
Согласится, только если оставить ему ту же установку «сделай хорошо». Весь приём держится на противоположной инструкции: критику велено не одобрять, а придираться и искать дыры. С такой установкой он не штампует «согласен» — он спорит, цепляется к фактам, требует подтверждений. Это не бюрократия ради галочки, а второй проход с другим знаком: один тянет «принять», другой «забраковать». Театром это становится ровно тогда, когда критику забыли дать его настоящую роль.
«Критик — это другая, более умная модель; та же модель сама себя „по-настоящему" не проверит»
Дело не в «другом мозге», а в другой роли. Свежесть даёт не вторая модель, а вторая установка: исполнителю сказано «сделай и защити», критику — «найди дыры, придерись». Та же самая модель в роли придирчивого критика ведёт себя иначе и ловит то, мимо чего прошла как автор. Иногда критика и правда делают моделью попроще — и этого хватает.
«Раз критик надёжнее — надо включать его на каждую задачу»
Перебор. Каждый проход критика — лишний вызов модели: время и деньги. На дешёвых массовых задачах с откатываемой ошибкой это палёж бюджета. Критик окупается там, где цена пропущенной ошибки выше цены лишнего вызова: ответ клиенту без редактуры, юридическая формулировка, расчёт под решение. Где ошибка дёшево чинится — хватит и самопроверки.
🧠 AI-чутьё (AI Judgment)
Судья и исполнитель — это разные роли
Вот принцип, который шире одной этой темы и пригодится тебе ещё много раз: тот, кто проверяет качество, не должен быть тем, кто его делал. Не из недоверия к исполнителю, а потому что у автора всегда есть встроенная предвзятость — он «принюхался» к своей работе и защищает свой ход мысли. Свежий взгляд ловит то, что замыленный пропускает. Это верно для людей, верно и для агентов.
Прикладывай этот принцип к любому AI-предложению как простой вопрос: «кто проверяет результат — и не он ли его и произвёл?». Если вендор показывает, что «агент сам себя контролирует и докладывает, что всё хорошо», — это слабее, чем «работу делает один, а оценивает отдельный, со своей установкой искать дыры». На словах разница незаметна, на качестве — огромна.
И держи практический след вперёд. Этот же принцип «разделяй того, кто делает, и того, кто судит» вырастет в две большие вещи дальше в курсе. Первая — когда агентов становится не один, а несколько разных ролей в «бригаде», и они проверяют друг друга. Вторая — когда нужно честно оценить качество AI-системы целиком, и оценщик специально делается отдельным от исполнителя, чтобы не было «сам сделал, сам себе пятёрку поставил». Producer-critic — первый, самый простой кирпичик этой большой идеи.
🎯 Практика
Одно задание на пять минут — оно превращает «свежий взгляд лучше самопроверки» из красивой фразы в твой рабочий фильтр.
- Вспомни задачу со своей работы, которую ты хотел бы отдать AI и где результат уходит наружу без правки человеком — клиенту, в отчёт, в документ. Запиши её в одну строку.
- Честно прикинь цену пропущенной ошибки в этой задаче. Что будет, если агент ошибётся, а никто не заметит? Откатывается легко и почти ничего не стоит — или это репутация, деньги, юридический риск?
- Реши по этой цене: тут хватит самопроверки — или стоит поставить отдельного критика? И сформулируй для критика одну фразу-инструкцию: на что именно ему придираться в твоей задаче («сверь все цифры с источником», «проверь, что заказы не перепутаны», «убедись, что учтены все условия брифа»). Эта фраза — половина ценности приёма.
Помнишь сцену из начала — агент сам себя «вычитал» и пропустил перепутанные заказы? Теперь понятно, почему: он смотрел теми же глазами, которыми делал. Отдельный критик с инструкцией «проверь, что заказы не перепутаны» поймал бы это с первой ложки.