Цена ошибки: пирог vs торговая сделка
🤔 Зачем это читать
Подрядчик заканчивает презентацию словами: «А давайте дадим агенту больше самостоятельности — пусть сам отвечает клиентам, сам оформляет возвраты, сам дозаказывает у поставщиков. Сэкономим кучу рук». Звучит заманчиво. И вот тут у тебя внутри что-то правильно ёкает, но ты не можешь сформулировать, что именно не так.
А не так — простая вещь. «Сам отвечает клиентам в чате» и «сам отправляет поставщику заказ на 2 000 000 ₽» — это не одна просьба «дать больше свободы». Это две совершенно разные просьбы, и стоят ошибки в них тоже разное: в одном случае сотрудник поправит черновик за минуту, в другом — деньги ушли, поставка приехала, назад не отыграешь.
Главная боль звучит так: где агенту можно довериться, а где это будет стоить мне денег, клиента или лицензии — и как провести эту черту, не наугад? Не «крутой агент или не очень», а «что будет, если он ошибётся именно тут, и смогу ли я это откатить».
После этой темы у тебя будет один рабочий инструмент: на любую операцию прикинуть цену ошибки и обратимость — и из этого назначить режим. Агент делает сам, агент делает с твоим подтверждением, или это вообще не отдаём агенту. Это та самая черта, которую ты не мог сформулировать на совещании.
Задержись на 10 секунд. Вспомни одну операцию со своей работы, которую при тебе предлагали «отдать агенту целиком, без человека». Списание, ответ клиенту, заказ, проводку — что угодно. Держи её в голове: к концу страницы ты сам ответишь на один вопрос — что будет, если он там ошибётся, и смогу ли я это вернуть назад. От ответа всё и зависит.
🥧 Пирог на дегустации против поставки на миллион
Вернёмся на нашу кухню. Представь две ситуации, в обеих повар-агент ошибся.
Первая. Шеф готовит новый пирог к завтрашней дегустации для своих, пробует — пересолил начинку. Что произошло? Да ничего страшного. Выбросил, замесил заново, через час есть нормальный пирог. Ошибка дешёвая (продуктов на копейки) и обратимая (переделал, и следа не осталось). На таких ошибках, собственно, и учатся — пусть пробует сам.
Вторая. Тот же повар-агент, но теперь он сам, без тебя, оформил поставку: заказал у поставщика тонну лосося на 2 000 000 ₽ и подтвердил оплату. А лосось был не нужен, нужна была треска, и в десять раз меньше. Что теперь? Деньги ушли, фура едет, поставщик предоплату не вернёт. Ошибка дорогая и необратимая — назад не отыграешь, как ни старайся.
Чувствуешь разницу? Повар один и тот же. Может быть, даже очень хороший повар. Дело не в нём — дело в том, что именно мы разрешили ему делать самому. Пирог пусть портит на здоровье. А вот к подписи на поставке его одного подпускать нельзя — не потому что он плохой, а потому что цена его ошибки тут другая, и вернуть её нельзя.
Вот это и есть главный регулятор: не «насколько агент крут», а «во что обойдётся его ошибка и можно ли её откатить». Это две разные оси, и их полезно держать порознь.
🎚 Две оси, на которых живёт решение
Разберём по отдельности, потому что их часто путают и сваливают в одно слово «риск».
Первая ось — цена ошибки. Если агент ошибётся ровно тут, во что это обойдётся? Поправленный за минуту черновик — это одна цена. Ушедшие деньги, потерянный ключевой клиент, штраф регулятора, вред здоровью человека — совсем другая. Тут считаем по-крупному: не «как часто ошибётся», а «сколько стоит один промах в худшем случае».
Вторая ось — обратимость. Допустим, ошибка случилась. Можно ли её откатить — и насколько легко? Черновик письма переписал — мгновенно и бесплатно. Отправленное клиенту письмо уже не вернёшь, но извинишься. А списанные деньги, проведённую сделку, поставленный диагноз откатить нельзя в принципе. Чем ближе к «назад не отыграешь», тем меньше у агента права действовать в одиночку.
Почему две оси, а не одна? Потому что бывает дёшево, но необратимо (мелкая, но публичная глупость в соцсетях ресторана — денег копейки, а репутацию уже не отмотать), и бывает дорого, но обратимо (крупный, но легко отменяемый внутренний черновик отчёта). Самая опасная клетка — где сходятся обе беды: дорого И необратимо. Это та самая поставка на миллион. И именно сюда агента нельзя пускать одного — хоть он трижды гений.
Кстати, помнишь уровни автономии из первой части — лестницу от поварёнка под присмотром до шефа на полном доверии? Так вот, цена ошибки и обратимость — это и есть та сила, которая решает, на какую ступень этой лестницы пускать агента в конкретной операции. Не «дай побольше свободы вообще», а «дай ровно столько, сколько выдержит цена ошибки именно здесь».
🗺 Матрица «цена ошибки × обратимость»: твой рабочий инструмент
Сведём обе оси в одну картинку — это и есть инструмент, который ты унесёшь со страницы. По одной оси — насколько обратима ошибка, по другой — во сколько обходится. Любую операцию кидаешь в один из четырёх углов, и угол сам подсказывает режим.
Прочитаем углы по-человечески, начиная с самого безопасного:
- Дёшево и обратимо → агент сам. Это пирог на дегустации. Рекомендация рецепта гостю, черновик письма, первичная сортировка заявок. Ошибётся — поправят за минуту, никто снаружи не пострадал. Тут держать человека на каждом шаге — только тормозить кухню.
- Дорого, но обратимо → агент с подтверждением. Агент всё готовит сам, но перед самим действием показывает человеку: «вот что я собираюсь сделать, жми ок». Человек в петле — мы про него подробно говорили в теме человек в петле. Крупный заказ, который можно отменить до отгрузки, как раз сюда.
- Дёшево, но необратимо → тоже с подтверждением. Хитрый угол, который проскакивают. Денег вопрос копеечный, но след останется навсегда: публичный пост от лица компании, письмо важному клиенту. Цена мелкая — а откатить нельзя. Лучше пусть человек глянет одну секунду.
- Дорого И необратимо → только человек. Та самая поставка на миллион. Списание денег, юридически значимый документ, решение, задевающее здоровье или судьбу человека. Здесь агент в лучшем случае готовит черновик и носит факты — а решает, жмёт и отвечает человек. Без вариантов.
Заметь главное: в матрице нет графы «насколько агент умный». Совсем. Потому что регулятор — не его способности, а последствия его ошибки в этой конкретной точке. Гениальный агент в углу «дорого и необратимо» всё равно идёт под подпись человека. А средненький в углу «дёшево и обратимо» спокойно работает сам.
🚦 Три режима автономии — и как назначать
Из четырёх углов вышло ровно три режима. Запомни их как светофор — это весь словарь, который тебе нужен, чтобы разговаривать с подрядчиком на равных.
И ещё одно практичное наблюдение из жизни тех, у кого получается. Хорошая стартовая стратегия — начинать строго, отпускать постепенно. Новую операцию ставишь на «с подтверждением», даже если она выглядит безопасной. Смотришь пару недель, как агент справляется на реальных данных. Если черновики стабильно хорошие, а цена ошибки правда низкая — переводишь в «сам». Обратный путь, от «сам» к «ой, верните подтверждение», обычно случается уже после дорогого инцидента. А мы тут как раз учимся не доводить до инцидента.
⚖️ Почему это важнее, чем кажется на совещании
Тут стоит на секунду подключить трезвую статистику — ту самую из вводной темы, помнишь? По нашумевшему отчёту MIT NANDA «The GenAI Divide» (лето 2025 года, разрыв между шумихой вокруг AI и реальной отдачей) лишь около 5% корпоративных AI-инициатив дают измеримый бизнес-эффект — остальные 95% не двигают P&L заметно. И проваливаются эти 95% почти всегда не из-за слабой модели, а во внедрении: не встроили в рабочий процесс, скормили бардак вместо чистых данных, не разобрались, где агенту вообще место.
Так вот, «не разобрались, где агенту место» — это ровно про сегодняшнюю тему. Проекты горят с двух сторон. С одной — агента из страха зажали в «только человек» везде, даже на пирогах: толку ноль, все согласования застряли на людях, проще было не начинать. С другой — наоборот, дали полную свободу там, где «дорого и необратимо», ради красивого слайда «у нас полностью автономный AI» — и однажды он уверенно сделал дорогую глупость, которую уже не вернуть. Матрица «цена ошибки × обратимость» — это и есть та самая трезвая черта, которая держит тебя ровно посередине: свободу туда, где она безопасна, контроль туда, где промах стоит дорого.
Перед тренажёром притормози и проверь себя на гипотезе. Возьми ту операцию, что держал в голове с начала страницы. Не сверяясь ни с чем, прикинь два числа: во что обойдётся один промах агента в худшем случае и смогу ли я его откатить. Уже из этих двух ответов у тебя почти наверняка сложился режим — зелёный, жёлтый или красный. Запомни свою догадку: сейчас потренируемся на чужих кейсах, а в самом конце вернёшься к своему и проверишь, устояла ли она.
🎮 Назначь режим автономии
Сначала ответь сам, потом сверься. Расхождение твоего ответа с разбором тут ценнее угаданного совпадения: на нём видно, какую из двух осей — цену ошибки или обратимость — ты пока недооцениваешь.
Шесть операций с реальной работы. Для каждой оцени цену ошибки и обратимость — и назначь режим: агент сам, с подтверждением или только человек. Жми кнопку — сразу увидишь разбор. Это не экзамен, а тренировка той самой черты.
А теперь — под свой бизнес. Ответь себе на три вопроса:
- Какая операция в твоей работе сейчас самая «дорогая И необратимая» — куда агента нельзя пускать одного ни при каких уговорах подрядчика?
- Где ты, наоборот, держишь человека на каждом шаге зря — там, где цена ошибки копеечная и всё обратимо, и агент справился бы сам?
- Есть ли у тебя операция в коварном углу «дёшево, но необратимо» (публичное, репутационное), про которую все думают «да пусть агент сам» — а на самом деле туда нужно подтверждение?
📖 Ключевые понятия
- Цена ошибки
- Во что обойдётся один промах агента в худшем случае: поправленный черновик — или ушедшие деньги, потерянный клиент, штраф, вред человеку. Считаем не «как часто ошибётся», а «сколько стоит самый плохой исход».
- Обратимость
- Можно ли откатить ошибку, если она случилась, и насколько легко. Черновик — мгновенно и бесплатно; отправленное письмо — с извинениями; списанные деньги или поставленный диагноз — никак. Чем ближе к «не вернёшь», тем меньше у агента права действовать одному.
- Матрица «цена ошибки × обратимость»
- Рабочий инструмент: кидаешь операцию в один из четырёх углов по двум осям — и угол назначает режим автономии. Дёшево и обратимо → агент сам; необратимое ИЛИ дорогое → подтверждение; дорого И необратимо → только человек.
- Три режима автономии
- Светофор управления свободой агента: 🟢 агент сам (делает и завершает), 🟡 с подтверждением (готовит, человек жмёт «ок» перед действием), 🔴 только человек (агент носит факты, решает и отвечает человек).
- Человек в петле (human-in-the-loop)
- Режим, где агент останавливается перед важным шагом и ждёт подтверждения человека. Механизм жёлтого режима. Подробно — в теме человек в петле.
🛡️ Частые заблуждения
«Чем умнее и дороже агент, тем больше свободы ему можно дать»
Свободу регулирует не ум агента, а цена его ошибки и обратимость в конкретной операции. Самый гениальный агент в углу «дорого и необратимо» всё равно идёт под подпись человека — не потому что он плох, а потому что один его промах тут уже не откатить. «Крутость» к этому вопросу отношения не имеет.
«Если AI ошибается редко, ему можно доверить и серьёзные вещи»
Редкость ошибки и цена ошибки — разные вещи. Можно ошибаться раз в год, но если этот один раз — необратимое списание на миллион, режим всё равно «только человек». Регулятор — не частота, а стоимость худшего исхода и возможность откатить. Считаешь именно её.
«Раз операция дешёвая, агент может делать её сам без оглядки»
Не всегда. Есть коварный угол «дёшево, но необратимо»: публичный пост, письмо ключевому клиенту. Денег вопрос копеечный, но след останется навсегда. Тут смотрят не на цену, а на обратимость — и ставят подтверждение. Цена ошибки не единственная ось, обратимость не менее важна.
🧠 AI-чутьё (AI Judgment)
Сколько свободы давать агенту и как не ошибиться с этим
Главная мысль темы в одну фразу: автономию выдают по цене ошибки и обратимости, а не по «крутости» агента. Когда подрядчик говорит «давайте дадим ему больше самостоятельности», правильный встречный вопрос не «а он достаточно умный?», а «что будет, если он ошибётся именно тут, и сможем ли мы это откатить?». Один этот вопрос отсекает большую часть дорогих глупостей ещё на совещании.
Для тебя как владельца это два движения. Первое — на любую операцию прикинь два числа: цену худшего промаха и обратимость. Второе — назначь режим по самому рискованному углу: дёшево и обратимо → агент сам; необратимое или дорогое → подтверждение; дорого И необратимо → человек обязателен, без вариантов. И помни про коварный угол «дёшево, но необратимо» — публичное и репутационное проскакивают именно там.
Держи как девиз: свободу всегда легче добавить, чем разгрести последствия. Сомневаешься между двумя режимами — бери тот, что строже, и отпускай постепенно, когда увидел, что агент справляется на реальных данных. Эта матрица — не разовое решение, а рабочий инструмент: повесь её мысленно над каждой операцией, которую кто-то предлагает «отдать агенту целиком».
🎯 Практика
Одно задание на десять минут — чтобы черта легла на твою реальную работу, а не осталась картинкой.
- Выпиши пять операций со своей работы, которые при тебе предлагали «отдать агенту» или которые ты сам считаешь кандидатами на автономию.
- Для каждой проставь два числа на глаз: цена ошибки (что будет в худшем случае — низкая или высокая) и обратимость (откатишь или нет).
- По двум числам назначь режим: 🟢 агент сам, 🟡 с подтверждением, 🔴 только человек. Бери самый рискованный угол операции.
- Отдельно отметь, нет ли среди них необратимых — публичных или денежных — про которые ты по привычке думал «пусть агент сам». Это твои скрытые мины.
- Загляни в заметку из начала страницы — ту операцию, что держал в голове. Совпал режим с твоей первой догадкой или ты передумал, когда честно посчитал обратимость?
Этот листок из пяти операций с режимами — уже готовый разговор с подрядчиком. Не «давайте дадим агенту больше свободы», а «вот тут он работает сам, тут — только с подтверждением, а это не отдаём вообще». Так звучит владелец, который понимает, чем рискует.