Универсальный Bloom: Evaluate ⏱ 9 мин деплой и стоимость владения

Демо ≠ прод: деплой и стоимость владения

🧊 Won't Have 💧 Could Have ☀️ Should Have 🔥 Must Have
☀️ Should Have
Тут хоронят больше бюджетов, чем где-либо ещё в курсе. Если ты когда-нибудь будешь решать «запускаем или нет» — прочти. Если только присматриваешься — можно вернуться позже.

🤔 Зачем это читать

Подрядчик показывает демо. Агент разбирает заявку, лезет в систему, пишет складный ответ — всё летает. Руководство в восторге, тебе говорят «отлично, запускаем на весь отдел с понедельника». Ты киваешь: работает же, что там осталось — кнопку нажать. Через месяц приходит счёт за токены втрое больше обещанного, дважды за неделю агент молча падал на полдня, а на планёрке всплывает вопрос, от которого тишина в комнате: «а кто это вообще поддерживает, если оно сломается в два часа ночи?».

Знакомо? Или другой вариант, ещё обиднее: запустили чисто, всё работает, счета в норме — а пользоваться никто не стал. Потому что чтобы дойти до агента, надо открыть отдельный портал, вспомнить логин, найти вкладку. Люди забивают и делают по-старому. Деньги потрачены, инструмент живой и здоровый, толку ноль.

Оба раза дело в одном: работающее демо — это примерно 20% пути, а не 90. На демо ты видел только зал в день репетиции, когда пришли два своих гостя. Прод (промышленная эксплуатация, реальная работа на потоке) — это пятница вечером, полный зал, и счёт идёт не за один красивый ответ, а за тысячи под нагрузкой плюс всё, что вокруг: мониторинг, дежурство, обработка сбоев, безопасность.

После этой темы ты сможешь посмотреть на любое блестящее демо и оценить, что ещё стоит между ним и реальным запуском — какие скрытые статьи затрат и какие риски подрядчик «забыл» показать. Это граница между «нам обещали окупаемость за полгода» и «я знаю, во что мы на самом деле ввязываемся».

Задержись на 10 секунд. Вспомни любую вещь, которая отлично работала «на показ», а в реальной эксплуатации оказалась куда дороже и хлопотнее: ремонт, который «на пару дней», машину с виду идеальную, программу из красивой презентации. Что вылезло потом, чего не было видно на витрине? Подержи это в голове — с AI-демо ровно та же история, и сейчас мы разложим, что именно прячется за витриной.

🍽 Репетиция на двух гостях — ещё не пятница вечером

Представь, ты открываешь ресторан. Кухню собрали, повар готовит, ты позвал пару друзей на пробный ужин — всё прошло гладко, блюда вышли вовремя, гости довольны. Велик соблазн сказать: «готово, открываемся завтра на полный зал». Любой опытный ресторатор тут схватится за голову. Потому что репетиция на двух гостях и наплыв в пятницу вечером — это два разных мира.

В пятницу вечером вылезает всё, чего не было видно на репетиции: продуктов уходит в десять раз больше и по другой цене, на одной станции затык — и встаёт весь зал, у кого-то аллергия, которую надо отловить, а если повар в разгар смены порежется — нужен кто-то, кто подхватит прямо сейчас, а не «разберёмся утром». Запустить AI-агента в работу — это ровно открытие зала, по-умному деплой (выкат, перевод в реальную эксплуатацию). И «демо работает» отвечает только на один вопрос из десяти: блюдо в принципе получается. На остальные девять отвечает прод.

Вот что прод добавляет поверх работающего демо — пять скрытых статей, которые на витрине не показывают.

Одно демо ≠ открытый зал
🎬
Демо · ~20%
Репетиция на двух гостях. Блюдо в принципе получается. То, что показали руководству.
🍽
Прод · остальные ~80%
Пятница вечером, полный зал. Счёт под нагрузкой, мониторинг, сбои, безопасность, дежурство.
Подрядчик показывает витрину слева и называет цену за неё. Платить и жить ты будешь с тем, что справа.

💸 Пять скрытых статей, которые витрина не показывает

Первая: токены под нагрузкой — это другой счёт. На демо агент обработал три заявки, ты увидел копейки. В проде их три тысячи в день, и каждая — это не один ответ, а несколько кругов агентного цикла (помнишь из 5.1 — цикл «Думаю — Делаю — Пробую»: на сложной задаче агент ходит в систему по нескольку раз, и каждый круг тарифицируется отдельно). Умножь стоимость одной заявки на реальный поток — и «копейки» превращаются в строку бюджета, которую забыли заложить. Цену надо считать не за красивый показ, а за месяц работы на потоке.

Вторая: наблюдаемость, мониторинг и поддержка. Демо никто не сторожит. За продом надо смотреть постоянно: что агент делает, где тормозит, сколько жжёт, не посыпалось ли качество. Это камеры на кухне — наблюдаемость (observability), про которую отдельная тема 11.1 — Камеры на кухне. Тут важно одно правило, которое экономит больше всего нервов: включай наблюдаемость с первого дня, а не когда уже горит. Без неё ты узнаешь о проблеме не из приборов, а от разозлённого клиента — а это поздно и дорого.

Третья: обработка сбоев. Внешняя система не ответила, формат пришёл кривой, что-то отвалилось. На демо звёзды сошлись и всё было идеально. В проде сбои — не «если», а «когда». Агент должен на них как-то реагировать: повторить попытку, пойти запасным путём, в крайнем случае честно сказать «не смог» и позвать человека — а не молча падать или выдавать мусор с уверенным лицом. Это отдельное хозяйство, которого в демо обычно нет вообще.

Четвёртая: безопасность. На демо агенту скармливают чистенькие, заранее отобранные данные. В проде в него полетит всё подряд, включая попытки обмануть и подсунутые в текст вредные инструкции. Плюс права: агент с доступом к боевым системам — это не игрушка, и его надо ограничивать (этой темы мы касались в 4.3 — Право посмотреть против права изменить и 4.7 — Безопасность computer use). На витрине этого риска не видно — он вылезает в проде.

Пятая, самая неудобная: дежурство «кто чинит в два ночи». Прод живёт круглосуточно. Когда он сломается в нерабочее время — а он сломается — должен быть конкретный человек или служба, кто это поднимет. Не «команда подрядчика», написанная мелким шрифтом, а ответ на прямой вопрос: кому звонить и кто платит за их время. Если на этот вопрос нет ответа до запуска — он всплывёт в худший момент.

Видишь общее? Ни одна из пяти статей не видна на демо, и все пять — это деньги и труд после запуска. Сумма всего этого за всё время жизни системы называется стоимость владения (TCO, total cost of ownership): не «сколько стоило купить», а «сколько стоит держать живым». Цена покупки — это первый чек. Стоимость владения — это все чеки до конца жизни ресторана.

🛠 Три вещи, которые превращают демо в работающий прод

Хорошая новость: это не магия, а понятная инженерия запуска. Тебе не надо уметь это делать руками — но как владельцу полезно знать, что эти три штуки вообще существуют, чтобы спросить подрядчика «а это у вас есть?». На пальцах.

Пауза и продолжение без повторной оплаты. Агентская задача бывает долгой: запустил разбор большого отчёта, а на середине нужно подождать данные из другой системы или утверждение человека. Плохой вариант — агент всё бросает и при следующем запуске считает заново, заново платя за уже сделанную работу. Хороший — задачу можно поставить на паузу и потом продолжить с того же места, как заказ на кухне откладывают «на потом», а не выбрасывают начатое блюдо. Это прямая экономия: не платишь дважды за одно и то же.

Состояние снаружи — агент как «чистая функция». Звучит технически, а смысл простой и важный. Вся память о задаче — что уже сделано, на каком шаге, какие данные собраны — должна храниться снаружи агента, на отдельном «бланке заказа», а не в голове конкретного запущенного экземпляра. Тогда любой повар, заглянув в бланк, продолжит с того же места — и, что ценнее всего, ты можешь в точности воспроизвести, что произошло, когда что-то пошло не так. Это фундамент аудита (разбор, кто что сделал и почему) и воспроизводимости: инцидент можно проиграть заново по бланку, а не гадать. Без этого «почему агент так решил» остаётся вечной загадкой.

Запуск из привычного канала. И самое недооценённое. Люди пользуются тем, что под рукой. Если агента можно дёрнуть прямо из Slack (рабочий мессенджер, корпоративный чат вроде Telegram для команды), из почты, по расписанию или по событию в системе, которой и так пользуются каждый день, — им будут пользоваться. Если для этого нужно идти в отдельный портал, который надо специально открывать и помнить, — про него забудут через неделю. Это не каприз, а закон жизни: инструмент в привычном канале используют, инструмент за отдельной дверью — нет. Самый чистый, дешёвый и надёжный агент бесполезен, если до него не доходят руки.

Стоимость владения = первый чек + все следующие
💰 Видно сразу (демо)
Разработка / покупка. Тот красивый чек, что назвал подрядчик.
🧊 Видно потом (прод)
Токены под нагрузкой · мониторинг · обработка сбоев · безопасность · дежурство 24/7.
Правильный порядок запуска: взять задачу высокоценную и низкорисковую → включить наблюдаемость с дня 1 → измерять → и только потом масштабировать. Не наоборот.

🧾 Как звучит зрелый план запуска (на пальцах)

Сравни два разговора с подрядчиком. Это не код, а логика на человеческом языке — но именно она отделяет «нам обещали» от «мы понимаем, во что ввязываемся».

Псевдокод (на пальцах) · «демо ≠ прод» в виде чек-листа владельца # это НЕ настоящий код, а логика на человеческом языке
ЕСЛИ показали только «демо работает»:
    спроси про токены под РЕАЛЬНОЙ нагрузкой за месяц, не за показ
    спроси про наблюдаемость — «как мы увидим, что оно сломалось?»
    спроси про сбои — «что агент делает, когда система не ответила?»
    спроси про безопасность — «какие у него права и что, если подсунут вредное?»
    спроси про дежурство — «кто чинит в 2 ночи и кто за это платит?»
    спроси про канал — «откуда люди будут его запускать?»

ПОРЯДОК запуска (а не «всё сразу на весь отдел»):
    1. выбери задачу: высокая ценность + низкий риск ошибки
    2. включи наблюдаемость С ПЕРВОГО ДНЯ
    3. измерь на маленьком потоке: счёт, сбои, реальную пользу
    4. ТОЛЬКО ПОТОМ масштабируй на весь поток
# нет ответов на вопросы сверху → это ещё демо, а не план прода

Видишь разницу? Зрелый запуск — это не «запускаем в понедельник на всех», а последовательность: высокоценное и низкорисковое → наблюдаемость с первого дня → измерь на маленьком → масштабируй. Каждый шаг даёт тебе цифры, прежде чем ты увеличишь ставку. Прыжок сразу в полный зал — это ставка вслепую, и именно так теряют бюджеты.

Прежде чем идти дальше — на секунду задумайся: из этих пяти статей какую подрядчики «забывают» показать чаще всего именно в твоей сфере? Сейчас проверим на пяти решениях.

🎮 Подрядчик показал демо. Что спросишь до запуска?

Тебе принесли блестящее демо AI-агента и просят дать добро на запуск. Перед тобой пять решений — по одному на каждую скрытую статью прода. В каждом выбери ход, который ведёт себя как владелец, понимающий, что демо ≠ прод. Это не про «правильную кнопку», а про оценку зрелости запуска — жми вариант, и сразу увидишь разбор. После всех пяти будет итог.

📖 Ключевые понятия

Деплой (выкат)
Перевод AI-решения из тестового состояния в реальную эксплуатацию — открытие зала для настоящих гостей. «Демо работает» отвечает лишь на вопрос «блюдо в принципе получается»; деплой добавляет всё остальное: нагрузку, сбои, безопасность, поддержку.
Прод (промышленная эксплуатация)
Реальная работа системы на потоке, а не показ. Пятница вечером с полным залом против репетиции на двух гостях. Здесь вылезают скрытые статьи, которых не видно в демо.
Стоимость владения (TCO, total cost of ownership)
Не «сколько стоило купить», а «сколько стоит держать живым за всё время»: токены под нагрузкой, мониторинг, поддержка, обработка сбоев, безопасность, дежурство. Цена покупки — первый чек; стоимость владения — все чеки до конца жизни ресторана.
Наблюдаемость (observability)
Возможность видеть, что агент делает в проде: где тормозит, сколько жжёт, не посыпалось ли качество. Камеры на кухне. Правило: включать с первого дня, а не когда уже горит. Подробно — в теме 11.1.
Запуск из привычного канала
Возможность дёрнуть агента прямо из инструмента, которым и так пользуются (Slack, почта, расписание, событие в системе). Главный рычаг того, что инструментом реально начнут пользоваться: привычный канал = используют, отдельный портал = забывают.

🛡️ Частые заблуждения

«Демо работает — значит, дело почти сделано, осталось запустить»

Работающее демо — это примерно 20% пути, а не 90. Оно показывает только, что блюдо в принципе получается. Остальные 80% — токены под нагрузкой, мониторинг, обработка сбоев, безопасность и поддержка — на витрине не видны и появляются только в проде. «Запустить» — это и есть та самая большая часть.

«Раз посчитали стоимость разработки — мы знаем, во что это обойдётся»

Стоимость разработки — это первый чек. А держать систему живой стоит дальше каждый месяц: токены на реальном потоке, люди на мониторинге и поддержке, дежурство на сбои. Это и есть стоимость владения, и она часто больше цены покупки. Считать надо её, а не только ценник на витрине.

«Сделаем хорошего агента — пользователи сами к нему потянутся»

Не потянутся, если до него надо специально идти. Люди пользуются тем, что под рукой. Агент, который запускается из привычного Slack или почты, живёт; агент за отдельным порталом с отдельным логином умирает через неделю, каким бы умным он ни был. Качество решения и то, будут ли им пользоваться, — два разных вопроса.

🧠 AI-чутьё (AI Judgment)

Демо — это витрина; платишь и живёшь ты со стоимостью владения

Главная рамка темы простая и спасает бюджеты: работающее демо — это начало пути, а не конец. Оно отвечает на единственный вопрос — получается ли блюдо в принципе. На все остальные вопросы — во сколько обойдётся поток, как мы увидим сбой, кто чинит ночью, не разведут ли агента вредными данными, станут ли им вообще пользоваться — отвечает прод, и эти ответы стоят денег. Оценивая любое блестящее демо, мысленно прикладывай не «работает ли оно», а «что стоит между ним и реальным запуском, и кто за это платит».

Отсюда два практических правила владельца. Первое: начинай с задачи высокоценной и низкорисковой, и включай наблюдаемость с первого дня. Не «запускаем на весь отдел в понедельник», а «берём один понятный кусок, ставим камеры, измеряем на маленьком потоке — и только потом масштабируем». Каждый шаг даёт цифры, прежде чем ты повышаешь ставку. Второе правило про приживаемость (adoption — приживётся ли инструмент): триггер из привычного канала — Slack, почта, расписание — означает, что им будут пользоваться; отдельный портал означает, что про него забудут. Самый чистый и дешёвый агент бесполезен, если до него не доходят руки.

И последнее, что отличает зрелого заказчика от наивного: к каждому демо держи короткий чек-лист пяти скрытых статей — токены под нагрузкой, мониторинг, сбои, безопасность, дежурство. Если подрядчик не может внятно ответить хотя бы по одной — перед тобой ещё демо, а не план прода. И теперь ты это видишь.

🎯 Практика

Одно задание на пять минут — оно превращает «демо ≠ прод» из лозунга в твой рабочий чек-лист.

  1. Возьми любой AI-инструмент или агента, который тебе показывали или предлагали (на работе, у подрядчика, в рекламе). Запиши в одну строку, что именно было в демо.
  2. Пройди по пяти скрытым статьям прода и для каждой запиши вопрос, который ты задал бы перед запуском: токены под нагрузкой (во сколько обойдётся месяц реального потока?), мониторинг (как мы увидим сбой — из приборов или от клиента?), сбои (что агент делает, когда внешняя система молчит?), безопасность (какие у него права и защита от вредных входящих?), дежурство (кто чинит ночью и кто за это платит?).
  3. Добавь шестой вопрос — про канал: откуда люди будут его запускать? Если ответ «надо зайти на отдельный портал» — отметь это как риск того, что инструментом не станут пользоваться. Сохрани этот лист из шести вопросов: это твоя постоянная заготовка к любому будущему AI-демо.

Помнишь ту вещь из начала страницы, которая отлично работала «на показ», а в эксплуатации оказалась дороже и хлопотнее? С AI-демо ровно так же — но теперь у тебя есть шесть вопросов, которые вытаскивают скрытое до того, как ты подписался. Это и есть разница между «нам обещали окупаемость за полгода» и «я знаю, во что мы ввязываемся».

🔗 Что дальше

Следующая тема: 11.10 — Не зови шефа жарить тост: cost/latency-оптимизация. Когда прод уже работает, начинается тонкая настройка счёта: как сажать простые задачи на дешёвого «младшего повара», а дорогого «шефа» звать только на сложное — и резать стоимость, не теряя качества.

Связанные темы:

Полезное из пройденного:

Дальше в курсе: