Демо ≠ прод: деплой и стоимость владения
🤔 Зачем это читать
Подрядчик показывает демо. Агент разбирает заявку, лезет в систему, пишет складный ответ — всё летает. Руководство в восторге, тебе говорят «отлично, запускаем на весь отдел с понедельника». Ты киваешь: работает же, что там осталось — кнопку нажать. Через месяц приходит счёт за токены втрое больше обещанного, дважды за неделю агент молча падал на полдня, а на планёрке всплывает вопрос, от которого тишина в комнате: «а кто это вообще поддерживает, если оно сломается в два часа ночи?».
Знакомо? Или другой вариант, ещё обиднее: запустили чисто, всё работает, счета в норме — а пользоваться никто не стал. Потому что чтобы дойти до агента, надо открыть отдельный портал, вспомнить логин, найти вкладку. Люди забивают и делают по-старому. Деньги потрачены, инструмент живой и здоровый, толку ноль.
Оба раза дело в одном: работающее демо — это примерно 20% пути, а не 90. На демо ты видел только зал в день репетиции, когда пришли два своих гостя. Прод (промышленная эксплуатация, реальная работа на потоке) — это пятница вечером, полный зал, и счёт идёт не за один красивый ответ, а за тысячи под нагрузкой плюс всё, что вокруг: мониторинг, дежурство, обработка сбоев, безопасность.
После этой темы ты сможешь посмотреть на любое блестящее демо и оценить, что ещё стоит между ним и реальным запуском — какие скрытые статьи затрат и какие риски подрядчик «забыл» показать. Это граница между «нам обещали окупаемость за полгода» и «я знаю, во что мы на самом деле ввязываемся».
Задержись на 10 секунд. Вспомни любую вещь, которая отлично работала «на показ», а в реальной эксплуатации оказалась куда дороже и хлопотнее: ремонт, который «на пару дней», машину с виду идеальную, программу из красивой презентации. Что вылезло потом, чего не было видно на витрине? Подержи это в голове — с AI-демо ровно та же история, и сейчас мы разложим, что именно прячется за витриной.
🍽 Репетиция на двух гостях — ещё не пятница вечером
Представь, ты открываешь ресторан. Кухню собрали, повар готовит, ты позвал пару друзей на пробный ужин — всё прошло гладко, блюда вышли вовремя, гости довольны. Велик соблазн сказать: «готово, открываемся завтра на полный зал». Любой опытный ресторатор тут схватится за голову. Потому что репетиция на двух гостях и наплыв в пятницу вечером — это два разных мира.
В пятницу вечером вылезает всё, чего не было видно на репетиции: продуктов уходит в десять раз больше и по другой цене, на одной станции затык — и встаёт весь зал, у кого-то аллергия, которую надо отловить, а если повар в разгар смены порежется — нужен кто-то, кто подхватит прямо сейчас, а не «разберёмся утром». Запустить AI-агента в работу — это ровно открытие зала, по-умному деплой (выкат, перевод в реальную эксплуатацию). И «демо работает» отвечает только на один вопрос из десяти: блюдо в принципе получается. На остальные девять отвечает прод.
Вот что прод добавляет поверх работающего демо — пять скрытых статей, которые на витрине не показывают.
💸 Пять скрытых статей, которые витрина не показывает
Первая: токены под нагрузкой — это другой счёт. На демо агент обработал три заявки, ты увидел копейки. В проде их три тысячи в день, и каждая — это не один ответ, а несколько кругов агентного цикла (помнишь из 5.1 — цикл «Думаю — Делаю — Пробую»: на сложной задаче агент ходит в систему по нескольку раз, и каждый круг тарифицируется отдельно). Умножь стоимость одной заявки на реальный поток — и «копейки» превращаются в строку бюджета, которую забыли заложить. Цену надо считать не за красивый показ, а за месяц работы на потоке.
Вторая: наблюдаемость, мониторинг и поддержка. Демо никто не сторожит. За продом надо смотреть постоянно: что агент делает, где тормозит, сколько жжёт, не посыпалось ли качество. Это камеры на кухне — наблюдаемость (observability), про которую отдельная тема 11.1 — Камеры на кухне. Тут важно одно правило, которое экономит больше всего нервов: включай наблюдаемость с первого дня, а не когда уже горит. Без неё ты узнаешь о проблеме не из приборов, а от разозлённого клиента — а это поздно и дорого.
Третья: обработка сбоев. Внешняя система не ответила, формат пришёл кривой, что-то отвалилось. На демо звёзды сошлись и всё было идеально. В проде сбои — не «если», а «когда». Агент должен на них как-то реагировать: повторить попытку, пойти запасным путём, в крайнем случае честно сказать «не смог» и позвать человека — а не молча падать или выдавать мусор с уверенным лицом. Это отдельное хозяйство, которого в демо обычно нет вообще.
Четвёртая: безопасность. На демо агенту скармливают чистенькие, заранее отобранные данные. В проде в него полетит всё подряд, включая попытки обмануть и подсунутые в текст вредные инструкции. Плюс права: агент с доступом к боевым системам — это не игрушка, и его надо ограничивать (этой темы мы касались в 4.3 — Право посмотреть против права изменить и 4.7 — Безопасность computer use). На витрине этого риска не видно — он вылезает в проде.
Пятая, самая неудобная: дежурство «кто чинит в два ночи». Прод живёт круглосуточно. Когда он сломается в нерабочее время — а он сломается — должен быть конкретный человек или служба, кто это поднимет. Не «команда подрядчика», написанная мелким шрифтом, а ответ на прямой вопрос: кому звонить и кто платит за их время. Если на этот вопрос нет ответа до запуска — он всплывёт в худший момент.
Видишь общее? Ни одна из пяти статей не видна на демо, и все пять — это деньги и труд после запуска. Сумма всего этого за всё время жизни системы называется стоимость владения (TCO, total cost of ownership): не «сколько стоило купить», а «сколько стоит держать живым». Цена покупки — это первый чек. Стоимость владения — это все чеки до конца жизни ресторана.
🛠 Три вещи, которые превращают демо в работающий прод
Хорошая новость: это не магия, а понятная инженерия запуска. Тебе не надо уметь это делать руками — но как владельцу полезно знать, что эти три штуки вообще существуют, чтобы спросить подрядчика «а это у вас есть?». На пальцах.
Пауза и продолжение без повторной оплаты. Агентская задача бывает долгой: запустил разбор большого отчёта, а на середине нужно подождать данные из другой системы или утверждение человека. Плохой вариант — агент всё бросает и при следующем запуске считает заново, заново платя за уже сделанную работу. Хороший — задачу можно поставить на паузу и потом продолжить с того же места, как заказ на кухне откладывают «на потом», а не выбрасывают начатое блюдо. Это прямая экономия: не платишь дважды за одно и то же.
Состояние снаружи — агент как «чистая функция». Звучит технически, а смысл простой и важный. Вся память о задаче — что уже сделано, на каком шаге, какие данные собраны — должна храниться снаружи агента, на отдельном «бланке заказа», а не в голове конкретного запущенного экземпляра. Тогда любой повар, заглянув в бланк, продолжит с того же места — и, что ценнее всего, ты можешь в точности воспроизвести, что произошло, когда что-то пошло не так. Это фундамент аудита (разбор, кто что сделал и почему) и воспроизводимости: инцидент можно проиграть заново по бланку, а не гадать. Без этого «почему агент так решил» остаётся вечной загадкой.
Запуск из привычного канала. И самое недооценённое. Люди пользуются тем, что под рукой. Если агента можно дёрнуть прямо из Slack (рабочий мессенджер, корпоративный чат вроде Telegram для команды), из почты, по расписанию или по событию в системе, которой и так пользуются каждый день, — им будут пользоваться. Если для этого нужно идти в отдельный портал, который надо специально открывать и помнить, — про него забудут через неделю. Это не каприз, а закон жизни: инструмент в привычном канале используют, инструмент за отдельной дверью — нет. Самый чистый, дешёвый и надёжный агент бесполезен, если до него не доходят руки.
🧾 Как звучит зрелый план запуска (на пальцах)
Сравни два разговора с подрядчиком. Это не код, а логика на человеческом языке — но именно она отделяет «нам обещали» от «мы понимаем, во что ввязываемся».
ЕСЛИ показали только «демо работает»:
спроси про токены под РЕАЛЬНОЙ нагрузкой за месяц, не за показ
спроси про наблюдаемость — «как мы увидим, что оно сломалось?»
спроси про сбои — «что агент делает, когда система не ответила?»
спроси про безопасность — «какие у него права и что, если подсунут вредное?»
спроси про дежурство — «кто чинит в 2 ночи и кто за это платит?»
спроси про канал — «откуда люди будут его запускать?»
ПОРЯДОК запуска (а не «всё сразу на весь отдел»):
1. выбери задачу: высокая ценность + низкий риск ошибки
2. включи наблюдаемость С ПЕРВОГО ДНЯ
3. измерь на маленьком потоке: счёт, сбои, реальную пользу
4. ТОЛЬКО ПОТОМ масштабируй на весь поток
# нет ответов на вопросы сверху → это ещё демо, а не план прода
Видишь разницу? Зрелый запуск — это не «запускаем в понедельник на всех», а последовательность: высокоценное и низкорисковое → наблюдаемость с первого дня → измерь на маленьком → масштабируй. Каждый шаг даёт тебе цифры, прежде чем ты увеличишь ставку. Прыжок сразу в полный зал — это ставка вслепую, и именно так теряют бюджеты.
Прежде чем идти дальше — на секунду задумайся: из этих пяти статей какую подрядчики «забывают» показать чаще всего именно в твоей сфере? Сейчас проверим на пяти решениях.
🎮 Подрядчик показал демо. Что спросишь до запуска?
Тебе принесли блестящее демо AI-агента и просят дать добро на запуск. Перед тобой пять решений — по одному на каждую скрытую статью прода. В каждом выбери ход, который ведёт себя как владелец, понимающий, что демо ≠ прод. Это не про «правильную кнопку», а про оценку зрелости запуска — жми вариант, и сразу увидишь разбор. После всех пяти будет итог.
📖 Ключевые понятия
- Деплой (выкат)
- Перевод AI-решения из тестового состояния в реальную эксплуатацию — открытие зала для настоящих гостей. «Демо работает» отвечает лишь на вопрос «блюдо в принципе получается»; деплой добавляет всё остальное: нагрузку, сбои, безопасность, поддержку.
- Прод (промышленная эксплуатация)
- Реальная работа системы на потоке, а не показ. Пятница вечером с полным залом против репетиции на двух гостях. Здесь вылезают скрытые статьи, которых не видно в демо.
- Стоимость владения (TCO, total cost of ownership)
- Не «сколько стоило купить», а «сколько стоит держать живым за всё время»: токены под нагрузкой, мониторинг, поддержка, обработка сбоев, безопасность, дежурство. Цена покупки — первый чек; стоимость владения — все чеки до конца жизни ресторана.
- Наблюдаемость (observability)
- Возможность видеть, что агент делает в проде: где тормозит, сколько жжёт, не посыпалось ли качество. Камеры на кухне. Правило: включать с первого дня, а не когда уже горит. Подробно — в теме 11.1.
- Запуск из привычного канала
- Возможность дёрнуть агента прямо из инструмента, которым и так пользуются (Slack, почта, расписание, событие в системе). Главный рычаг того, что инструментом реально начнут пользоваться: привычный канал = используют, отдельный портал = забывают.
🛡️ Частые заблуждения
«Демо работает — значит, дело почти сделано, осталось запустить»
Работающее демо — это примерно 20% пути, а не 90. Оно показывает только, что блюдо в принципе получается. Остальные 80% — токены под нагрузкой, мониторинг, обработка сбоев, безопасность и поддержка — на витрине не видны и появляются только в проде. «Запустить» — это и есть та самая большая часть.
«Раз посчитали стоимость разработки — мы знаем, во что это обойдётся»
Стоимость разработки — это первый чек. А держать систему живой стоит дальше каждый месяц: токены на реальном потоке, люди на мониторинге и поддержке, дежурство на сбои. Это и есть стоимость владения, и она часто больше цены покупки. Считать надо её, а не только ценник на витрине.
«Сделаем хорошего агента — пользователи сами к нему потянутся»
Не потянутся, если до него надо специально идти. Люди пользуются тем, что под рукой. Агент, который запускается из привычного Slack или почты, живёт; агент за отдельным порталом с отдельным логином умирает через неделю, каким бы умным он ни был. Качество решения и то, будут ли им пользоваться, — два разных вопроса.
🧠 AI-чутьё (AI Judgment)
Демо — это витрина; платишь и живёшь ты со стоимостью владения
Главная рамка темы простая и спасает бюджеты: работающее демо — это начало пути, а не конец. Оно отвечает на единственный вопрос — получается ли блюдо в принципе. На все остальные вопросы — во сколько обойдётся поток, как мы увидим сбой, кто чинит ночью, не разведут ли агента вредными данными, станут ли им вообще пользоваться — отвечает прод, и эти ответы стоят денег. Оценивая любое блестящее демо, мысленно прикладывай не «работает ли оно», а «что стоит между ним и реальным запуском, и кто за это платит».
Отсюда два практических правила владельца. Первое: начинай с задачи высокоценной и низкорисковой, и включай наблюдаемость с первого дня. Не «запускаем на весь отдел в понедельник», а «берём один понятный кусок, ставим камеры, измеряем на маленьком потоке — и только потом масштабируем». Каждый шаг даёт цифры, прежде чем ты повышаешь ставку. Второе правило про приживаемость (adoption — приживётся ли инструмент): триггер из привычного канала — Slack, почта, расписание — означает, что им будут пользоваться; отдельный портал означает, что про него забудут. Самый чистый и дешёвый агент бесполезен, если до него не доходят руки.
И последнее, что отличает зрелого заказчика от наивного: к каждому демо держи короткий чек-лист пяти скрытых статей — токены под нагрузкой, мониторинг, сбои, безопасность, дежурство. Если подрядчик не может внятно ответить хотя бы по одной — перед тобой ещё демо, а не план прода. И теперь ты это видишь.
🎯 Практика
Одно задание на пять минут — оно превращает «демо ≠ прод» из лозунга в твой рабочий чек-лист.
- Возьми любой AI-инструмент или агента, который тебе показывали или предлагали (на работе, у подрядчика, в рекламе). Запиши в одну строку, что именно было в демо.
- Пройди по пяти скрытым статьям прода и для каждой запиши вопрос, который ты задал бы перед запуском: токены под нагрузкой (во сколько обойдётся месяц реального потока?), мониторинг (как мы увидим сбой — из приборов или от клиента?), сбои (что агент делает, когда внешняя система молчит?), безопасность (какие у него права и защита от вредных входящих?), дежурство (кто чинит ночью и кто за это платит?).
- Добавь шестой вопрос — про канал: откуда люди будут его запускать? Если ответ «надо зайти на отдельный портал» — отметь это как риск того, что инструментом не станут пользоваться. Сохрани этот лист из шести вопросов: это твоя постоянная заготовка к любому будущему AI-демо.
Помнишь ту вещь из начала страницы, которая отлично работала «на показ», а в эксплуатации оказалась дороже и хлопотнее? С AI-демо ровно так же — но теперь у тебя есть шесть вопросов, которые вытаскивают скрытое до того, как ты подписался. Это и есть разница между «нам обещали окупаемость за полгода» и «я знаю, во что мы ввязываемся».