ACI: эргономика кухни для модели
🤔 Зачем это читать
Внедрили AI-агента, который должен сам оформлять возвраты. Неделю он работает, а потом ловите дичь: клиент попросил вернуть товар на сумму 3500 рублей, а агент оформил возврат на 3 рубля 50 копеек. Команда смотрит на это и выносит вердикт: «модель тупая, давайте брать модель помощнее». Берёте дороже. Через месяц — та же ошибка, только в другом месте.
А правда была вот в чём: инструмент, через который агент оформлял возврат, ждал сумму в копейках, и нигде не было написано — ни в рублях, ни в копейках. Модель угадала неправильно. Любой человек на её месте, не получив инструкции, угадал бы так же. Дело было не в «уме» повара. Дело в том, что банка с солью и банка с сахаром стояли без подписей.
Знакомо? Это самая дорогая путаница в работе с агентами: «глупую» ошибку списывают на слабую модель и платят за модель помощнее, хотя сломан был инструмент — кривой, непонятно описанный, без защиты от очевидной ошибки. Деньги уходят не туда, проблема остаётся.
После этой темы ты научишься смотреть на ошибку агента и разделять: это правда модель не справилась — или ей дали неудобный, плохо описанный инструмент? Этот разрез экономит и нервы, и бюджет: чинить инструмент почти всегда дешевле и быстрее, чем менять модель.
Задержись на 10 секунд. Вспомни прибор или программу у себя на работе, которым неудобно пользоваться: кнопка не там, поле без подписи, форма, где легко промахнуться. И сколько «глупых» ошибок люди делают именно из-за него, а не по глупости. Подержи это в голове — с моделью ровно та же история.
🔪 Удобство инструмента — это половина результата
В теме про инструменты агента мы договорились: модель сама ничего не трогает, она только говорит словами «возьми этот инструмент с такими-то параметрами», а реальную работу делает приделанная программа — инструмент. Повар выписывает требование, исполнитель его выполняет. Теперь — про то, насколько удобно повару этим требованием пользоваться.
У этого удобства есть название. ACI (agent-computer interface — интерфейс между агентом и инструментами). Расшифровывать по буквам не надо, держи смысл: ACI — это то, насколько инструмент удобен и понятен самой модели. Не тебе, не разработчику, а повару, который будет им пользоваться вслепую, по одному описанию.
Сравни две кухни. На первой банки подписаны («соль», «сахар», «сода»), нож лежит на своём месте и острый, у каждого ящика — этикетка. На второй всё то же самое, но без подписей, нож тупой, а ящики надо открывать наугад. Повар один и тот же, опытный. Но на второй кухне он будет ошибаться постоянно — и не потому, что разучился готовить. Потому что кухня устроена так, что в ней легко ошибиться.
Вот это «насколько легко ошибиться» и есть ACI. Хороший ACI — это подписанные контейнеры, удобные ножи, всё под рукой. И защита от дурака — по-японски это называют poka-yoke (буквально «защита от случайной ошибки»): когда инструмент устроен так, что сделать неправильно просто нельзя. Розетку нельзя воткнуть не той стороной — это poka-yoke. Так же можно сделать и инструмент для модели.
📋 Из чего складывается «удобство для модели»
ACI — это не одна вещь, а несколько простых вещей вместе. Тебе как владельцу не нужно их строить руками, но полезно знать, что именно делает инструмент удобным — чтобы спросить с тех, кто строит.
- Понятное описание. Каждый инструмент модели сопровождает текстовое описание: что он делает, когда его звать. Качество этого описания решает едва ли не всё. «Оформить возврат» — мутно. «Оформить возврат товара по номеру заказа; сумма указывается в рублях, копейки через точку» — повар уже не промахнётся.
- Понятные параметры. Какие данные инструмент ждёт и в каком виде. Рубли или копейки? Дата как «30.05.2026» или как-то иначе? Если это не сказано прямо — модель угадывает, а угадывание и есть источник «глупых» ошибок.
- Защита от дурака (poka-yoke). Инструмент устроен так, что очевидную ошибку сделать нельзя. Поле суммы не принимает отрицательное число. Дату нельзя поставить из прошлого века. Нельзя выбрать товар, которого нет в заказе. Чем больше таких заслонок — тем меньше шансов на промах.
- Всё под рукой и ничего лишнего. Если у модели на выбор два десятка похожих инструментов с мутными названиями — она будет путаться, какой брать, как путается повар на заваленном столе. Меньше инструментов, четче названия — меньше ошибок.
Заметь: всё это — про текст и устройство инструмента, а не про «ум» модели. Это та самая работа, которую делают разработчики, когда «приделывают руки». И именно её чаще всего недоделывают, а потом удивляются, что агент «тупит».
🩺 Как отличить «модель не смогла» от «инструмент кривой»
Это центр всей темы, и тут ты научишься на глаз отличать одно от другого. Когда агент ошибся, прежде чем кричать «модель плохая», задай себе три вопроса — они почти всегда выводят на настоящую причину.
- Ошибка похожа на «угадал не тот формат»? Перепутал рубли и копейки, дату записал не так, положил не в то поле. Это почти всегда ACI: инструмент не сказал чётко, чего ждёт. Модель тут ни при чём — на её месте промахнулся бы любой.
- Ошибка повторяется одинаково? Если агент спотыкается в одном и том же месте каждый раз — это не «иногда повар не в духе», это кривой инструмент или мутное описание. Стабильная ошибка — почти верный признак проблемы в ACI, а не в модели.
- Это требовало рассуждения, которого модель не вытянула? Вот это — уже про модель. Если задача правда сложная (сопоставить противоречивые документы, уловить тонкий смысл), а инструмент был понятный и удобный — тогда да, возможно, нужна модель посильнее. Но это куда более редкий случай, чем кажется.
Грубое правило, которое стоит запомнить: «глупая», механическая, повторяющаяся ошибка — почти всегда инструмент. Редкая, на по-настоящему сложном суждении — возможно, модель. Девять из десяти «модель тупит» на проверку оказываются «инструмент кривой».
# ПЛОХОЙ ACI — модель вынуждена угадывать
инструмент: оформить_возврат
описание: «оформляет возврат»
параметры: заказ, сумма
# → рубли или копейки? что за «заказ» — номер или название? повар гадает
# ХОРОШИЙ ACI — гадать не о чем
инструмент: оформить_возврат
описание: «оформляет возврат товара по номеру заказа из чека гостя»
параметры:
номер_заказа (как в чеке, например «А-10472»)
сумма_в_рублях (число, копейки через точку, например 3500.00)
защита: сумма не больше суммы заказа; отрицательную не принимает
# → перепутать формат почти невозможно — это и есть poka-yoke
💸 Почему чинить инструмент дешевле, чем менять модель
Вот сторона, которая важна тебе как владельцу, а не повару. Когда агент ошибается, у тебя на столе обычно два пути.
Путь первый, дорогой: «возьмём модель помощнее». Это значит — переплата за каждый запрос (мощные модели дороже), часто медленнее ответ, заново всё проверить, и нет гарантии, что новая модель не споткнётся там же. А если причина была в инструменте — она споткнётся там же, просто за бо́льшие деньги.
Путь второй, дешёвый: «поправим инструмент». Дописать в описание «сумма в рублях», добавить заслонку «не принимать отрицательное», убрать три лишних похожих инструмента. Это работа на часы, а не на недели, и она не требует менять ничего вокруг. И чаще всего именно она убирает «глупые» ошибки начисто.
Поэтому грамотный владелец, увидев промах агента, не бросается сразу менять повара. Он сначала идёт смотреть кухню: а удобно ли вообще было повару? Подписаны ли банки? Это и есть инвестиция в ACI — самая недооценённая и при этом самая окупаемая в работе с агентами.
Запомни одной фразой: прежде чем менять повара, проверь, не сломана ли его кухня. Сэкономишь и деньги, и время — и часто проблема решится сама.
Прежде чем смотреть чужие кейсы — вспомни последнюю «глупую» ошибку агента или программы у тебя на работе. Как думаешь: это был кривой инструмент или правда не хватило ума? Подержи свою версию в голове — сейчас проверим чутьё на пяти разборах.
🎮 Кто виноват: модель или инструмент?
Пять разборов с работы. В каждом агент ошибся, и команда уже спорит, что чинить. Твоя задача — поставить диагноз: проблема в самой модели (надо думать про модель посильнее) или в инструменте / его описании (надо чинить ACI)? Жми кнопку — сразу увидишь разбор. Это не экзамен, а тренировка: учишься на глаз отличать одно от другого.
📖 Ключевые понятия
- ACI (интерфейс между агентом и инструментами)
- Насколько инструмент удобен и понятен самой модели: ясное описание, понятные параметры, защита от ошибки. Эргономика кухни для повара-модели. Хороший ACI — банки подписаны, нож острый, всё под рукой. Плохой — повар угадывает и промахивается, хотя готовить умеет.
- Защита от дурака (poka-yoke)
- Инструмент устроен так, что сделать очевидную ошибку просто нельзя: поле суммы не принимает отрицательное число, нельзя выбрать товар не из заказа. Как розетка, которую не воткнуть не той стороной. Дешёвый способ убрать целый класс «глупых» промахов.
- Описание инструмента
- Текст, который объясняет модели, что делает инструмент, когда его звать и какие данные в каком виде он ждёт. Качество этого описания решает едва ли не больше, чем мощность модели: мутное описание = угадывание = ошибки.
- «Глупая» ошибка агента
- Механический промах, не требующий ума: перепутал формат, положил не в то поле, взял не тот инструмент. Почти всегда симптом плохого ACI, а не слабой модели. Сигнал чинить кухню, а не менять повара.
🛡️ Частые заблуждения
«Агент ошибся на простом действии — значит, модель слабая, надо брать помощнее»
Чаще всего наоборот: чем «глупее» и механичнее ошибка, тем вероятнее, что виноват инструмент, а не модель. Перепутать рубли и копейки можно только там, где не сказано, что писать. Модель помощнее на кривом инструменте промахнётся ровно так же — просто дороже. Сначала проверь кухню.
«Описание инструмента — это для разработчиков, на результат оно не влияет»
Влияет, и сильно. Именно из описания модель понимает, что за инструмент, когда его брать и в каком виде передавать данные. Мутное описание заставляет модель угадывать — а угадывание и есть главный источник «глупых» ошибок. Хорошее описание иногда лечит то, на что собирались тратить деньги сменой модели.
«Чем больше инструментов дадим агенту, тем он умнее и универсальнее»
До определённого предела — да, а дальше наоборот. Два десятка похожих инструментов с мутными названиями — это заваленный стол, на котором повар путается, какой нож брать. Меньше инструментов и чёткие названия часто дают более надёжного агента, чем «швейцарский нож на сто лезвий».
🧠 AI-чутьё (AI Judgment)
Прежде чем менять повара — проверь, не сломана ли его кухня
Главный практический вывод темы стоит того, чтобы носить его с собой: когда агент «тупит», первая гипотеза — не «слабая модель», а «неудобный инструмент». Эта гипотеза проверяется за минуты (посмотреть описание и параметры инструмента), а проверка «давайте возьмём модель помощнее» стоит недели и денег — и часто заканчивается тем же промахом.
За этим стоит простая экономика. Поправить инструмент — дописать формат в описание, добавить заслонку, убрать лишнее — это работа на часы и не требует менять ничего вокруг. Сменить модель — это дороже за каждый запрос, дольше по ответу, заново всё проверить и без гарантии, что поможет. Инвестиция в удобство инструментов почти всегда дешевле и надёжнее смены модели. Грамотный владелец это знает и не путает кривую кухню с плохим поваром.
И держи рамку на будущее: к любому «агент ошибается, давайте брать модель посильнее» мысленно прикладывай вопрос — а удобно ли вообще было модели этим инструментом пользоваться? В девяти случаях из десяти ответ на этот вопрос и есть настоящее решение проблемы. И стоит оно в разы дешевле.
🎯 Практика
Одно задание на пять минут — оно превращает «диагностику ACI» из теории в твой рабочий рефлекс.
- Вспомни (или представь) одну задачу, которую ты хотел бы отдать агенту, где есть конкретное действие: оформить, записать, отправить, посчитать. Например — «занести нового клиента в базу».
- Выпиши, какие данные для этого действия нужны (имя, телефон, сумма, дата) и в каком виде их легко перепутать. Телефон с плюсом или без? Дата в каком порядке? Сумма в рублях или копейках? Каждое такое «непонятно как» — будущая «глупая» ошибка агента.
- Для двух самых скользких мест придумай защиту от дурака: что прямо запретить (нельзя отрицательную сумму), что прописать в описании одним примером («дата как 30.05.2026»). Этот короткий список — и есть техзадание на хороший ACI, которое ты как владелец имеешь полное право спросить с тех, кто строит агента.
Помнишь тот неудобный прибор с работы из начала — кнопка не там, поле без подписи? Теперь у тебя есть язык, чтобы объяснить, почему агент «ошибается» на ровном месте: ему просто дали такую же неудобную кухню. И есть что с этим делать, не переплачивая за модель.