Почему «точное совпадение» — плохая метрика (LLM-as-Judge)

📏 Дословная сверка ломается на первом же синониме

Начнём с того, почему вообще тянет к «точному совпадению». Оно честное и дешёвое: сравнил две строки символ в символ — совпало или нет, спорить не о чем, считается мгновенно и бесплатно. И для многих вещей это ровно то, что нужно. Агент вернул код страны «RU»? Сумму «58 000»? Ответ «да»/«нет»? Тут дословная сверка идеальна: правильный ответ ровно один, и любое отклонение — это реальная ошибка.

Беда начинается там, где правильных формулировок много. А у живого текста их всегда много. Посмотри на самый простой случай — оба ответа верны на сто процентов, но дословная сверка одному из них ставит ноль.

И это самый безобидный пример — всего лишь перестановка слов. В реальной работе агент перефразирует, добавляет вежливое вступление, пишет «18 тысяч рублей» вместо «18 000 ₽», отвечает развёрнуто там, где в эталоне сухо. Каждое такое расхождение дословная сверка считает ошибкой. В итоге метрика показывает не «насколько агент хорош», а «насколько дословно он попал в твою конкретную формулировку» — а это никому не нужное число. Хуже того: оно системно занижает качество, и ты принимаешь решения на заниженных цифрах.

👅 Дегустатор не сверяет блюдо с фоткой из меню

Вернёмся на кухню — здесь всё встаёт на места. Представь, ты владелец, и тебе надо оценить, хорошо ли повар приготовил блюдо. Как это делает нормальный дегустатор? Он пробует и оценивает по критериям: достаточно ли посолено, сочное ли мясо, аккуратная ли подача, та ли температура. Чек-лист качества в голове — и по нему вердикт.

А теперь представь дегустатора-формалиста, который оценивает иначе: достаёт фотографию блюда из меню и сверяет тарелку с фоткой пиксель в пиксель. Петрушка лежит не под тем углом? Соус капнул левее, чем на картинке? Брак, отправить на кухню. При этом блюдо может быть бесподобным на вкус — но он же не пробовал, он сверял картинку. Абсурд, правда? Так вот, дословная сверка ответа с эталоном — это и есть тот самый формалист с фоткой. Он меряет внешнее совпадение, а не качество.

Нормальный способ оценить текст — как нормальный дегустатор: по рубрике (rubric, чек-лист критериев качества). Не «совпало ли слово в слово с эталоном», а «верны ли факты? отвечает ли на вопрос? вежливо ли? нет ли отсебятины?». Это оценка по смыслу и по делу — ровно то, что сделал бы человек, только нам нужно как-то поручить это машине, потому что ответов — тысячи, и руками каждый не перечитаешь.

⚖️ LLM-судья: отдельный дегустатор с чек-листом

И вот решение, к которому пришла индустрия: раз оценку по смыслу хорошо делает человек, но людей не хватает на тысячи ответов — посадим другую языковую модель в роли дегустатора. Этот приём называется LLM-судья (LLM-as-Judge, «модель в роли судьи»): одна модель отвечает на вопросы, а вторая, отдельная, оценивает эти ответы по рубрике — как живой эксперт, но быстро и на любом объёме.

Ключевое слово — по рубрике. Судье не говорят «оцени, хорошо ли». Ему дают конкретный чек-лист, по которому ставить вердикт. Вот как это выглядит на пальцах — псевдокод, то есть логика на человеческом языке, не настоящий код.

Заметь три правила, без которых судья превращается в лотерею — их стоит держать в голове, даже если настраивать будет подрядчик:

🚫 Нельзя одной модели и готовить, и судить

Теперь самое важное правило, и оно интуитивно понятно любому, кто хоть раз сдавал работу. Нельзя поручать одной и той же модели и писать ответ, и оценивать его. Это всё равно что попросить повара самому поставить себе оценку за блюдо — он почти всегда поставит «отлично». Не из злого умысла: он просто не видит собственных слепых пятен, он же так и задумал.

Поэтому писатель и судья — две разные роли, две отдельные модели (или хотя бы два независимых вызова с разными ролями). Одна готовит, другая дегустирует свежим взглядом. Это та же логика «свежего глаза», что и в приёме 5.4 Producer-Critic, где отдельный критик проверяет работу автора: смысл один — кто делал, тот плохой судья своему делу. Разделил роли — получил честную оценку. Слил в одну — получил самолюбование с красивыми цифрами.

И держи в голове трезвую оговорку, прежде чем влюбляться в LLM-судью: судья — тоже языковая модель, и он тоже ошибается. Он может быть мягче к длинным ответам, поддаться на уверенный тон, иногда промахнуться по факту. Поэтому его не ставят и забывают: рубрику время от времени сверяют с живой человеческой оценкой на небольшой выборке — совпадает ли судья с тем, как оценил бы эксперт. Судья масштабирует здравый смысл на тысячи ответов, но не заменяет его насовсем. Об этом — в AI-чутье ниже.