Бригада параллельно: Parallelization (деление и голосование)

🍱 Деление (Sectioning): бригада готовит части банкета разом

В прошлой теме экспедитор у раздачи (это Routing / маршрутизация — когда заказ кидают на нужный цех) направлял каждый заказ туда, где его приготовят. Сегодня — следующий шаг: что делать, когда заказ один, но большой, и его части между собой не связаны.

Представь банкет: нужны горячее, салаты и десерт. Глупый вариант — посадить одного повара и заставить его сделать сначала всё горячее, потом все салаты, потом весь десерт. Очередь. Долго. А ведь салат не зависит от стейка, а десерт — ни от того ни от другого. Поэтому нормальная кухня делает иначе: гриль, холодный цех и кондитер работают одновременно, каждый над своей частью. А экспедитор в конце собирает тарелки воедино и отдаёт стол.

Вот это и есть распараллеливание делением (Parallelization / распараллеливание — несколько исполнителей работают разом; конкретно этот вид зовут Sectioning — деление на независимые части). Логика простая: режем задачу на куски, которые не зависят друг от друга, пускаем их одновременно, а в конце собираем результаты в один ответ. Это и есть приём «раздать-собрать» (map-reduce — раздал по исполнителям, собрал воедино; разберём его подробно отдельно). Выигрыш — скорость: банкет выходит не за сумму трёх готовок, а почти за одну, самую долгую из них.

Вернись к обзору поставщика из начала. Цены, отзывы и реквизиты — это три независимых куска. Гнать их в очередь — то же, что заставлять одного повара делать горячее-салат-десерт по порядку. Раздели на три параллельных проверки, собери в конце — и две с половиной минуты схлопнутся почти до самой долгой из трёх.

🗳 Голосование (Voting): три повара пробуют один соус

Второй вид распараллеливания — про другое. Тут задача одна и неделимая, резать нечего. Но решение по ней — спорное и важное, и доверять его одному прогону модели страшно.

На кухне это выглядит так. Соус один, попробовать его можно только целиком — на куски не порежешь. Но блюдо для VIP-стола, ошибиться нельзя. Поэтому шеф зовёт не одного, а трёх поваров: пробуйте по очереди и скажите каждый своё. Двое говорят «хорошо», один — «пересол». Большинство за «хорошо» — отдаём. Или наоборот: один сказал «отлично», двое — «несъедобно» — заворачиваем. Один язык мог ошибиться или «принюхаться». Три независимых — куда надёжнее.

Это распараллеливание голосованием (Voting / голосование): одну и ту же задачу прогоняют несколько раз — несколькими прогонами модели или даже разными моделями — и сравнивают ответы. Совпали — уверенность высокая. Разошлись — это сигнал «спорный случай, зови человека». Выигрыш тут не скорость (наоборот, дороже — несколько прогонов вместо одного), а надёжность. Поэтому голосование — это про подстраховку (по-английски такие меры зовут guardrails — защитные ограждения вокруг важного решения): модерация спорного контента, оценка рискованной заявки, проверка важной формулировки.

Вернись к снесённому комментарию партнёра из начала. Один прогон решил единолично — и снёс. Поставь на спорные случаи голосование тремя прогонами: трое за «оставить», один за «снести» — комментарий жив, а единоличной ошибки не случилось. Цена — лишние прогоны. Но для решения, которое бьёт по отношениям с партнёром, это копейки.

🚫 Где это ломается: не всё параллелится

А теперь главное, ради чего вся тема и нужна, — где приём не работает. Деление даёт скорость только на независимых частях. Если шаги зависят друг от друга — добавь хоть десять поваров, быстрее не станет.

Классика с кухни: соус, который надо томить сорок минут. Поставь к кастрюле трёх поваров — он всё равно будет томиться сорок минут. Это не «можно ускорить, наняв людей», это просто время, которое должно пройти. Так же и с задачами, где шаг Б нельзя начать, пока не готов шаг А. Нельзя глазировать торт, пока он не испёкся. Нельзя писать вывод отчёта, пока не собраны данные, на которых он строится. Нельзя согласовать договор, пока юрист не вычитал предыдущую правку.

Попытка распараллелить зависимые шаги — это типичная ошибка, и стоит она дорого: повара мешаются у одной кастрюли, половина работы делается зря (на черновых, ещё не готовых данных), а в конце всё равно приходится переделывать по порядку. Получается медленнее, чем если бы просто шли шаг за шагом.

Поэтому перед тем как радостно «распараллелить, чтобы было быстрее», задай ровно один вопрос: эти куски правда независимы — или один питается результатом другого? Независимы — режь и пускай разом. Зависимы — оставь в очередь, тут параллель только навредит. А вот если задача неделимая, но решение спорное и важное — это уже не про деление, это про голосование.