Ансамбль промптов: когда пять вариантов лучше одного

Несколько промптов могут повысить надёжность ответа, но не автоматически. Если все варианты совершают одну и ту же ошибку, дополнительные вызовы лишь увеличивают задержку и расход токенов. Ниже — воспроизводимый способ проверить, когда ансамбль действительно окупается.
Короткий ответ
Ансамбль полезен, если его варианты ошибаются по-разному, а правило агрегации умеет использовать это разнообразие. Сравнивать нужно не только процент правильных ответов, но и стоимость, задержку, долю нерешённых случаев и устойчивость результата на отложенной выборке.
Пять похожих промптов — это не обязательно ансамбль. Если они дают почти одинаковые ответы и одинаковые ошибки, перед нами несколько вызовов одного решения. Важен не сам размер ансамбля, а корреляция ошибок между его членами.
Что именно сравнивать
Для начала зафиксируйте одну задачу, один формат ответа и один набор примеров. Сравните минимум три режима:
- Одиночный промпт. Один вызов с базовой инструкцией.
- Self-consistency. Один и тот же промпт вызывается несколько раз с независимой случайностью, после чего ответы объединяются голосованием.
- Ансамбль разных промптов. Несколько инструкций с разными стратегиями: например, классификация по правилам, проверка контрпримеров и пошаговое объяснение.
Важно не менять одновременно модель, температуру, лимиты вывода и схему агрегации. Иначе будет непонятно, что именно дало улучшение.
Корреляция ошибок: главный фактор
Пусть каждый член ансамбля иногда ошибается. Если ошибки независимы, большинство может исправить ошибку отдельного варианта. Если ошибки сильно коррелированы, голосование не помогает: варианты сходятся к одному неверному выводу.
На практике полную независимость получить трудно. Одинаковая модель, одинаковый контекст, одинаковые примеры и одинаковая формулировка задачи создают общие причины ошибок. Поэтому полезно специально проектировать различия между членами ансамбля.
| Вариант | Что меняется | Риск общей ошибки |
|---|---|---|
| Self-consistency | Случайность вывода при одном промпте | Высокий, если ошибка заложена в инструкции |
| Ролевая вариация | Разные роли: классификатор, критик, проверяющий | Средний |
| Независимые признаки | Разные способы разбирать входные данные | Ниже среднего |
| Разные модели | Разные модели или версии | Может быть ниже, но растёт сложность контроля |
Таблица описывает гипотезы, а не гарантии. Корреляцию нужно измерять на ваших данных.
Воспроизводимый эксперимент
1. Подготовьте размеченный набор
Используйте записи, для которых заранее известен правильный ответ. Разделите их на три части: разработка, проверка и финальная оценка. Финальную часть не используйте для настройки промптов и порогов.
Если разметка субъективна, заранее опишите допустимые ответы и правила разрешения спорных случаев. Иначе ансамбль может казаться точнее только потому, что оценивание стало мягче.
2. Зафиксируйте контракт ответа
У каждого вызова должен быть машиночитаемый результат, например JSON с полями
label, confidence и reason. Проверяйте
схему отдельно от точности: некорректный JSON — это операционная ошибка, а не
правильный ответ.
3. Запустите базовую линию
Сохраните для каждого примера идентификатор, вердикт, время, число токенов, стоимость по вашему внутреннему тарифу и текст ошибки. Не подменяйте базовую линию лучшим единичным запуском: выбирайте один заранее зафиксированный конфиг.
4. Запустите режимы с одинаковым бюджетом данных
Для честного сравнения каждый режим должен увидеть один и тот же набор примеров. Если self-consistency использует пять вызовов, ансамбль из пяти промптов тоже должен использовать пять вызовов на пример. Отдельно измеряйте вариант с одним вызовом, чтобы оценить предельную пользу дополнительных запусков.
5. Повторите эксперимент
Один прогон может случайно завысить результат. Повторите запуск с несколькими фиксированными seed, если платформа поддерживает seed, или сохраните все ответы, чтобы можно было повторно применить агрегацию без новых вызовов. Публикуйте диапазон результатов, а не только лучшее число.
Безопасный минимальный каркас запуска
Ниже — псевдокоманда для локального эксперимента. Она не отправляет данные сама
по себе: замените run_eval на ваш утверждённый клиент и убедитесь,
что в наборе нет секретов, персональных данных и производственных ключей.
python evaluate.py \
--input data/eval.jsonl \
--prompts configs/single.json \
--aggregator majority \
--output results/single.jsonl
python evaluate.py \
--input data/eval.jsonl \
--prompts configs/ensemble-5.json \
--aggregator weighted-majority \
--output results/ensemble-5.jsonl
Команды приведены как пример интерфейса, а не как готовая утилита. Для воспроизводимости сохраняйте версии конфигураций, хеш входного набора и дату запуска. Не выводите в логи полные пользовательские запросы, если они могут содержать чувствительные данные.
Как агрегировать ответы
Большинство
Для дискретной классификации выберите метку, которую вернуло большинство вариантов. Это простое правило хорошо работает, когда члены ансамбля имеют сопоставимое качество и ошибки не слишком коррелированы.
label = mode([answer_1.label, answer_2.label, answer_3.label,
answer_4.label, answer_5.label])
Взвешенное большинство
Если на разработочной выборке один вариант стабильно сильнее, его голос можно сделать весомее. Вес должен быть рассчитан до финальной оценки и не должен зависеть от правильного ответа на текущем примере.
Для метки k можно использовать сумму:
score(k) = Σ weight(i) по всем вариантам, выбравшим k.
Не называйте вес «уверенностью» модели без калибровки: число в поле
confidence само по себе не доказывает вероятность правильного ответа.
Агрегация по объяснениям
Отдельный проверяющий может сравнить ответы и объяснения, но это уже новый вызов и новый источник ошибок. Такой слой полезен, если он проверяет конкретные критерии, а не просто выбирает наиболее убедительно написанный текст.
Что делать при ничьей
Tie-break должен быть зафиксирован заранее. Возможные правила:
- вернуть специальный статус
uncertain; - выбрать вариант с лучшим проверенным весом;
- запустить дополнительный проверочный вызов;
- передать пример человеку или в более дорогой контур.
Для критичных решений безопаснее явно обозначить неопределённость, чем превращать ничью в случайный выбор. Дополнительный вызов нужно учитывать в бюджете и измерять отдельно.
Как измерить, что улучшение настоящее
Сравнивайте не только accuracy. Минимальный отчёт должен включать:
- точность и другие метрики, подходящие задаче;
- стоимость на один пример и на один правильный результат;
- время ответа и долю тайм-аутов;
- долю случаев с ничьей или статусом
uncertain; - ошибки по отдельным классам и сегментам данных;
- разброс результатов между повторными запусками.
Удобная практическая метрика — прирост качества на дополнительный вызов:
предельный прирост =
(качество ансамбля − качество базовой линии) /
(число вызовов ансамбля − число вызовов базовой линии)
Это не универсальная бизнес-метрика, а способ увидеть убывающую отдачу. Если переход от одного к трём вызовам заметно помогает, а переход от трёх к пяти почти ничего не меняет, пять вариантов могут быть неоправданны.
Также полезно считать стоимость правильного ответа. Ансамбль может быть дороже на один запрос, но выгоднее, если он уменьшает число повторных проверок, возвратов или ручной обработки. Такие выводы допустимы только при наличии измерений вашей системы; заранее считать их фактом нельзя.
Диагностика корреляции ошибок
Для каждого варианта создайте бинарную колонку: 1, если ответ
неверен, и 0, если верен. Затем сравните пары вариантов по
совпадению ошибок. Высокая доля строк, где оба варианта ошиблись одновременно,
указывает на общую слабость.
Простая проверка:
совместные_ошибки(i, j) =
количество примеров, где ошибка_i = 1 и ошибка_j = 1
доля_совместных_ошибок(i, j) =
совместные_ошибки(i, j) / количество примеров
Для более строгого анализа можно использовать корреляцию бинарных переменных, но не сводите качество ансамбля к одной статистике. Важны также базовые уровни ошибок: два варианта могут иметь низкую корреляцию просто потому, что один почти всегда ошибается.
Типовые ошибки
Сравнение на тех же данных, на которых выбирали промпты
Это приводит к переобучению. Промпт, который выиграл на разработочной выборке, не обязательно сохранит преимущество на новых примерах.
Скрытая утечка правильного ответа
Иногда один из вариантов получает больше контекста, подсказку или другой формат примера. Перед сравнением проверьте входы каждого вызова побайтно или через воспроизводимый журнал конфигурации.
Голосование по тексту вместо нормализованной метки
Ответы «да», «Да» и «верно» могут означать одно и то же, но побайтное голосование посчитает их разными. Нормализуйте только то, что разрешено контрактом, и сохраняйте исходный ответ для аудита.
Случайный tie-break
Случайный выбор делает результат нестабильным и мешает воспроизведению. Зафиксируйте правило или возвращайте неопределённость.
Оценка только средней точности
Среднее значение может скрыть провал на редком, но важном классе. Проверяйте матрицу ошибок, минимальное качество по сегментам и отдельные критичные сценарии.
Ограничения метода
Ансамбль не исправляет неверную постановку задачи, плохую разметку или недостаточный контекст. Если все варианты получают неполные данные, увеличение их числа редко решает проблему.
Разные формулировки могут лишь создавать иллюзию разнообразия. Если промпты используют одну и ту же скрытую эвристику модели, их ошибки останутся связанными. Разные модели снижают общую связанность не гарантированно и усложняют эксплуатацию, мониторинг и обновления.
Результат эксперимента нельзя автоматически переносить на другой домен, модельную версию или распределение входных данных. После существенного изменения системы оценку следует повторить.
Практическое правило выбора
Начните с одиночного промпта. Добавьте self-consistency, если основная неопределённость связана со случайностью вывода. Используйте разные промпты, если можете сформулировать действительно разные способы рассуждения и проверить, что их ошибки не совпадают. Увеличивайте ансамбль с трёх до пяти вариантов только тогда, когда дополнительный прирост сохраняется на отложенной выборке и оправдывает цену, задержку и сложность.
Подробные рекомендации по постановке экспериментов собраны в разделе гайдов, а определения терминов — в глоссарии.