Как измерять надежность AI-агента: pass^k вместо одной попытки

Один успешный запуск показывает, что агент может решить задачу. Но он почти ничего не говорит о том, насколько стабильно агент повторит результат. Для повторяющихся действий полезнее измерять passk — вероятность того, что агент успешно выполнит одну и ту же задачу несколько раз подряд.
Почему одной попытки недостаточно
Представим агента, который в среднем успешно выполняет задачу в 90% запусков. На первый взгляд показатель выглядит высоким: девять попыток из десяти заканчиваются успехом. Но если тот же агент должен выполнить десять независимых действий без ошибки, вероятность полного успеха будет заметно ниже.
Если вероятность успеха одной попытки равна p, то для k последовательных успешных
попыток при независимости запусков:
При p = 0.9 и k = 10 получаем примерно 0.349, то есть около 34,9%.
Это не означает, что агент «стал хуже». Меняется вопрос измерения: вместо единичного успеха мы проверяем
устойчивость серии.
Что именно измеряют passk и pass@k
passk: стабильность последовательности
passk отвечает на вопрос: «Как часто агент успешно проходит все
k повторений одной задачи?»
Пусть есть n серий, каждая серия состоит из k запусков. Для серии i
введем индикатор:
0, если хотя бы один запуск завершился ошибкой.
Тогда наблюдаемый показатель равен:
Например, если из 100 серий по пять запусков полностью успешными оказались 72 серии, то
pass5 = 0.72.
pass@k: успех хотя бы в одной попытке
pass@k отвечает на другой вопрос: «Какова вероятность получить хотя бы один успешный результат
среди k попыток?»
При независимых попытках и вероятности успеха одной попытки p:
Поэтому pass@k растет с увеличением количества попыток: система может не справиться сразу, но найти рабочее решение после повторного запуска. Для задач, где важен любой приемлемый результат, это полезная метрика. Для платежа, миграции данных, отправки письма или изменения конфигурации часто важнее passk: операция должна быть успешной и безопасной на каждом шаге.
Минимальный протокол измерения
- Опишите задачу и критерий успеха. Критерий должен проверяться автоматически или по заранее заданному чек-листу. Формулировка «ответ выглядит разумно» слишком субъективна.
- Зафиксируйте окружение. Запишите версию агента, модель, параметры генерации, доступные инструменты, исходные данные и время запуска. Это нужно для воспроизводимости.
-
Выберите размер серии.
Для начала можно сравнить
k = 1,k = 3,k = 5иk = 10. Это пример стартового набора, а не универсальный стандарт. - Разделите серии. Каждая серия должна иметь собственный идентификатор. Не смешивайте запуски из разных версий агента в один расчет.
- Сохраните результат каждого запуска. Минимальный набор полей: идентификатор серии, номер запуска, статус успеха, причина ошибки и версия теста.
- Посчитайте обе метрики. passk покажет надежность полной серии, а pass@k — пользу повторных попыток.
Не запускайте тесты с реальными побочными эффектами без изоляции. Для проверки действий агента используйте тестовую базу, фиктивные адреса, локальные файлы или режим предварительного просмотра, если это поддерживает ваше приложение.
Воспроизводимый Python-код
Ниже — самостоятельный расчет по уже собранным результатам. Значение True означает, что запуск
прошел проверку, False — что нет.
from collections.abc import Sequence
def pass_at_k(results: Sequence[bool], k: int) -> float:
"""Доля серий, где хотя бы один из первых k запусков успешен."""
if k < 1:
raise ValueError("k должен быть положительным")
if len(results) < k:
raise ValueError("Недостаточно результатов для указанного k")
return sum(any(results[i:i + k]) for i in range(0, len(results), k)
if len(results[i:i + k]) == k) / (len(results) // k)
def pass_power_k(results: Sequence[bool], k: int) -> float:
"""Доля серий, где все k запусков успешны."""
if k < 1:
raise ValueError("k должен быть положительным")
if len(results) < k:
raise ValueError("Недостаточно результатов для указанного k")
series_count = len(results) // k
complete_series = [
results[i:i + k]
for i in range(0, series_count * k, k)
]
return sum(all(series) for series in complete_series) / series_count
results = [
True, True, True, False, True,
True, True, True, True, True,
True, False, True, True, True,
]
print("pass^3 =", pass_power_k(results, k=3))
print("pass@3 =", pass_at_k(results, k=3))
В этом примере список разбивается на серии по три запуска. Функция pass_power_k считает серию
успешной только при трех значениях True. Функция pass_at_k считает серию успешной,
если внутри нее встретилось хотя бы одно значение True.
Для запуска сохраните код в локальный файл, например metrics.py, и выполните:
python3 metrics.py
Команда только обрабатывает локальные данные и не обращается к сети. Перед запуском проверьте, что используете нужную версию Python:
python3 --version
Для этого расчета сторонние пакеты не нужны. Если вы создаете виртуальное окружение для более крупного тестового стенда, безопасный базовый вариант выглядит так:
python3 -m venv .venv
. .venv/bin/activate
python3 metrics.py
Расчет по отдельным задачам
Один общий показатель может скрыть, что агент надежен на простых задачах и нестабилен на сложных. Поэтому полезно считать метрики отдельно для каждой задачи, а затем агрегировать их.
from collections import defaultdict
runs = [
{"task": "extract_email", "series": 1, "run": 1, "success": True},
{"task": "extract_email", "series": 1, "run": 2, "success": True},
{"task": "extract_email", "series": 1, "run": 3, "success": True},
{"task": "extract_email", "series": 2, "run": 1, "success": True},
{"task": "extract_email", "series": 2, "run": 2, "success": False},
{"task": "extract_email", "series": 2, "run": 3, "success": True},
]
def pass_power_k_by_task(rows, k):
grouped = defaultdict(lambda: defaultdict(list))
for row in rows:
grouped[row["task"]][row["series"]].append(row["success"])
output = {}
for task, series_map in grouped.items():
complete_series = [
values for values in series_map.values()
if len(values) == k
]
if not complete_series:
output[task] = None
continue
output[task] = sum(
all(values) for values in complete_series
) / len(complete_series)
return output
print(pass_power_k_by_task(runs, k=3))
Здесь серия с неполными данными не включается в расчет. Это лучше, чем молча считать пропущенный запуск
успешным или неуспешным. В рабочем тестовом стенде такие серии стоит отдельно помечать как
incomplete и разбирать причину пропуска.
Как читать результаты
| Наблюдение | Возможная интерпретация | Что проверить |
|---|---|---|
| Высокий pass@k, низкий passk | Повторные попытки иногда помогают, но результат нестабилен. | Причины первых ошибок, состояние памяти, идемпотентность действий. |
| Высокие обе метрики | Агент часто находит результат и обычно повторяет успешное поведение. | Размер выборки и переносимость на новые задачи. |
| Низкий pass@k и низкий passk | Повторный запуск почти не компенсирует ошибки. | Планирование, инструменты, формат входных данных, критерий успеха. |
| Метрики сильно меняются между наборами | Сложность задач неоднородна или тестовый набор мал. | Разбивку по классам задач и доверительные интервалы. |
Не сравнивайте значения без одинакового определения успеха. Агент может получить высокий pass@k за счет множества попыток, но при этом создавать нежелательные побочные эффекты. Для действий, которые нельзя безопасно повторять, количество попыток должно быть ограничено заранее.
Доверительный интервал и размер выборки
Значение passk по 10 сериям и значение по 1 000 сериям могут совпасть, но доверять им одинаково нельзя. Чем меньше серий, тем сильнее оценка зависит от случайности.
Для каждой серии passk — это бинарный исход: полная серия успешна или нет. Поэтому можно
оценивать неопределенность как для доли успешных испытаний. Практический минимум — показывать вместе со
значением число серий: например, 0.72 (72 из 100), а не только 0.72.
Если тестов мало, не делайте сильных выводов о небольших различиях. Разница между 0,72 и 0,76 может исчезнуть при повторном наборе задач. Сначала увеличьте число независимых серий или разбейте измерение на несколько запусков эксперимента.
Типовые ошибки
- Считать несколько попыток одним успехом. Это повышает pass@k, но не показывает стабильность серии.
- Перемешивать данные разных версий. Изменение модели, промпта или инструмента должно начинать новый эксперимент.
- Не фиксировать ошибки. Одного флага «неуспех» недостаточно для улучшения агента. Сохраняйте категорию и краткую причину.
- Игнорировать зависимость попыток. Если второй запуск использует состояние первого, формула независимых испытаний неприменима без оговорок.
- Оценивать только среднее. Средний показатель может скрывать провалы на конкретном классе задач.
- Повторять опасное действие в продакшене. Тесты должны быть изолированы или использовать безопасные заглушки.
Ограничения метода
passk не измеряет всё качество агента. Он не показывает стоимость запуска, задержку, полезность частично выполненной работы, качество объяснения или тяжесть ошибки. Два агента с одинаковым passk могут иметь совершенно разный риск: один иногда ошибается без последствий, другой редко, но необратимо.
Поэтому passk стоит использовать как часть набора метрик. Для действий с побочными эффектами добавьте отдельные проверки безопасности, корректности состояния после выполнения и возможности отката. Для задач с несколькими уровнями качества заранее определите, что считается успехом, частичным успехом и критическим отказом.
Еще одно ограничение — репрезентативность тестов. Хороший результат на искусственном наборе не доказывает, что агент так же надежен на реальных входах. Тестовые задачи должны отражать типичные сценарии и редкие, но важные ошибки.
Короткий чек-лист
- Определите проверяемый критерий успеха.
- Сформируйте независимые серии длиной
k. - Сохраняйте результат каждого запуска и причину ошибки.
- Посчитайте passk для полной серии.
- Посчитайте pass@k для успеха хотя бы в одной попытке.
- Разделите результаты по задачам, версиям и классам ошибок.
- Укажите число серий и ограничения интерпретации.
- Не запускайте небезопасные действия на реальных данных.
Главная идея проста: показатель одной попытки отвечает на вопрос, может ли агент справиться. passk отвечает на более строгий вопрос — сможет ли он справиться снова и снова. Для оценки надежности повторяющихся действий именно эта разница часто определяет, готов ли агент к практическому использованию.