Практический стенд · LLM evaluation
Как сравнивать LLM по доставке ответа, а не только по качеству

Когда модель отвечает на запрос, результатом считается не только смысл текста. В прикладной системе важны ещё и технические свойства доставки: был ли видимый ответ, можно ли его безопасно показать пользователю, потребовался ли повтор и сколько попыток понадобилось до пригодного результата.
В этой статье LLM рассматривается как часть полного контура ответа. Модель может формально завершить генерацию без ошибки, но вернуть пустую строку, пробелы или служебный результат без текста. Для пользователя это выглядит одинаково: ответа нет, запрос приходится повторять.
Почему одной оценки качества недостаточно
Тесты качества обычно сравнивают корректность, полноту, стиль или соответствие эталону. Это полезно, но такие метрики могут скрыть сбой на границе между API и интерфейсом. Например, одна модель сгенерирует хороший текст с первой попытки, а другая — тоже хороший текст, но только после повторного запроса. При равном качестве эксплуатационное поведение будет разным.
Поэтому полезно разделять два события:
- Генерация завершилась — API вернуло результат и не сообщило об исключении.
- Ответ доставлен — в результате есть непустой видимый текст, пригодный для передачи дальше.
Второе событие можно проверять программно. Это не утверждение о причинах пустого ответа: стенд фиксирует наблюдаемое поведение, но не доказывает, возник ли сбой в модели, SDK, потоковой передаче или адаптере приложения.
Что именно измерять
Для каждого вызова сохраняйте как минимум следующие поля:
| Поле | Зачем нужно |
|---|---|
model |
Сравнение моделей в одинаковых условиях. |
attempt |
Понимание, с какой попытки получен видимый ответ. |
visible_text_length |
Проверка, был ли текст после очистки. |
delivered |
Бинарный признак успешной доставки. |
latency_ms |
Стоимость первой попытки и повтора. |
error |
Разделение пустого ответа и явной ошибки. |
Важно считать пустым не только значение "". После удаления пробелов, переводов строк и управляющих символов результат тоже может оказаться пустым.
Минимальный тестовый стенд
Ниже приведён самодостаточный пример на Python. Он не обращается к конкретному провайдеру: функция адаптера получает имя модели и запрос, а затем должна вернуть словарь с текстом или ошибкой. Это позволяет подключить два клиента с одинаковым интерфейсом, не смешивая логику сравнения с деталями API.
from __future__ import annotations
from dataclasses import dataclass, asdict
from time import perf_counter
from typing import Callable
@dataclass
class Attempt:
model: str
attempt: int
delivered: bool
visible_text_length: int
latency_ms: float
error: str | None = None
def visible_text(value: object) -> str:
"""Возвращает безопасный видимый текст для проверки доставки."""
if value is None:
return ""
return str(value).replace("\x00", "").strip()
def call_with_retry(
model: str,
prompt: str,
request: Callable[[str, str], object],
max_attempts: int = 2,
) -> tuple[list[Attempt], str]:
attempts: list[Attempt] = []
for number in range(1, max_attempts + 1):
started = perf_counter()
error = None
text = ""
try:
raw_result = request(model, prompt)
text = visible_text(raw_result)
except Exception as exc:
error = type(exc).__name__
elapsed_ms = round((perf_counter() - started) * 1000, 2)
delivered = bool(text)
attempts.append(
Attempt(
model=model,
attempt=number,
delivered=delivered,
visible_text_length=len(text),
latency_ms=elapsed_ms,
error=error,
)
)
if delivered:
return attempts, text
return attempts, ""
Здесь повтор выполняется только при отсутствии видимого текста или при исключении. Лимит попыток задан явно, поэтому сбой не превращается в бесконечный цикл и его стоимость можно измерить.
Адаптеры двух моделей
Сравнение должно проходить через одну и ту же функцию-обёртку. В реальном проекте замените содержимое provider_a_request и provider_b_request вызовами своих SDK. Не встраивайте ключи доступа в исходный файл и не записывайте в журнал полные пользовательские запросы, если они могут содержать персональные или коммерчески чувствительные данные.
def provider_a_request(model: str, prompt: str) -> str:
# Пример интерфейса адаптера.
# Здесь должен быть вызов API провайдера A.
raise NotImplementedError("Подключите адаптер провайдера A")
def provider_b_request(model: str, prompt: str) -> str:
# Пример интерфейса адаптера.
# Здесь должен быть вызов API провайдера B.
raise NotImplementedError("Подключите адаптер провайдера B")
def compare_models(prompt: str) -> dict[str, object]:
configs = [
("model-a", provider_a_request),
("model-b", provider_b_request),
]
report: dict[str, object] = {"prompt_length": len(prompt), "models": {}}
for model, request in configs:
attempts, text = call_with_retry(
model=model,
prompt=prompt,
request=request,
max_attempts=2,
)
report["models"][model] = {
"attempts": [asdict(item) for item in attempts],
"delivered": bool(text),
"final_text_length": len(text),
"delivery_attempt": attempts[-1].attempt if text else None,
}
return report
Для первого прогона используйте нейтральный фиксированный запрос, например:
prompt = (
"Составь краткий список из трёх рисков при внедрении LLM "
"в клиентскую поддержку. Ответь на русском языке."
)
Этот текст является примером входных данных, а не утверждением о фактическом поведении какой-либо модели. Чтобы сравнение было честным, не меняйте запрос между моделями и сохраняйте одинаковые ограничения генерации, если они поддерживаются обоими клиентами.
Проверка пустого ответа без обращения к API
До подключения внешних сервисов проверьте саму механику стенда на контролируемом адаптере. Такой тест не оценивает модели, зато показывает, что пустой ответ действительно приводит к повтору, а непустой — завершает сценарий.
def scripted_request(responses: list[object]):
remaining = iter(responses)
def request(model: str, prompt: str) -> object:
return next(remaining)
return request
def run_local_check() -> None:
request_a = scripted_request([" ", "Ответ после повтора"])
attempts_a, text_a = call_with_retry(
model="model-a",
prompt="Тест",
request=request_a,
max_attempts=2,
)
assert len(attempts_a) == 2
assert attempts_a[0].delivered is False
assert attempts_a[1].delivered is True
assert text_a == "Ответ после повтора"
request_b = scripted_request(["Стабильный ответ"])
attempts_b, text_b = call_with_retry(
model="model-b",
prompt="Тест",
request=request_b,
max_attempts=2,
)
assert len(attempts_b) == 1
assert attempts_b[0].delivered is True
assert text_b == "Стабильный ответ"
if __name__ == "__main__":
run_local_check()
print("Локальная проверка пройдена")
Как читать результаты
Сравнивайте не только среднюю длину ответа. Минимальный отчёт должен отвечать на четыре вопроса:
- Как часто первая попытка доставляет непустой текст?
- Как часто требуется повтор?
- Сколько вызовов в среднем нужно для одного доставленного ответа?
- Какова задержка до первого пригодного текста?
Для одной модели можно рассчитать долю доставки с первой попытки:
delivery_rate_first_attempt =
first_attempt_delivered / total_requests
retry_rate =
requests_with_retry / total_requests
average_attempts =
total_attempts / total_requests
Если модель A имеет более высокую оценку качества, но чаще требует повтора, а модель B немного уступает по содержательной метрике, выбор зависит от продукта. Для интерактивного интерфейса задержка и предсказуемость могут быть важнее небольшой разницы в полноте. Для пакетной обработки, наоборот, допустимый повтор может быть менее критичен.
Воспроизводимый протокол сравнения
Один случай не позволяет делать выводы. Запускайте серию одинаковых запросов, заранее зафиксировав:
- список моделей и точные идентификаторы их версий;
- шаблон системной инструкции;
- набор входных запросов;
- лимит токенов и остальные параметры генерации;
- максимальное число повторов;
- правило определения пустого ответа;
- формат обезличенного журнала.
Перемешивайте порядок вызова моделей или чередуйте их, чтобы временные условия одного провайдера не совпадали всегда с одной и той же моделью. Храните сырые ответы только там и настолько долго, насколько это разрешено правилами обработки данных. Для отчёта достаточно длины текста, статуса доставки, номера попытки и технической ошибки.
Типовые ошибки
Проверять только HTTP-статус
Успешный статус транспорта не означает, что в поле контента есть видимый текст. Проверяйте извлечённое содержимое после нормализации.
Считать любой объект ответом
SDK может вернуть объект с метаданными, идентификатором или статистикой токенов. Сначала извлеките именно отображаемое пользователю поле, затем применяйте проверку пустого значения.
Повторять без ограничения
Бесконечные повторы маскируют проблему и увеличивают задержку. Задайте небольшой лимит, фиксируйте каждую попытку и возвращайте понятный отказ после исчерпания лимита.
Менять запрос при повторе
Если цель — измерить доставку, повтор должен использовать тот же запрос и сопоставимые параметры. Иначе вы измеряете уже смесь доставки и изменения входных условий.
Смешивать пустой ответ и ошибку
Для диагностики различайте исключение, тайм-аут, неполный поток и корректно завершившийся вызов с пустым видимым содержимым. Эти случаи требуют разных действий.
Ограничения метода
Проверка пустого ответа измеряет только один слой надёжности. Она не показывает, насколько ответ фактически верен, не выявляет скрытые ошибки в бизнес-логике и не заменяет оценку качества. Кроме того, результаты могут зависеть от нагрузки, сетевого маршрута, версии SDK, потокового режима и настроек конкретного провайдера.
Наличие повтора также не всегда означает проблему модели. Причиной может быть ошибка извлечения поля, неверная обработка стрима, фильтрация на стороне прокси или дефект пользовательского интерфейса. Поэтому полезно отдельно логировать границы каждого слоя и не приписывать наблюдение одной причине без подтверждения.
Итог
Сравнение LLM должно учитывать полный путь до пользователя: вызов, извлечение текста, проверку видимого результата, возможный повтор и задержку до доставки. Минимальный стенд из адаптера, проверки непустого текста и ограниченного retry-цикла уже позволяет увидеть различия, которые не отражаются в одной оценке качества.
Дальше этот подход можно расширить распределёнными трассировками, оценкой содержательного качества и анализом стоимости повторов. Начните с простого отчёта по двум моделям и одинаковому набору запросов: сначала измерьте, доставляется ли ответ, а затем сравнивайте, насколько он хорош.
См. также: практические гайды и глоссарий терминов.