Как сравнить AI-агентов на задачах интерпретации лабораторных данных

Общие оценки моделей плохо отвечают на прикладной вопрос: способен ли агент корректно прочитать экспериментальные данные, заметить артефакт, сформулировать ограниченный вывод и показать, как он к нему пришёл. Ниже — план воспроизводимого сравнения на наборе из 100 задач wet-lab.
Под AI-агентом здесь понимается система, которая получает задание, работает с предоставленными материалами и выдаёт интерпретацию с обоснованием. Это может быть модель с инструментами, агентный workflow или несколько связанных шагов. Сравнивать следует не только финальный текст, но и соблюдение протокола, выбор расчётов, обращение с неопределённостью и ошибки.
1. Зафиксируйте объект сравнения
До запуска тестов запишите версию модели или агента, системную инструкцию, доступные инструменты, лимит контекста, параметры генерации и дату запуска. Если агент умеет вызывать код, отдельно укажите разрешённые библиотеки и операции. Изменение любого из этих параметров превращает сравнение в новый прогон.
Не смешивайте в одну таблицу результаты разных режимов: «только текст», «текст плюс таблицы», «текст плюс Python» и «полный агент с поиском файлов» измеряют разные способности. Для основного отчёта выберите один режим, а остальные оформите как отдельные условия.
2. Соберите набор из 100 задач
Каждая задача должна иметь стабильный идентификатор, входные данные, контекст эксперимента, ожидаемый тип ответа и эталон, подготовленный до запуска агентов. Эталон не обязан быть единственным правильным текстом: для многих задач важнее список обязательных наблюдений, допустимый диапазон расчёта и условия, при которых вывод нельзя делать.
Практично разделить набор на пять равных блоков:
- 20 задач на чтение таблиц и первичную проверку качества данных;
- 20 задач на расчёты, нормализацию и сравнение групп;
- 20 задач на интерпретацию графиков, дозозависимости или временных рядов;
- 20 задач на поиск артефактов, пропусков, выбросов и нарушений протокола;
- 20 задач на составление ограниченного научного вывода и следующего шага.
Это схема набора, а не утверждение о готовом датасете. Конкретные задачи должны быть размечены вашей лабораторией или независимыми экспертами. Не включайте в тест реальные персональные, коммерчески чувствительные или неразрешённые данные.
3. Сделайте задачи воспроизводимыми
Храните входы в машинно-читаемом виде: CSV для измерений, JSON для метаданных и Markdown или TXT для задания. Имена файлов не должны подсказывать ответ. Случайные идентификаторы образцов и групп следует зафиксировать заранее.
benchmark/
├── tasks/
│ ├── task-001/
│ │ ├── prompt.txt
│ │ ├── measurements.csv
│ │ └── metadata.json
│ └── ...
├── references/
│ └── rubric.csv
└── runs/
└── agent-name/
Перед запуском проверьте, что структура не содержит скрытых ответов, служебных заметок или предыдущих результатов. Безопасная проверка файлов не меняет данные:
find benchmark/tasks -type f -print | sort
find benchmark/tasks -type f -name '*.csv' -exec wc -l {} \;
sha256sum benchmark/tasks/task-001/*
Команды предназначены для локальной проверки. Не запускайте непроверенные скрипты из входного набора, не передавайте лабораторные данные во внешние сервисы без разрешения и не разрешайте агенту изменять исходные файлы.
4. Разделите запуск и оценивание
Агент должен получить одинаковую формулировку задачи и одинаковый набор разрешённых файлов. Сохраняйте полный запрос, ответ, вызовы инструментов, сообщения об ошибках, время выполнения и итоговый статус. Оценщик не должен менять эталон после просмотра ответа агента.
Для каждой задачи полезно сохранять запись вида:
{
"task_id": "task-001",
"agent": "example-agent",
"run_id": "2026-11-09T120000Z",
"status": "completed",
"answer": "answer.md",
"tool_trace": "trace.jsonl",
"duration_seconds": 0,
"input_hash": "sha256:..."
}
Нулевое значение времени в этом примере — заполнитель, а не измеренный результат. В отчёте используйте фактические значения и единый способ измерения.
5. Оценивайте несколько независимых характеристик
Итоговая оценка не должна сводиться к совпадению с эталонной фразой. Назначьте баллы по заранее опубликованной рубрике. Например, для каждой задачи можно использовать шкалу от 0 до 2 по пяти критериям:
- Фактическая точность: агент правильно описал наблюдаемые данные.
- Расчётная корректность: формулы, единицы и промежуточные значения не содержат критических ошибок.
- Контроль качества: агент заметил релевантные пропуски, выбросы или ограничения.
- Калибровка вывода: уверенность соответствует силе данных; причинность не выдается за корреляцию.
- Воспроизводимость: другой специалист может понять, какие данные и шаги привели к выводу.
Для каждого критерия заранее определите, что означает 0, 1 и 2. Отдельно фиксируйте критические ошибки, которые обнуляют пригодность ответа независимо от суммы: перепутанная группа, неверная единица измерения, выдуманное наблюдение, пропуск очевидного нарушения контроля или рекомендация, не подтверждённая входными данными.
6. Введите разбор ошибок
После выставления баллов классифицируйте каждую ошибку по первопричине. Один ответ может иметь несколько меток, но следует отличать основную ошибку от её последствий.
| Класс ошибки | Что проверять |
|---|---|
| Извлечение | Неверно прочитана строка, колонка, легенда или единица. |
| Расчёт | Ошибочная формула, агрегация, нормализация или округление. |
| Статистика | Неуместный тест, неверная интерпретация вариабельности или значимости. |
| Экспериментальный контекст | Игнорирование контроля, дизайна, партии или временной точки. |
| Причинность | Вывод о механизме, которого данные не поддерживают. |
| Неопределённость | Категоричный ответ при неоднозначных или неполных данных. |
| Инструментальный сбой | Незавершённый расчёт, ошибка чтения файла или потеря контекста. |
Для каждой ошибки сохраняйте короткое доказательство: цитату из ответа, ссылку на строку данных или шаг трассировки инструмента. Так вы получите не только рейтинг, но и карту того, где именно агент ломается.
7. Проверьте устойчивость результата
Один прогон может быть недостаточен для недетерминированного агента. Если режим допускает случайность, повторите задачи с зафиксированным числом прогонов и укажите это число в методике. Сравнивайте не только средний балл, но и долю критических ошибок и разброс результатов.
Полезно заранее выделить закрытую контрольную часть набора. Её не используют для настройки промптов или рубрики. Если агент меняется между сериями запусков, сохраняйте новые версии как отдельные условия, а не заменяйте старые результаты.
8. Проверьте результат перед публикацией
Перед выводом сравнения выполните контрольный список:
- все 100 задач имеют идентификаторы и входные файлы;
- эталоны и рубрика были зафиксированы до оценки;
- для каждого запуска сохранены ответ и трассировка;
- критические ошибки посчитаны отдельно от среднего балла;
- пропуски, неуспешные запуски и ручные исправления не скрыты;
- агрегаты можно пересчитать из исходной таблицы оценок;
- в отчёте явно указаны версия агента, режим и дата запуска.
Минимальный отчёт должен включать таблицу по задачам, сводку по классам ошибок и несколько обезличенных примеров. Если результат получен на синтетических или демонстрационных данных, так и напишите: это не доказательство эффективности в реальной лаборатории.
Типовые ошибки в дизайне сравнения
Наиболее частая проблема — сравнение агентов при разных подсказках, инструментах или объёме контекста. Вторая — оценка только красивого финального текста без проверки расчётов. Третья — смешивание ошибок данных и ошибок агента: если эталон неоднозначен, это нужно пометить как свойство задачи, а не автоматически считать провалом.
Также опасно считать отсутствие оговорок признаком точности. В wet-lab интерпретация должна быть достаточно конкретной, но агент обязан отмечать границы вывода: малый размер выборки, отсутствие контроля, невозможность установить причинность или недостаток технических повторов.
Ограничения методики
Набор из 100 задач даёт управляемую выборку, но не покрывает всё разнообразие лабораторных протоколов. Результаты зависят от качества разметки, представления данных, языка заданий и выбранной рубрики. Даже высокая точность на интерпретации таблиц не означает надёжность в планировании эксперимента, клинических решениях или работе с новыми типами измерений.
Поэтому вывод формулируйте узко: какой агент, в каком режиме, на каких классах задач и с какими типами ошибок показал лучший результат. Не переносите его автоматически на другие лаборатории или домены.
Итоговый шаблон вывода
Хороший отчёт отвечает на четыре вопроса: что именно сравнивали, какие задачи входили в набор, как оценивали ошибки и где агенту нельзя доверять без проверки специалиста. Такая структура делает сравнение полезнее общего рейтинга модели: она показывает не только место агента в таблице, но и условия, при которых он способен поддержать интерпретацию лабораторных данных.
Дополнительные практические шаблоны и правила оформления собраны в разделе guides, а термины — в глоссарии.