Как проверять, что AI-агент действительно выполнил задачу

Отчёт агента — это утверждение о результате, а не сам результат. Если агент написал «страница опубликована» или «письмо отправлено», проверяйте объект, который изменился снаружи: live-сайт, папку отправленных писем или публичную страницу.
В этом материале под внешним доказательством понимается наблюдаемый результат, доступный проверяющему независимо от лога агента. Такой подход помогает отделить успешный текстовый отчёт от действительно выполненного действия.
Главный принцип: проверяйте не намерение, а состояние
У любой задачи агента есть две разные части:
- агент сообщает, что он сделал;
- внешняя система показывает, что изменилось.
Надёжная проверка начинается со второй части. Лог полезен для понимания хода работы, но не заменяет чтение результата. Агент мог вызвать неправильный адрес, получить ошибку, изменить черновик вместо опубликованной страницы или остановиться после подготовки действия.
Шаг 1. Перепишите задачу как проверяемое утверждение
Сначала уберите расплывчатую формулировку. Вместо «опубликовать изменения» запишите: «по этому URL доступна страница, в которой есть ожидаемый текст». Вместо «отправить письмо» — «в папке отправленных писем есть сообщение с нужным получателем, темой и содержимым».
У проверяемого утверждения должны быть четыре части:
- объект: сайт, письмо или публичная страница;
- адрес: URL или другое место, где его можно прочитать;
- признак успеха: текст, заголовок, получатель или статус;
- граница проверки: что именно не требуется проверять.
Последний пункт важен: проверяйте только обещанный результат. Если задача была опубликовать страницу, не делайте вывод о корректности всей системы по одному найденному заголовку.
Шаг 2. Зафиксируйте ожидаемый результат до запуска агента
Запишите минимальный набор признаков, который должен быть виден после выполнения. Например, для страницы это может быть URL и уникальная фраза; для письма — папка, адрес получателя и тема. Это не тест клиента и не доказательство факта отправки само по себе, а заранее выбранный критерий, по которому вы будете читать внешний результат.
Не используйте в проверяющей команде реальные пароли, токены или содержимое приватной переписки. Если доступ к объекту закрыт, выполняйте проверку в авторизованном браузере или используйте разрешённый внутренний инструмент.
Шаг 3. Дайте агенту выполнить задачу
Сохраните его итоговый отчёт, но пока считайте его неподтверждённым. Полезно отдельно записать время запуска и точный объект, который агент должен был изменить. Если агент сообщил об ошибке, не заменяйте её догадкой о том, что «наверное, всё равно получилось».
Шаг 4. Прочитайте внешний результат
Вариант A. Проверка live-сайта
Для публичной страницы можно запросить HTML безопасной read-only-командой. Подставьте только адрес страницы, которую вы имеете право проверять:
curl --fail --silent --show-error --location \
'https://example.invalid/page' | grep -F 'Ожидаемая фраза'
Это пример команды: домен и фразу нужно заменить на ваши значения. Если grep
нашёл строку, это подтверждает, что фраза присутствует в полученном HTML. Если команда
завершилась без результата, требуемый признак не найден. Проверка не доказывает, что
изменился именно этот запуск агента: для этого нужен контрольный признак, например
уникальный текст, который был добавлен в рамках задачи.
Если страница формируется JavaScript-кодом, обычный curl может увидеть
только исходный HTML. В таком случае откройте страницу в браузере и проверьте
отображаемый текст или используйте разрешённый инструмент автоматизации браузера.
Вариант B. Проверка папки отправленных писем
Для письма источник истины — не ответ агента и не локальный черновик, а папка «Отправленные» в почтовом сервисе. Найдите сообщение и сверьте:
- получателя;
- тему;
- ключевой фрагмент тела письма;
- время отправки, если оно входит в критерий задачи.
Не публикуйте содержимое письма в журнале проверки. Достаточно отметить, что нужное сообщение найдено, и сохранить только минимальные технические сведения, необходимые вашей процедуре.
Вариант C. Проверка публичной страницы
Если результатом была запись в публичном профиле, документе или каталоге, откройте именно публичное представление в режиме, который не показывает ваши права редактора. Проверьте URL, заголовок и уникальный фрагмент. Редакторская панель может показывать сохранённый черновик, хотя посетитель видит старую версию.
Шаг 5. Сопоставьте результат с отчётом агента
После чтения внешнего объекта сравните три вещи:
- что агент обещал сделать;
- что требовалось проверить;
- что действительно видно снаружи.
Результат можно считать подтверждённым, если внешний объект доступен, в нём есть все заранее выбранные признаки, а проверка выполнена в нужном представлении: опубликованном, отправленном или публичном.
Если признак найден частично, формулируйте вывод точно: «текст присутствует, но публикация не подтверждена» или «письмо найдено в черновиках, отправка не подтверждена». Не превращайте частичный результат в «успешно».
Минимальный проверяющий workflow
- Определите внешний объект, который должен измениться.
- Запишите URL, папку или публичное представление.
- Выберите один или несколько наблюдаемых признаков успеха.
- Дайте агенту выполнить задачу.
- Откройте внешний объект независимо от отчёта агента.
- Сверьте признаки и зафиксируйте результат: подтверждено, частично или не подтверждено.
Если этот процесс повторяется, оформите его как отдельный чек-лист или автоматическую read-only-проверку. Проверяющий workflow должен иметь доступ к результату, но не изменять его во время проверки.
Типовые ошибки
Доверять фразе «готово»
Это сообщение описывает намерение агента. Оно не отвечает на вопрос, видит ли внешний пользователь требуемый результат.
Проверять черновик вместо опубликованного объекта
Черновик и live-версия могут различаться. Всегда проверяйте то представление, которое должен увидеть конечный пользователь.
Искать только общий текст
Частая фраза может присутствовать на старой странице. Используйте уникальный контрольный признак, если задача это допускает.
Считать отсутствие ошибки доказательством успеха
Команда, запрос или вызов API могли завершиться без явной ошибки, но изменить другой объект. Нужен read-back: повторное чтение результата.
Проверять только один слой
Сохранение в редакторе не равно публикации, а наличие письма в черновиках не равно отправке. Проверяйте последний внешний слой, доступный пользователю.
Ограничения метода
Внешнее чтение не всегда объясняет причину сбоя. Если страница не изменилась, проблема может быть в публикации, кэше, правах доступа или в неверном адресе. Поэтому внешний результат отвечает на вопрос «видно ли требуемое изменение», а логи и служебные события помогают расследовать «почему его нет».
Также нельзя гарантировать причинность только по совпадению текста: другой человек или процесс мог изменить объект параллельно. Для критичных задач добавляйте уникальный идентификатор операции, временное окно или другой разрешённый контрольный признак.
Итог
Чтобы понять, как проверять, что AI-агент действительно выполнил задачу, задайте простой вопрос: «Что изменилось во внешней системе и могу ли я прочитать это независимо от отчёта агента?» Откройте live-сайт, папку отправленных писем или публичную страницу, найдите заранее определённые признаки и зафиксируйте точный статус. Так отчёт становится подсказкой для проверки, а не её заменой.
Дополнительные практические сценарии собраны в разделе guides.html, а определения терминов — в glossary.html.