Безопасность · Архитектура агентов
Контролируемые AI-расследования безопасности: reference-архитектура

AI-агент может быстро собрать контекст по событию, сопоставить признаки компрометации и подготовить гипотезу. Но тот же агент способен ошибиться, расширить область поиска или выполнить опасное действие. В этой статье соберём прототип supervised workflow: модель анализирует данные и предлагает шаги, а человек и политика безопасности ограничивают изменения во внешних системах.
Главная идея: расследование не равно автоматическому реагированию
Безопаснее разделить процесс на две разные способности. Первая — наблюдать, читать разрешённые источники и формировать объяснение. Вторая — менять состояние: изолировать хост, блокировать учётную запись, отзывать токен или отправлять уведомление. В reference-архитектуре первая способность может быть автоматизирована в широких пределах, а вторая по умолчанию требует явного подтверждения.
Минимальная граница доверия выглядит так:
событие → нормализация → AI-анализ → проверка политики
→ предложение действия → подтверждение человека → контролируемое выполнение
Важно: вывод модели — это рекомендация, а не приказ. Даже если модель уверена в своей гипотезе, оркестратор должен перепроверить тип операции, область действия, полномочия и наличие подтверждения.
Reference-архитектура
Для прототипа достаточно пяти логических компонентов. Их можно реализовать отдельными сервисами или модулями одного приложения.
- Ingestor. Принимает событие из тестового файла, очереди или внутреннего API. На входе фиксируются идентификатор события, время, источник и исходные данные.
- Normalizer. Приводит событие к ограниченной схеме: субъект, ресурс, действие, временной интервал, признаки и ссылки на разрешённые данные. Секреты и лишние поля удаляются до передачи модели.
- Investigator. Получает только нормализованный контекст, выполняет разрешённые чтения и возвращает гипотезу, степень уверенности, список доказательств и предложенное действие.
- Policy gate. Проверяет, разрешены ли источник, инструмент, параметры и требуемый уровень одобрения. Он не должен полагаться на текстовое обещание модели «ничего не менять».
- Approval и executor. Показывает человеку структурированное предложение. После подтверждения executor выполняет только заранее описанную операцию и записывает результат.
Поток данных и поток полномочий должны быть разными. Модель может видеть диагностический контекст, но это не означает, что она получила право вызвать административный инструмент.
┌─────────┐ ┌─────────────┐ ┌──────────────┐
│ Event │──▶│ Normalizer │──▶│ Investigator │
└─────────┘ └─────────────┘ └──────┬───────┘
│ proposal
┌──────▼───────┐
│ Policy gate │
└──────┬───────┘
│
┌─────────────▼─────────────┐
│ Human approval / Executor │
└─────────────┬─────────────┘
│
┌──────▼──────┐
│ Audit log │
└─────────────┘
Модель данных: отделяем факт, гипотезу и решение
Одна из типовых ошибок — хранить весь ответ агента одной строкой. Такой формат плохо проверяется и затрудняет аудит. Для прототипа используйте отдельные поля:
{
"event_id": "evt-example-001",
"observed_at": "2026-11-20T10:15:00Z",
"subject": {
"type": "user",
"id": "user-example"
},
"facts": [
{
"source": "auth-log",
"kind": "failed_login_burst",
"value": 8
}
],
"hypothesis": {
"summary": "Пример гипотезы: требуется дополнительная проверка входов",
"confidence": 0.62,
"evidence_refs": ["fact-1"]
},
"proposed_action": {
"type": "request_review",
"target": "security-queue",
"requires_approval": true
},
"decision": null,
"audit": {
"policy_version": "local-prototype-v1",
"trace_id": "trace-example-001"
}
}
Значения выше иллюстративны и не являются результатом реального расследования. В рабочем прототипе идентификаторы и временные метки должны создаваться приложением, а не копироваться из примера.
Поля facts должны ссылаться на наблюдаемые источники. Поле
hypothesis содержит интерпретацию. Поле decision
заполняется только после решения уполномоченного человека или политики.
Это позволяет отличить «агент предположил» от «операция разрешена».
Воспроизводимый безопасный прототип
Ниже — последовательность, которую можно выполнить локально на тестовых данных. Команды не подключаются к внешним системам и не выполняют административных действий. Если вы адаптируете их под свой проект, оставьте входные файлы синтетическими до завершения проверки границ.
1. Создайте минимальное тестовое событие
mkdir -p supervised-lab/{input,output,logs}
printf '%s\n' \
'{"event_id":"evt-example-001","source":"demo-auth-log","actor":"user-example","action":"login_failed","count":8}' \
> supervised-lab/input/event.json
2. Проверьте, что событие не содержит секретов
rg -n -i 'password|passwd|secret|token|api[_-]?key|private[_-]?key' \
supervised-lab/input || true
Команда только ищет подозрительные имена полей. Отсутствие совпадений не доказывает, что файл безопасен: перед использованием нужно проверить схему и происхождение данных.
3. Зафиксируйте контракт предложения
Агент должен возвращать машинно проверяемый объект. В прототипе полезно запретить произвольные команды и разрешить только перечисление типов действий:
{
"summary": "Краткое объяснение гипотезы",
"confidence": 0.0,
"evidence_refs": ["fact-1"],
"action_type": "request_review",
"target": "security-queue",
"requires_approval": true
}
Если ответ не соответствует схеме, workflow должен завершиться состоянием
needs_review, а не пытаться «починить» опасное поле эвристикой.
Не передавайте модели shell-команды как формат действий. Пусть исполнитель
сопоставляет безопасный action_type с заранее написанным обработчиком.
4. Добавьте режимы выполнения
Практичная минимальная матрица имеет три режима:
observe— чтение данных и запись гипотезы;propose— подготовка действия без вызова executor;execute— выполнение только после проверки политики и подтверждения.
Локальный запуск следует начинать с observe. Переход к
execute должен быть отдельным конфигурационным решением, защищённым
от случайного включения. Для опасных операций полезно требовать два независимых
сигнала: разрешённый тип действия и запись подтверждения с привязанным
trace_id.
5. Записывайте каждый переход состояния
{
"trace_id": "trace-example-001",
"event_id": "evt-example-001",
"state": "proposed",
"actor": "investigator-agent",
"policy": "local-prototype-v1",
"input_hash": "example-only",
"timestamp": "2026-11-20T10:15:00Z"
}
В реальной системе хеш должен вычисляться программно; значение
example-only здесь служит только обозначением примера. Журнал
должен быть доступен для расследования самого расследования: кто инициировал
процесс, какие данные видел агент, какую политику применили, кто подтвердил
шаг и чем он завершился.
Ограничения, которые стоит заложить сразу
Allowlist вместо общего доступа
Разрешайте конкретные операции: «прочитать запись по идентификатору», «получить агрегат за интервал», «создать заявку на проверку». Не выдавайте агенту общий доступ к командной оболочке, произвольному HTTP-клиенту или административной консоли.
Ограничение области расследования
Контекст запроса должен включать допустимые субъекты, временной диапазон, источники и максимальное число чтений. Если агенту нужны новые данные, он формирует запрос расширения, а не самостоятельно меняет область поиска.
Запрет на секреты в prompt и журнале
До вызова модели применяйте редактирование чувствительных значений. В журнале храните идентификаторы ссылок и хеши, если полный payload не нужен для аудита. Не логируйте токены, cookie, приватные ключи и полные значения учетных данных.
Отдельная обработка неопределённости
Числовая уверенность модели не является доказательством качества. Используйте
её как один из сигналов маршрутизации. Низкая уверенность, противоречивые факты,
отсутствующий источник или выход за политику должны переводить кейс в
needs_review.
Идемпотентность и остановка
Каждое действие должно иметь ключ идемпотентности, тайм-аут и лимит повторов. При неполном ответе внешней системы executor должен остановиться и создать ручную задачу, а не повторять потенциально опасную операцию бесконечно.
Проверка результата
Проверяйте не только качество текста гипотезы, но и соблюдение границ. Для прототипа достаточно ручного чек-листа:
- Событие принято по ожидаемой схеме.
- Секреты и лишние поля удалены до вызова модели.
- Все факты имеют источник или явно помечены как отсутствующие.
- Предложенное действие входит в allowlist.
- Без подтверждения человека executor не вызывается.
- Ошибочный или неполный ответ переводит процесс в ручную проверку.
- Для каждого перехода существует запись аудита с одним trace ID.
- Повторная доставка того же события не создаёт повторное действие.
Полезный негативный сценарий: намеренно подайте предложение с неизвестным
action_type или без requires_approval. Ожидаемый
результат — отказ policy gate и запись причины в журнале. Не подменяйте этот
сценарий реальным блокированием пользователя или хоста.
Мониторинг: что наблюдать после запуска
Мониторинг должен показывать не только задержку и число ошибок. Для контролируемого расследования важны показатели, связанные с полномочиями:
- доля кейсов, завершённых в
needs_review; - число предложений, отклонённых policy gate;
- доля предложений, изменённых человеком перед подтверждением;
- количество вызовов executor без корректного approval-события;
- повторные попытки по одному ключу идемпотентности;
- неполные audit trails и пропуски trace ID;
- расширения области расследования и причины их одобрения.
Алерт о нарушении границы обычно важнее алерта о низкой уверенности модели. Низкая уверенность может быть ожидаемой частью triage, а вызов операции без разрешения — дефектом контроля.
Типовые ошибки
«Мы просто попросили агента быть осторожным»
Инструкции в prompt полезны для формата и поведения, но не заменяют технические ограничения. Политику нужно проверять вне модели, перед каждым действием.
«Сначала дадим read/write-доступ, потом ограничим»
Такой порядок усложняет аудит и увеличивает радиус ошибки. Начинайте с read-only источников и фиктивного executor, который только записывает предложение в журнал.
«Уверенность выше 0,9 — можно выполнять»
Порог уверенности не отвечает на вопросы о полномочиях, масштабе и последствиях. Выполнение должно зависеть от типа операции, политики, цели, свежести данных и подтверждения.
«Логируем весь контекст для удобства»
Полный контекст может содержать секреты и персональные данные. Определите, какие поля нужны для воспроизводимости, и редактируйте остальные до записи.
«После ошибки повторим автоматически»
Повтор безопасен только для явно идемпотентной операции. Не повторяйте административные действия после тайм-аута без проверки фактического состояния.
Ограничения подхода
Reference-архитектура не гарантирует правильность гипотезы и не устраняет необходимость в специалисте по безопасности. Она снижает риск за счёт разделения анализа и воздействия, но не заменяет управление доступом, резервные процедуры, классификацию данных и проверку конкретных интеграций.
Human-in-the-loop также не является магическим предохранителем: человек может подтвердить неверное предложение из-за усталости, плохого интерфейса или неполного контекста. Поэтому интерфейс одобрения должен показывать факты, источники, область действия, предполагаемый эффект и возможность отклонить предложение с причиной.
Итог
Контролируемые AI-расследования безопасности: reference-архитектура строится вокруг простой границы: агент может наблюдать и предлагать, но не получает неявное право менять внешнюю систему. Для первого прототипа достаточно нормализованного события, структурированного предложения, policy gate, ручного approval, безопасного executor и полного журнала переходов.
Дальше развивайте систему через новые read-only адаптеры, тесты отказа, версионирование политик и мониторинг нарушений границ. Полезные соседние материалы: практические гайды Agent Lab Journal и глоссарий терминов.