工程实践 · 08
观察 AI 智能体:日志、延迟和成本
只记录最终答案,无法知道问题来自模型、工具、网络还是错误的路由。
记录一棵执行树
每次运行保存请求 ID、模型、提示词版本、工具名称、输入输出、耗时和错误。敏感数据必须脱敏。
区分延迟来源
把模型生成时间、外部 API 时间、文件处理时间和队列等待时间分开。否则优化方向只能靠猜。
让日志帮助修复
失败记录要能关联输入、版本和最终结果。每个重要错误都应转化为回归测试,而不是只在聊天中讨论。
工程实践 · 08
只记录最终答案,无法知道问题来自模型、工具、网络还是错误的路由。
每次运行保存请求 ID、模型、提示词版本、工具名称、输入输出、耗时和错误。敏感数据必须脱敏。
把模型生成时间、外部 API 时间、文件处理时间和队列等待时间分开。否则优化方向只能靠猜。
失败记录要能关联输入、版本和最终结果。每个重要错误都应转化为回归测试,而不是只在聊天中讨论。