工程实践 · 04

如何控制 AI 智能体的运行成本

智能体变贵，通常不是因为单个模型价格太高，而是因为上下文重复、工具调用失控和没有按任务难度选择模型。

先测量再优化

为每次运行记录输入 token、输出 token、模型、工具次数、延迟和人工修改次数。没有这些数据，所谓“便宜”只是感觉。

按任务路由模型

分类、提取和简单改写可以使用低成本模型。复杂规划、代码调试和多步骤判断才需要更强模型。用真实案例集比较质量，选择能够上线的最低成本模型。

控制上下文

稳定的系统指令和工具定义可以缓存。长文档不要全部预加载，应在需要时通过工具读取。为单次运行设置 token、工具次数和时间上限。

成本也是质量指标

每次版本升级都比较准确率、延迟、失败率和成本。一个回答更漂亮但成本翻倍的版本，不一定是更好的产品。