很多 Agent 项目在 Demo 阶段令人惊艳,但真正上线后却问题频出:答非所问、调用错误的接口、陷入死循环、成本失控……以下是我们在上百个项目中总结出的 8 项上线前检查清单。
1. 是否有覆盖真实场景的评测集?
至少包含数百条来自真实业务的样本,覆盖常见情况、边界情况与恶意输入,并能一键自动回归。
2. 任务成功率是否被明确定义并度量?
"看起来不错"不是指标。定义清楚什么算成功,并区分完全成功、部分成功与失败。
3. 工具调用是否有权限与参数校验?
Agent 能调用的每个工具都应遵循最小权限原则,并在执行前校验参数合法性。
4. 高风险动作是否需要人工确认?
涉及资金、删除数据、对外发送信息等操作,应默认进入人工审批。
5. 是否能防御提示词注入?
来自网页、邮件、文档的外部内容可能包含恶意指令,必须与系统指令严格隔离。
6. 是否有循环与成本的硬上限?
为步数、Token 消耗与执行时长设置上限,避免"无限思考"带来的成本失控。
7. 每次执行是否可追溯?
完整记录推理过程、工具调用与结果,出现问题时能够快速定位与复现。
8. 是否有失败兜底与反馈闭环?
无法处理时能优雅地转交人工,并将失败案例回流到评测集中持续改进。
可靠性不是上线前的一次性检查,而是贯穿整个生命周期的工程能力。
需要专业团队帮您评估现有 Agent?欢迎 提交需求 或发送邮件至 benbenshadow@gmail.com。