这篇把 Agent 上线前散落在各处的注意事项收拢成一份可打勾的清单，避免「感觉没问题就上线」。
五组检查对应五类翻车方式：质量靠回归集与对抗用例兜住，权限靠最小化与人工确认闸门兜住，成本靠上限与降级演练兜住，线上靠采样评估与回滚兜住，接手靠运行手册与培训兜住。最易误用是把清单当形式——每项打不了勾时应写明豁免理由与责任人，而不是硬勾。
与 PoC 验收清单相比，这篇的视角从「验收一个项目」转到「运营一个系统」，补上了限流降级、账单归属、日志分级这些企业现场上线时真正卡住的项。
读完就做一件事：拿当前项目过一遍清单，把勾不上且没有兜底的项列为上线阻塞项。
—— FDEChina编辑部 · 架构师视角
Agent 系统最容易出事的时刻不是开发期，而是上线后的第一周：一个没见过的输入触发了不该执行的操作，或者上游模型限流导致整批任务静默失败。这份清单按评测、安全与权限、成本与限流、监控与回滚、文档与移交五组组织，供上线评审会逐条过检。评测项的详细建设方法见评测基线建设 Playbook，Agent 能力本身的背景可先读Agent 主题。
评测与质量
- □ 核心场景回归集全部通过，且通过阈值与客户验收标准一致，而不是团队内部自定的宽松口径；
- □ 每类核心场景至少准备二十到三十条代表性用例，覆盖高频路径、边界情况和历史坏例；用例应来自真实流量抽样与客户验收场景，不全部由开发自造；难度标记与验收口径保持一致；
- □ 对抗用例测试通过：提示注入、超长或格式混乱的输入、诱导执行危险操作的指令，均有预期内的表现；
- □ 拒答与兜底策略验证完成：模型不确定时、工具调用失败时、权限不足时的行为符合约定，不会编造结果；
- □ 输出事实性抽样核对完成，幻觉率在项目约定范围内，且抽样记录可追溯。
安全与权限
- □ Agent 可调用的每个工具、API、数据库账号均按最小权限配置，使用独立凭据，可单独吊销而不影响其他组件；
- □ 所有外部内容进入模型上下文的路径（网页抓取、文档导入、用户上传）都做过提示注入评估并有结论；
- □ 输出侧敏感信息过滤生效：个人隐私字段与客户商业数据不会出现在不该出现的回复或日志里；
- □ 高危操作（删除、资金相关、对外发送）设有人工确认闸门，且确认人能看到足以判断的上下文，而不是只看到一个「确认」按钮；每次确认与驳回都有记录可查。
成本与限流
- □ 单请求与单会话的成本上限已设置，且触发上限时的行为经过实测而不是想当然；
- □ 上游模型限流、超时、不可用时的降级行为演练过：排队、切换备用模型或明确报错，而不是静默失败；
- □ 预算告警接到了具体的真人，账单能够按客户或按项目拆分归属，避免月底对不上账；月度预算上限已与客户约定并写入文档。
监控与回滚
- □ 线上按比例采样评估在跑，指标异常时告警能到达指定的人，而不是落进无人订阅的频道；
- □ 上一可用版本可以一键回退，回退流程在测试环境完整演练过一次；
- □ 关键日志（请求、工具调用、最终输出）留存且可按会话检索，日志的保存期限与敏感级别符合客户要求；
- □ 已知问题清单已同步给客户，每条附临时规避方法，不让客户自己撞上之后才发现。
文档与移交
- □ 运行手册完成：常见故障现象、排查步骤、升级路径三部分齐全，且由没参与开发的人试读通过；其中至少一次真实故障的处置过程被补充进手册；
- □ 客户方接手人完成培训并通过实操检查，移交事项逐项签认，详细做法见移交清单；
- □ 评测集、提示词、配置的变更流程完成移交：明确谁有权改、改完必须跑哪些回归、结果谁来确认。
使用方式
建议在上线评审会上逐条过检，每项要么勾选、要么注明豁免理由与兜底责任人，不允许空着。这份清单与PoC 验收清单是上下游关系：验收回答「这个版本能不能被客户接受」，本清单回答「这个系统能不能被运营」。上线不是终点，上线后指标持续如何，应回到交付度量的口径里持续跟踪。