这篇解决的问题是:PoC 验收会上双方都被「演示很顺利」带着走,没人系统性地检查那些会延迟到生产环境才爆雷的问题。
最值得拿走的是四组检查项背后的评审逻辑:先查数据是谁准备的(客户数据的真实性决定 PoC 的有效性),再查边界(失败案例和长尾输入),然后查钱和时间,最后查移交物。最容易出现误用是把清单当验收当天的一次性工具——前两组问题在 PoC 开跑前就该问,等到验收会才问,答案早已注定。
相比站内的评测建设与期望管理内容,这篇的增量是「验收现场的可执行检查动作」,每条都能当场核出结论。国内语境要叠加的是:验收往往与商务付款节点绑定,争议项建议按「验收前解决/验收后跟进」分类写进纪要,避免二选一对峙。
读完后的第一件事:把本清单发给当前项目客户方技术对接人,请他们在你的验收自查之外独立过一遍。
—— FDEChina编辑部 · 犀利评审
先说结论:演示通过只能证明「系统在最好的输入上表现良好」,而验证通过要求「系统在约定范围内的输入上达到承诺的水平」。这两件事的差距,就是 PoC 与生产之间的距离。这份清单共十六条检查项,按四组组织,每条都可勾选执行,建议验收会前一周由交付方自查一遍,验收当天与客户方再逐条过一遍。它承接客户期望管理中约定的范围边界,以评测基线建设产出的数字为判定依据,并把移交物直接对接项目交接清单。
第一组:数据真实性——PoC 用的数据经得起问吗
- □ 测试数据由客户方从真实业务数据中抽样提供,抽样比例与抽样方式有书面记录,而非由交付方自行准备或挑选的「干净数据」。
- □ 数据分布与生产环境一致:已确认高频输入类型、低频输入类型的占比,且测试集中各类型占比经过核对,不存在清一色标准样本。
- □ 测试数据已确认覆盖脱敏要求:涉密字段的处理方式经客户方信息安全或数据负责人书面认可,评测集可以安全存放与流转。
- □ 测试数据中包含客户方认可的困难样本(历史人工处理出错的案例、格式异常的输入),数量与占比在验收文档中写明。
第二组:边界覆盖——失败的样子看过没有
- □ 已在验收现场用约定外的输入实测至少五例:乱码、超长输入、与业务无关的提问、含错误前提的提问,系统行为(拒绝、澄清、降级)符合约定而非崩溃或胡编。
- □ 失败案例清单已交出:当前版本明确处理不好的场景逐条列出,每条附触发条件与降级方案,客户方已阅读并确认接受。
- □ 人工兜底路径已实测:系统判断「处理不了」之后转人工的完整流程至少走通过一次,包括任务如何流转、人工如何接手。
- □ 边界内的「通过」口径经双方确认:什么算成功、什么算部分成功、什么算失败,三个定义写进验收文档并可逐条对应到测试结果。
第三组:性能与成本——单条处理值多少钱、多少时间
- □ 核心场景的单次处理成本已按真实调用链测算(含模型调用、检索、重试),给出单条均值与波动范围,并与客户确认的预算口径一致。
- □ 延迟指标在接近生产负载的条件下测得:不是单请求串行测试,而是按约定的并发量实测 P50 与 P95 延迟,测试条件写在结果旁边。
- □ 月度成本估算已出:按客户提供的真实业务量推算每月总成本,包含峰值场景,并明确按量增长时的成本曲线形状。
- □ 已知性能短板与容量上限写进文档:当前架构在什么量级会出问题、到时扩容或重构的方向是什么,避免客户把 PoC 架构直接当成生产架构的承诺。
第四组:验收与移交——验证过程本身能不能被复用
- □ 评测集与评测脚本已移交并可独立运行:客户方技术对接人在验收现场或一周内自行跑通过一次,结果与交付方报告的数字一致。
- □ 验收报告含完整的指标数字(分层数口径,而非单一总分)、测试环境描述、已知问题清单,双方签字或邮件确认。
- □ 争议条目已分类处理:未能达成一致的检查项,逐条标注「验收前解决」或「验收后跟进」,后者有明确的跟进时间与责任人,不留悬而未决的模糊地带。
- □ 部署与运维移交物已列清单:环境配置、参数说明、常见故障处理、升级方式,逐项对照项目交接清单确认,明确哪些在 PoC 阶段交付、哪些在生产实施阶段交付。
使用说明
这份清单的正确的打开方式不是验收当天逐条念。第一组与第二组的一半项目,属于「答案在 PoC 开跑前就已注定」的问题——数据是客户给的还是自己造的,跑之前就要定,等到验收会上才发现数据不真实,唯一的结论只能是重跑。所以推荐三个时间点使用:PoC 启动时过一遍,把第一组与边界口径锁死;验收前一周交付方自查;验收当天双方逐条确认,让会议时间花在争议项上而不是基础事实上。
十六条不必全部通过才算验收合格,但每一条要么通过、要么被明确归入「验收后跟进」并写下时间与责任人。最危险的状态是既没过、也没人承认没过——它会以生产事故的形式重新出现在半年后。评审中如果只允许问一个问题,问第一组的第一条:「测试数据是谁准备的?」这个问题的答案,通常能预示整场验收的成色。验收之后的系统化度量与持续回归,参见FDE 交付质量度量;进入生产实施前的阶段规划,参见FDE 项目生命周期。