这张卡讲 AI 交付里最像传统软件工程、也最常被跳过的环节。

核心拆解:回归测试是每次改动后重跑评测集,确认没有引入新退化——提示词改一个词、模型升一个版本、检索换一套参数,都可能修好 A 坏 B。与软件回归的差别在输出非确定:比对不能逐字节对答案,要靠指标阈值与语义级判定。最常见的事故是改前没锁基线,事后想证明「不是我们改坏的」都拿不出证据。

增量判断:国内私有化交付里,客户环境的模型版本、嵌入版本与数据分布都可能被客户侧自行变更,回归因此要覆盖环境差异。FDE 的增量视角是把回归做成演示项:向客户展示每次改动的回归报告,是比 demo 更强的信任建设。

行动建议:给团队立一条铁律:任何改动上线前先锁基线、跑回归、留报告。报告模板固定下来,回归才能长期坚持不变形;配套的失败用例要回流进评测集,形成闭环。

—— FDEChina编辑部 · 架构师视角

定义

回归测试(Regression Testing)指在系统每次改动后重跑评测集,确认修复或优化没有在其他场景引入退化的验证流程,是 AI 交付中保障迭代安全的核心机制。

展开

AI 系统里回归的风险面比传统软件更宽:提示词改一个词、模型换一个版本、检索调一组参数、知识库更新一批文档,都可能修好 A 坏 B。与传统软件回归的差别在输出非确定性——不能逐字节比对,要靠指标阈值、分层通过率与语义级判定组合判断。铁律是先锁基线再改动:改动前跑一遍当前版本存档,改动后对照,才能回答「变好还是变坏」;事故后追溯同样依赖这份基线。与离线评测、在线评测的关系:回归属于离线评测的一种执行纪律,聚焦「改动前后对照」这一个目的,线上表现则交给在线评测与监控。FDE 现场的增量动作是把回归报告变成客户可见物——每次迭代附上对照数据,比任何 demo 都更能建立「这家交付方可控」的信任。

参见

评测回归模式评测基线手册AI 智能体评测入门