这张卡讲离线评测能证明什么、不能证明什么，把迭代安全交在它手里。
核心拆解：离线评测在受控环境用固定评测集打分，优势是可复现、可对照、可进持续集成，是回归测试的主战场。要认清边界：它测的是与历史数据同分布的表现，测不了线上流量漂移、真实用户行为与数据时效问题。最常见的误用有两个：一是离线分数当验收终点，上线即遭遇分布差异打脸；二是评测集久不更新，分数虚高而真实能力已退化。
增量判断：与在线评测是接力关系——离线把门、在线校准，两者口径要能互相翻译。国内私有化语境下离线评测要在客户环境内跑，评测基建的部署形态要进方案。FDE 的闸门用法：离线不达标禁止上线，这条写进交付流程。
行动建议：检查你的评测集最近一次更新时间，超过一个月就安排一次用例回流。离线评测的投入永远在事故时刻回本。
—— FDEChina编辑部 · 架构师视角
定义
离线评测（Offline Evaluation）指在受控环境中、用固定的评测集对模型或智能体系统打分的评测方式，是迭代对照、回归测试与上线前把关的主战场。
展开
它的优势是可复现、可对照、可自动化进持续集成：每次改动跑一遍，退化立现，这让「改好还是改坏」有了客观答案。边界也要认清：离线测的是与评测集同分布的表现，线上流量的漂移、真实用户的非常规用法、知识库时效问题，都测不出来。常见误用一是把离线分数当验收终点，上线后被分布差异打脸；二是评测集长期不更新，离线分数坚挺而线上表现下滑，两者裂开就是分布漂移的信号。与在线评测的关系是接力而非替代——离线把门、在线校准，两者的指标口径要能互相翻译，否则线上发现的退化解不回离线用例。FDE 的闸门用法是写成流程条款：离线评测不达标禁止上线，紧急修复也要事后补跑回归，这条纪律在客户事故追责时就是交付方的护身符。