这张卡讲一个更贴近生产验收口径的指标：连续 k 次全对的 pass^k。
核心拆解：pass^k 是同一任务重复 k 次全部成功的概率，回答「这系统敢不敢依赖」。它与 pass@k 方向相反：一个量上限、一个量下限，智能体评测里后者才是验收语言——生产环境没有重试到成功为止的奢侈，每次都要对。报告 pass^k 时还应写明 k 的取值、采样温度与模型版本，否则这个数字不可复现。最容易误用的地方是拿 pass@k 的漂亮数字代替 pass^k 汇报，客户上线后遭遇的就是那个没被报告的失败面。
增量判断：国内企业客户验收正从「能演示」转向「敢依赖」，pass^k 给了一个把稳定性写成合同条款的工具。FDE 的增量用法是里程碑化：pass^5 达标才进试点、pass^20 达标才谈生产，责任边界随之清晰。
行动建议：把你的核心任务链路测一遍 pass^k，用它的现状决定下一个迭代周期投在哪。k 的取值要与客户一起定，太小测不出差距，太大把门槛抬到不可用；里程碑数字一旦写进方案，验收前就不要悄悄调低。
—— FDEChina编辑部 · 架构师视角
定义
pass^k 指对同一任务独立重复 k 次、要求全部成功的概率，与 pass@k 方向相反，度量的是系统稳定性与可依赖度，回答「这系统敢不敢直接依赖」。
展开
智能体交付里它比 pass@k 更贴近生产验收口径：生产环境没有「多试几次挑一个」的机制，每次执行都要对，失败一次就是一次事故。两指标的差距揭示系统薄弱程度——单次成功率高而 pass^k 塌方，说明输出方差大、流程里有随机性来源，值得逐环节归因。与 pass@k 的选择标准看产品形态：有候选筛选与重试机制的系统，pass@k 是有效口径；一次成型链路的验收只能看 pass^k。FDE 现场用法是把它里程碑化：pass^5 达标进试点、pass^20 达标谈生产，把「稳定性」从形容词变成可签署的数字条款，验收争议时责任边界也随之清晰。汇报纪律：pass^k 与 pass@k 必须成对出现，只报其一都可能构成误导，这一点要提前与客户对齐口径。