工具软件
工具档案:Braintrust——支持自托管的产品化评测平台
Braintrust 是产品化的 LLM 评测与观测平台,覆盖数据集管理、评分器、实验对比,并支持自托管部署;其 2026 年的自托管评测工具横评覆盖 Langfuse、Phoenix、DeepEval、promptfoo、Fiddler …
编辑说FDEChina编辑部
这张卡解决「客户把评测写进验收标准后怎么办」。Braintrust 代表的是评测平台化路线:数据集、评分器、实验记录都产品化,适合多方协作与长期迭代。要注意的口径问题是:上面提到的横评由 Braintrust 自己发布,选型结论只能当线索,不能当结论,最终要用你自己的客户场景跑分。
相比轻量 CLI 工具的档案卡,这张卡的增量是把「评测平台选型的硬条件」讲清楚:能否自托管、评分器能否定制、能否与现有 tracing 打通、导出是否开放。国内语境下,自托管与数据主权往往是采购决策的第一道门槛,也是 FDE 在选型评审里最该替客户问的问题。行动建议:签约前拿客户一个真实工作流做两周试点,用试点数据谈采购。