FDE中国 · 从业者与关注者的专业知识、实践与行业资料 新手指南关于版权说明

工具软件

工具档案:promptfoo——CLI 优先的 prompt 测试与红队工具

promptfoo 是开源、CLI 优先的 prompt 与 agent 测试工具,并内置红队测试能力,被第三方对比评测列为上手门槛最低的选项之一。在 Forward Deployed Engineer(FDE,前置部署工程师)交付里,它适…
编辑说FDEChina编辑部

这张卡回答「轻量级评测用什么」。promptfoo 的定位是测试工具而非平台:强在快、可编排、能直接进 CI,弱在看板与团队协作。最常见的误用是拿它当长期评测中台——一旦评测用例超过几百条、需要业务方一起看结果,就应该迁移到带数据集管理与可视化的平台,两者是先后关系而非二选一。

相比站内评测方法论文章,这张卡的增量在于把「评测左移」落成具体动作:prompt 改动像代码一样过回归。国内语境的加分项是开源可离线,适配内网与私有化交付环境,数据不出客户机房。行动建议:在一个进行中的项目里给 CI 加一条 promptfoo 回归任务,把上次改坏 prompt 的事故变成第一条用例。

来源与原文 Respan:LangSmith vs promptfoo 对比 · 原发 2026-09-06。完整内容在来源页面,点击「阅读原文」前往。 阅读原文 ↗