简短回答： 构建自己的: 地雷真正的故障模式的痕迹, 编码为专家标记的金色数据集, 得分为三级堆栈—— 代码检查, LLM 法官的校准 75–90% 公共领导板可以短名单模式,但不能证明您的系统:饱和、污染和拉带效应留下了文件记录 37% 实验室分数与企业部署之间的差距。
核心要点
- 公共基准可以短名单模式,但不能证明您的系统: MMLU-教室在上方饱和 88%,污染在主要模型中被记录, 并控制选择移动分数。
- 在15个积极使用的主要基准中,只有4个可靠地预测生产结果,企业代理系统报告37%的实验室到部署性能差距,其成本变化率也差不多。
- 从生产痕迹和真实失败模式中设计自下而上;期望"标准漂移",其中的标点只通过真实输出分级完成,而不是在之前完成.
- 分三层:机械检查的确定性代码, LLM 法官以失败模式明确标题为基础,经验证后可 75–90% 人类同意,人类也赞同 真相和升级。
- 约束性限制是经过核实的专家标签,在数量上、在各个领域和各种语言之间都存在——这是供应链问题,一个地方的质量不能自动存在。
公用基准为何不回答企业问题?.
因为著名的那些不再有歧视, 许多人都受到了污染, 没有一个测试你的任务,你的数据,你的地方或你的绳子。
饱和在顶端杀死了信号. MMLU 财务报告和已审计财务报表 MMLU-Pro在功能上饱和,前沿模型在以上组装 88% ——在高度上的分数差异在统计学上是毫无意义的,这就是为什么更难的继任者会不断被磨炼。 在另一个极端,人类的最后考试—— 2,500 发表于《世界自然》杂志的专家写作问题 2026 30年代的前沿模型 人类领域专家平均平均 90%,和 OpenAIGDPval 的点不同:它使用域专家, 14+ 多年来作为模范质量的最终法官所积累的经验,仍然具有歧视性的基准,是建立在人类专家很少判断的基础上的,这是很有说服力的。
污染 ——基准项目故意或通过网络不加区分的摄入而泄露到训练中——夸大了剩下的内容,因此得分的衡量与能力一样多;现在,包括GPT-4和Llama 2在内的主要系统都有文献记载. 从业人员方法将其视为一个谱("这个分数中有多少能幸存下来的去污"),像Live Bench这样的防污染设计通过在新问题中每月旋转来反应. 添加测量噪声——一些套房中记录的注解误差率超过50%,在不同的套带下产生实质性不同分数的相同的模型加权数——一个单排板号码就是:一个单排数.
2026年对15个主要有效基准的分析得出结论,只有四个可靠地预测生产结果,并且一个公布的得分预测你的结果,只有三个条件:基准与你的任务相似,测试组是干净的,基准没有饱和。 企业代理系统显示假设其他成本——报告实验室基准分数与实际世界部署性能之间的差距为37%,而类似准确度的系统之间的成本差异高达50x。 唯一安静的缺口是地方性:领导板几乎无法衡量不同语言和不同区域的能力,这正是全球部署首先中断的地方,为什么必须单独建立多语种评价集,而不是从英语分数中推断出来。
为什么公分不是你们的
| 措施 | 图 |
|---|---|
| 人类领域专家关于人类最后考试 | ~90% |
| MMLU(饱和)的边框模型 | 88%+ |
| 人类最后考试的主要前沿模式 | ~31–37% |
| 报告实验室与部署之间的差距,企业代理系统 | 37% |
| 可靠预测生产结果的主要基准 | 15国中的4国 |
| 一些公共套房记录的注释错误率 | 50%以上 . |
Kili Technology的2026年基准指南和LXT的基准分析中报告的数字;基准分数每月移动,因此将这些作为方向而不是时态处理.
衡量你系统的基准是什么?
由专家标注的、由能力分割的、从现实中挖掘出来的金色数据集, 再加上针对你尚未遇到的失败的对抗数据集。
从下而上,从痕迹开始。 记录的反模式是自上而下的设计 — — 选择一个度量,建立一套数据集来测量它 — — 相对于量度和生产中令人惊讶的失败,它产生高分。
工作方法是从系统实际工作的结构化日志(输入、检索上下文、工具呼叫、输出)开始的,它们为实际故障模式埋设地雷,并围绕这些模式构建基准。 "标准漂移"是评价者在分级前不能完全写出分级标语的发现,因为分级真实输出会浮出无人想到的分级标准. 预算主题要通过接触现实来修改。
从三个来源构建金色数据集 。 一个金色数据集是可信赖的输入与理想输出对齐,由具有域专长的人手贴标签——地面真实度其他所有校准对象. 最有效的实例包括已知边缘病例、实际生产样品和PII被移除、以及代表人数不足的情景的合成扩展,其中通过主题专家审查、评估-协议检查,将“银器”(合成或轻度审查)晋升为“黄金”的管道, 和偏见审计——后面的纪律相同 黄金套、审计抽样和共识 将维度分开,同时构建:正确性、忠诚性、相关性和安全性是不同的属性,需要不同的衡量标准,一个混合的分数隐藏着一个刚刚倒退的分数。
添加对抗性组合 — 并且对于特工来说,是轨迹层。黄金数据集覆盖了您已经看到的失败;红色团队集 — 边缘案例、模糊的询问,以及OWASP LLM Top 10 失败模式,从快速注射到过度代理 — 捕捉你没有的失败模式。 对于代理系统,对路径和目的地进行评分:任务成功率隐藏着意外成功的代理,因此企业代理评价与结果一起,越来越多地评定出轨迹准确性——工具呼叫、中间状态和回收。
你怎么得分呢——代码,评委,以及人类?
三级,每级都做最便宜的最好的地方: 机械的定型代码,校准 LLM 判官为语义, 人为地真相和升级。
准则第一,法官第二,决定性检查——计划有效性、延迟性、禁用术语、格式合规性——属于准则,其中自由、快速和无争议。 LLM-担任法官,用于对另一个模型的产出进行比对的模型,而BADGER等企业框架则将划分形式化:代码中的规则标准,作为法官的背景标准,每桩公共基准中没有任何内容的事务,则增加定制法官——金融服务中的监管监管监管,针对个人的阅读水平, 客户端 KPI 定义 。
法官是建立而不是写作的。 LLM-判断员是建造的可靠性,成熟的管道看起来是一样的:用明确、绝对的故障模式(缺陷的外观和如何检测它——不是模糊的)来定义计量标准。 1–5 缩放; 遵循与“E”相同的原理,写出标题 写出一个首选标注的评分符; 运行法官对黄金数据集; 验证人类标签, 瞄准 75–90% 操作者校准阈值是有用的钝器:以上 85% 协议,校准; 70–85%,标题在边缘的案例中模糊不清——修复并重运行;下面是 70%, eval 并不是测量你的想法, 所以重写它。 偏好比likrt simple 重排二进制/ 失败, 并且每季度重排一次, 因为产品、 用户和判断模型都漂移。
将人类投入不可替代的地方. 人审查员是质量金本位,每天只能评价几百个回复——量不匹配,决定了分工:人类创造并维护金本位,校准评委,对失败的自动vals旗进行调查,同样的方式. 标注员间一致性 用来检查人类评分者自己是否同意,然后才将他们的标签作为基本真相来信任;法官处理两者之间的量。 并在开发,预放门,直播流量上运行同样的评估套件,因此发射前和发射后得分直接相当——发射前运行的eval是照片,而不是显示器.
企业评价循环
- 留下我的痕迹 生产日志中的实际失败模式界定了基准必须捕获到的是什么——而不是首先选择的衡量标准。
- 建金刚套. 专家标记的边缘病例,PII-scrubbed生产样品和合成填充物,将银升为金.
- 校准裁判 密码处理机械检查; LLM 法官经鉴定 75–90% 人类在取得分数之前达成协议。
- 门和监视器。 同一个套房与CI回归门和一个生产显示器运行,刷新,重新校准和规范.
人类通过设计坐在第2阶段和第3阶段:地面真理和校准是两种工作自动化不能自给.
如何保持基准 诚实的时间?
防止污染、防止漂流和治理文件——一个未经认证的Eval套房成为令人舒适的谎言。
验证者的身份,按时间表进行。 法官可以系统地宽大,金色的套装可能存在漏洞,断言可能过于松散 — — 如果套装本身从未被审计,那么一切都会通过,而质量却会悄悄下降。 维持的粗糙有效:每季度法官对照新鲜的人类标签重新校准,定期轮换试验项目(Live Bench课程——新的问题既能防止污染,也能在不自觉地将队伍优化到固定的一组),每当标准漂移出现分歧时,都进行标题审查。
使基准可审计。 ISO 42001,则 NIST AI RMF —— 集中到可追踪性上:每个金色物品都带有出处、审查者身份、标签说明、同意标志和风险标签。 元数据是内部的微弱值变成证据(对监管者、客户或事件发生后)的原因,如果在创建时被捕获,成本就很小,如果在以后重建,成本也很大。 交付前分层质量控制 商业注释方案。
很少的投入是专家的判断——把它当作供应链。 以上所有的东西最终都取决于一种资源:合格人员在系统所服务的领域和语言中按数量生产可信赖的标签。 Lifewood 行业数据方面的供应:全行业的适合域审查员的黄金组建筑和模型输出评价 40+ 分娩中心 30+ 国家,涵盖 100+ 准确的本地能力语言 公共领导板从来不量度 每批通过两次独立审查 都通过时间戳式的核准记录 所以法官们校准的 底线真相本身就被检查了—— 标准与标准相同 AI 模型评价和数据验证服务 并应用在Lifewood's AI 数据验证 与从另一个方向得出的基准领域相同的结论:从GDPval的老专家到HLE的专家作者,仍然具有某种意义的评价是建立在经核实的人类判断基础上的。 AI数据说明公司在这一规模上运作 和Lifewood的自有关系 AI 数据服务.
谨慎数字。 这里引用的基准分数每月移动一次,对使用方法有敏感认识;37%的部署差距、15分之4的发现和校准阈值来自所引用的供应商分析和执业指南,每个都具有自己的方法和商业利益;学术结论描述了具体的研究。 在根据任何单一数字制定政策之前,应将所有这些因素视为方向性问题,对照原始来源进行核查——下文大多数相关内容是开放式的。