簡短回答： 構建自己的: 地雷真正的故障模式的痕跡, 編碼爲專家標記的金色數據集, 得分爲三級堆棧—— 代碼檢查, LLM 法官的校準 75–90% 公共領導板可以短名單模式,但不能證明您的系統:飽和、污染和拉帶效應留下了文件記錄 37% 實驗室分數與企業部署之間的差距。
核心重點
- 公共基準可以短名單模式,但不能證明您的系統: MMLU-教室在上方飽和 88%,污染在主要模型中被記錄, 並控制選擇移動分數。
- 在15個積極使用的主要基準中,只有4個可靠地預測生產結果,企業代理系統報告37%的實驗室到部署性能差距,其成本變化率也差不多。
- 從生產痕跡和真實失敗模式中設計自下而上;期望"標準漂移",其中的標點只通過真實輸出分級完成,而不是在之前完成.
- 分三層:機械檢查的確定性代碼, LLM 法官以失敗模式明確標題爲基礎,經驗證後可 75–90% 人類同意,人類也贊同 真相和升級。
- 約束性限制是經過覈實的專家標籤,在數量上、在各個領域和各種語言之間都存在——這是供應鏈問題,一個地方的質量不能自動存在。
公用基準爲何不回答企業問題?.
因爲著名的那些不再有歧視, 許多人都受到了污染, 沒有一個測試你的任務,你的數據,你的地方或你的繩子。
飽和在頂端殺死了信號. MMLU 財務報告和已審計財務報表 MMLU-Pro在功能上飽和,前沿模型在以上組裝 88% ——在高度上的分數差異在統計學上是毫無意義的,這就是爲什麼更難的繼任者會不斷被磨鍊。 在另一個極端,人類的最後考試—— 2,500 發表於《世界自然》雜誌的專家寫作問題 2026 30年代的前沿模型 人類領域專家平均平均 90%,和 OpenAIGDPval 的點不同:它使用域專家, 14+ 多年來作爲模範質量的最終法官所積累的經驗,仍然具有歧視性的基準,是建立在人類專家很少判斷的基礎上的,這是很有說服力的。
污染 ——基準項目故意或通過網絡不加區分的攝入而泄露到訓練中——誇大了剩下的內容,因此得分的衡量與能力一樣多;現在,包括GPT-4和Llama 2在內的主要系統都有文獻記載. 從業人員方法將其視爲一個譜("這個分數中有多少能倖存下來的去污"),像Live Bench這樣的防污染設計通過在新問題中每月旋轉來反應. 添加測量噪聲——一些套房中記錄的註解誤差率超過50%,在不同的套帶下產生實質性不同分數的相同的模型加權數——一個單排板號碼就是:一個單排數.
2026年對15個主要有效基準的分析得出結論,只有四個可靠地預測生產結果,並且一個公佈的得分預測你的結果,只有三個條件:基準與你的任務相似,測試組是乾淨的,基準沒有飽和。 企業代理系統顯示假設其他成本——報告實驗室基準分數與實際世界部署性能之間的差距爲37%,而類似準確度的系統之間的成本差異高達50x。 唯一安靜的缺口是地方性:領導板幾乎無法衡量不同語言和不同區域的能力,這正是全球部署首先中斷的地方,爲什麼必須單獨建立多語種評價集,而不是從英語分數中推斷出來。
爲什麼公分不是你們的
| 措施 | 圖 |
|---|---|
| 人類領域專家關於人類最後考試 | ~90% |
| MMLU(飽和)的邊框模型 | 88%+ |
| 人類最後考試的主要前沿模式 | ~31–37% |
| 報告實驗室與部署之間的差距,企業代理系統 | 37% |
| 可靠預測生產結果的主要基準 | 15國中的4國 |
| 一些公共套房記錄的註釋錯誤率 | 50%以上 . |
Kili Technology的2026年基準指南和LXT的基準分析中報告的數字;基準分數每月移動,因此將這些作爲方向而不是時態處理.
衡量你係統的基準是什麼?
由專家標註的、由能力分割的、從現實中挖掘出來的金色數據集, 再加上針對你尚未遇到的失敗的對抗數據集。
從下而上,從痕跡開始。 記錄的反模式是自上而下的設計 — — 選擇一個度量,建立一套數據集來測量它 — — 相對於量度和生產中令人驚訝的失敗,它產生高分。
工作方法是從系統實際工作的結構化日誌(輸入、檢索上下文、工具呼叫、輸出)開始的,它們爲實際故障模式埋設地雷,並圍繞這些模式構建基準。 "標準漂移"是評價者在分級前不能完全寫出分級標語的發現,因爲分級真實輸出會浮出無人想到的分級標準. 預算主題要通過接觸現實來修改。
從三個來源構建金色數據集 。 一個金色數據集是可信賴的輸入與理想輸出對齊,由具有域專長的人手貼標籤——地面真實度其他所有校準對象. 最有效的實例包括已知邊緣病例、實際生產樣品和PII被移除、以及代表人數不足的情景的合成擴展,其中通過主題專家審查、評估-協議檢查,將“銀器”(合成或輕度審查)晉升爲“黃金”的管道, 和偏見審計——後面的紀律相同 黃金套、審計抽樣和共識 將維度分開,同時構建:正確性、忠誠性、相關性和安全性是不同的屬性,需要不同的衡量標準,一個混合的分數隱藏着一個剛剛倒退的分數。
添加對抗性組合 — 並且對於特工來說,是軌跡層。黃金數據集覆蓋了您已經看到的失敗;紅色團隊集 — 邊緣案例、模糊的詢問,以及OWASP LLM Top 10 失敗模式,從快速注射到過度代理 — 捕捉你沒有的失敗模式。 對於代理系統,對路徑和目的地進行評分:任務成功率隱藏着意外成功的代理,因此企業代理評價與結果一起,越來越多地評定出軌跡準確性——工具呼叫、中間狀態和回收。
你怎麼得分呢——代碼,評委,以及人類?
三級,每級都做最便宜的最好的地方: 機械的定型代碼,校準 LLM 判官爲語義, 人爲地真相和升級。
準則第一,法官第二,決定性檢查——計劃有效性、延遲性、禁用術語、格式合規性——屬於準則,其中自由、快速和無爭議。 LLM-擔任法官,用於對另一個模型的產出進行比對的模型,而BADGER等企業框架則將劃分形式化:代碼中的規則標準,作爲法官的背景標準,每樁公共基準中沒有任何內容的事務,則增加定製法官——金融服務中的監管監管監管,針對個人的閱讀水平, 客戶端 KPI 定義 。
法官是建立而不是寫作的。 LLM-判斷員是建造的可靠性,成熟的管道看起來是一樣的:用明確、絕對的故障模式(缺陷的外觀和如何檢測它——不是模糊的)來定義計量標準。 1–5 縮放; 遵循與“E”相同的原理,寫出標題 寫出一個首選標註的評分符; 運行法官對黃金數據集; 驗證人類標籤, 瞄準 75–90% 操作者校準閾值是有用的鈍器:以上 85% 協議,校準; 70–85%,標題在邊緣的案例中模糊不清——修復並重運行;下面是 70%, eval 並不是測量你的想法, 所以重寫它。 偏好比likrt simple 重排二進制/ 失敗, 並且每季度重排一次, 因爲產品、 用戶和判斷模型都漂移。
將人類投入不可替代的地方. 人審查員是質量金本位,每天只能評價幾百個回覆——量不匹配,決定了分工:人類創造並維護金本位,校準評委,對失敗的自動vals旗進行調查,同樣的方式. 標註員間一致性 用來檢查人類評分者自己是否同意,然後纔將他們的標籤作爲基本真相來信任;法官處理兩者之間的量。 並在開發,預放門,直播流量上運行同樣的評估套件,因此發射前和發射後得分直接相當——發射前運行的eval是照片,而不是顯示器.
企業評價循環
- 留下我的痕跡 生產日誌中的實際失敗模式界定了基準必須捕獲到的是什麼——而不是首先選擇的衡量標準。
- 建金剛套. 專家標記的邊緣病例,PII-scrubbed生產樣品和合成填充物,將銀升爲金.
- 校準裁判 密碼處理機械檢查; LLM 法官經鑑定 75–90% 人類在取得分數之前達成協議。
- 門和監視器。 同一個套房與CI迴歸門和一個生產顯示器運行,刷新,重新校準和規範.
人類通過設計坐在第2階段和第3階段:地面真理和校準是兩種工作自動化不能自給.
如何保持基準 誠實的時間?
防止污染、防止漂流和治理文件——一個未經認證的Eval套房成爲令人舒適的謊言。
驗證者的身份,按時間表進行。 法官可以系統地寬大,金色的套裝可能存在漏洞,斷言可能過於鬆散 — — 如果套裝本身從未被審計,那麼一切都會通過,而質量卻會悄悄下降。 維持的粗糙有效:每季度法官對照新鮮的人類標籤重新校準,定期輪換試驗項目(Live Bench課程——新的問題既能防止污染,也能在不自覺地將隊伍優化到固定的一組),每當標準漂移出現分歧時,都進行標題審查。
使基準可審計。 ISO 42001,則 NIST AI RMF —— 集中到可追蹤性上:每個金色物品都帶有出處、審查者身份、標籤說明、同意標誌和風險標籤。 元數據是內部的微弱值變成證據(對監管者、客戶或事件發生後)的原因,如果在創建時被捕獲,成本就很小,如果在以後重建,成本也很大。 交付前分層質量控制 商業註釋方案。
很少的投入是專家的判斷——把它當作供應鏈。 以上所有的東西最終都取決於一種資源:合格人員在系統所服務的領域和語言中按數量生產可信賴的標籤。 Lifewood 行業數據方面的供應:全行業的適合域審查員的黃金組建築和模型輸出評價 40+ 分娩中心 30+ 國家,涵蓋 100+ 準確的本地能力語言 公共領導板從來不量度 每批通過兩次獨立審查 都通過時間戳式的核準記錄 所以法官們校準的 底線真相本身就被檢查了—— 標準與標準相同 AI 模型評價和數據驗證服務 並應用在Lifewood's AI 數據驗證 與從另一個方向得出的基準領域相同的結論:從GDPval的老專家到HLE的專家作者,仍然具有某種意義的評價是建立在經覈實的人類判斷基礎上的。 AI數據說明公司在這一規模上運作 和Lifewood的自有關係 AI 數據服務.
謹慎數字。 這裏引用的基準分數每月移動一次,對使用方法有敏感認識;37%的部署差距、15分之4的發現和校準閾值來自所引用的供應商分析和執業指南,每個都具有自己的方法和商業利益;學術結論描述了具體的研究。 在根據任何單一數字制定政策之前,應將所有這些因素視爲方向性問題,對照原始來源進行覈查——下文大多數相關內容是開放式的。