簡短回答： 偏好用筆記通常的本能——推動各注員之間的協議,如其將達到的水平——摧毀一個獎勵模型應該學習的信號。 10,000 4名註釋員評分的偏好對數,報告四重加權千帕, 0.268,大約 39% 顯示不同偏好的對子; PRISM 發現校正偏好在全局中真正主觀 1,500 參加人數 75 問題不是要引起一致意見,而是要把漂移(這是一個缺陷)與合法的變異(即數據)分開,兩者在協定統計中看起來都是一樣的,其固定之處是將規格分爲客觀的組成部分,低的約定意味着漂移,主觀的則意味着變化的記錄而不是解決。
接下來是在全球服務網絡上 進行優先性分析, 花了一段時間才正確理解: 顯而易見的目標是錯誤的。
在大多數註釋工作中,你儘可能地推動註釋者之間的協議。分歧意味着模糊,模糊意味着指導問題,運行良好的程序也趨同。 這樣的本能對於物體檢測、複製、意圖分類來說是正確的。
應用到RLHF偏好數據中 你會系統破壞你被僱傭收集的信號
因爲偏好說明,很大一部分分歧不是錯誤。 真正偏愛不同背景、價值觀和背景的人正是不同事物,這正是獎勵模式應該學習的變異。 平整它,你訓練了一個模式來滿足一個沒有實際人物的共識。
Lifewood 第一次開始 LLM 財務報告和已審計財務報表 RLHF 方案 2023,現在這項工作跨越了網絡 40+ 跨省服務中心 30+ 國家。這篇文章所涉及的問題是操作上重要的問題:如何在不抹去你所要捕捉的文化變異的情況下, 將測量器校準在足跡上?
核心重點
- 更何況,駕駛協議的高度會摧毀變化,獎勵模式應該成爲學習模式。 一些分歧是正當的價值多元化,而不是錯誤。
- MultiPref, 由各4位註釋者評分的10,000對優先配對, 報告Cohen的卡帕爲0.268, 其中約39%的對稱顯示不同的偏好。
- 核心問題是將漂移(一個缺陷)與數據的合法變異(一個缺陷)分開。 兩者在協議統計中都相同,要將它們分開,就需要將評級的規格分爲客觀和主觀部分。
- PRISM 發現對齊偏好主觀,並取決於背景 1,500 參加人數 75 文化論壇報告,國家一級Krippendorff的α 0.24 改爲: 0.42 反對 CUBE的,因爲 0.09 改爲: 0.58 範圍。
- 2026年的一項選擇盲研究發現91%的暗中互換優惠被製作這些優惠的評分者未發現,該評分主張用優惠強度衡量自我一致性和權重.
- 評級人集中到幾個國家,並集中爲一個單一的獎勵信號,將這些國家的規範出口到模式所服務的每一個市場。
爲什麼RLHF偏好數據中 通知人之間的協議如此低?
優惠數據方面的低程度一致是正常的,而不是質量上的失敗,因爲判斷兩個無限制的答覆中哪一個更好,對於有意義的項目來說,真正主觀的任務。
標註員間一致性 是一個統計,衡量獨立評分者對同一項目如何經常作出同樣的判斷。如果從分類工作中得出偏好數據,協議號會令你震驚。在MultiPref中,一個包含10,000對偏好對的數據集,其中每對偏好對由四個不同的註釋者註釋,研究人員報告說, 二次加權 Cohen 的卡帕 一種懲罰大於小分歧的衡量標準協議是0.268,大約39%的優惠對在過濾關係和輕微優惠後表現出不同的優惠。 上下文中,Landis和Koch比例尺將位於“公平”的波段,遠遠低於任何分類方案所接受的,在“公平”波段中,進一步探索了一個差距。 Lifewood說明員之間的協議.
然而,MultiPref是一個構造良好的數據集,它有經過訓練的註釋員和明確的協議。 低協議不是質量上的失敗。它反映了對開放式反應的偏好判斷。
研究文獻在這個問題上已經取得了決定性的進展。 回到阿羅約和韋爾蒂以及最近巴西爾和同事的著作認爲,註釋者分歧不僅僅是衡量錯誤:它反映了語義模糊、主觀解釋和真正的價值多元化。 具體來說,對於RLHF,你如何彙總分歧決定了哪些解釋在學習系統中仍然可見.
所以,在規模上運行優惠工作的第一個學科就是停止把低協議號當作一個需要固定的問題,開始問一個更難的問題:分歧的哪一部分是信號,哪個部分是漂移?
如何區分真正的文化差異 與註釋者漂移?
將評級規格分爲客觀成分,即存在正確答案和低協議信號漂移,主觀成分,即預期變化,應當記錄而不是解決.
這是核心運營問題,在行業中確實討論不足. 漂流 是指一個評估器對規格的應用會隨着時間而變化或因與內容無關的原因而偏離共同標準——疲勞,無聊,錯誤回憶的準則,無意識的快捷方式,地方團隊領導在某一站點傳播的特異性解釋。這是一個缺陷,需要糾正。
合法變異 即當評分者正確應用了規格,仍然得出不同的結論,因爲所詢問的判斷真正取決於誰在回答。這是數據,需要保存。
兩者在協議統計中看起來完全相同,兩者都顯示爲分歧。要分開說就需要有結構,這就是爲什麼設計良好的 偏好標題 將客觀和主觀兩個組成部分分開,而不是要求一個整體的分數。
客觀成分是存在正確答案的東西:反應是否真實準確,是否遵循了聲明的指示,是否包含要求的內容,是否違反了安全規則。 對這些內容的協議應該很高,而這裏的協議很低是飄忽不定的。 黃金物品就是在這裏工作 和分類一樣 金集和審計抽樣邏輯 用於其他質量控制。
主觀性成分是判斷真正具有偏好的東西:這種語氣是否合適、這種直接性是否有用、這種長度是否正確、這種框架是否尊重。 這裏的協議將更低,應該,而變化應該記錄下來而不是解決。
一個精心設計的優惠協議要求評分者對這些進行分數,而不是產生單一的“更好”判斷。它每個項目的成本更高。它也意味着當協議到期時,你可以知道您所看到的是哪一種分歧。
優惠協議在各國和文化之間有何不同?
偏好判斷的文化差異是真實的和衡量的:已發表的研究將國家一級對主觀層面的共識放在標準卡帕和α尺度的0.1至0.4範圍內,遠遠低於事實準確度的檢查所達到的程度。
PRISM柯克和同事的研究,收集了來自 1,500 參加人數 75 並發現偏好是主觀的,是環境上依賴的,而不是普遍性的。
文化圖譜(CulturalFrames),評價文化期望的一致,報道國家一級克里彭多夫的α在0.24到0.42之間,用於圖像即時的對齊和質量判斷,比較了CUBE所報告的0.09到0.58,並注意到Fleiss kappa的數字在0.179到0.406之間,而CultDiff的0.07到0.17之間. 這些是外地實際根據文化上繁重的判決執行的協定水平。
這對於一個分佈式行動來說實際上意味着必須設定跨地點協議目標,而不是全球範圍。 馬尼拉、內羅畢和貝爾格萊德期望能夠就特定反應的音調合適性達成共識,期望它們能夠形成文化判斷。 希望它們就答覆是否包含事實錯誤達成共識是完全合理的。
這個問題有更微妙的版本值得一提。 如果你的評分池集中在幾個國家,而你只用一個獎勵信號,你就會把這些國家的偏好輸出到模型所服務的每一個市場。 這不是一箇中性的技術選擇。 由說明方案的工作人員間接決定模式的編碼是何者。
什麼樣的機制是捕捉者漂移?
四個機制在實踐中捕捉漂移:每個地點評分的共用校準裝置、每個比率的時間跟蹤、地點層面的差異監測以及重複每隔幾周插入的物品,以檢查自足性。
在所有地點共用校準,每個地點都通過一個週期來評定一個常見的批次,包括客觀維度的黃金項目,這是最重要的單一機制,因爲它產生直接可比的數字。 沒有共享批次,站點級協議的分歧就與批次難度差異混淆,無濟於事.
平均時間跟蹤。 檢測者與組羣的協議會隨着時間而跟蹤, 而不僅僅是一次。 一個在幾周內目標分辨準確度下降的檢測者正在漂移, 不管其絕對數是否仍然高於閾值。 這捕捉疲勞和快捷鍵形成後, 纔會出現交付。
站點層面的差異監測:如果一個站點的主觀層面的評級與網絡一致,而且朝着一個方向存在差異,那麼值得調查,這可能是真正的文化信號,在這種情況下,應該記錄下來。 這可能是當地的準則解釋,它帶有當地口音,需要由小組組長一級糾正。
重複時間分離的物項。 此選項被少用且真實的診斷。 在同一測率器周內插入相同的項目並測量自定義性。 高測率對自己先前的判斷有異議的測率器不會產生穩定的偏好信號 。
最後的機制與一個應該讓這個領域的人暫停的發現有關。 2026年的一項選擇盲研究報告說,91%的暗中交換優惠被那些做出優惠的人沒有察覺到。
相關工作分析 PRISM 和PluriHarms審查了優惠不一致的問題,同一註釋者的比率在本質上相似,其提示不同,認爲一些註釋答覆可能根本不代表穩定的根本性優惠。
如果一個評級人沒有注意到他們自己的選擇被推翻,那麼假設每個首選標籤都讀出一個固定的內部價值,比大多數管道處理它時要搖搖欲墜. 這是衡量自我一致性、以偏好強度加權和誠實地說明哪些比較具有真正的信號——在下文中進一步涵蓋了這種區別——的論點。 如何可靠一個 LLM-法官的設置其實是.
如何建設和管理評估組本身?
徵聘特定市場的評分員,而不僅僅是語文,將人口統計作爲數據集元數據進行記錄,將保留量優先於吞吐量,並在主觀層面存在差異時進行跨場審查。
結構的捕獲漂移。 防止它涉及到如何建立和維持評分羣。 市場招聘,而不僅僅是語言:評分者判斷印度尼西亞使用者的語氣是否合適應該是印度尼西亞人,而不是在別處生活了15年的流利印度尼西亞語。 文化貨幣對改變是正當的,是更廣泛的 human-in-the-loop annotation workflow 將項目傳送到正確的審查者。
文件評分器人口統計作爲數據集元數據。 國家、 語言種類、 年齡段和任何其他屬性, 程序都有明確的分析用途, 並且是經同意收集的。 客戶不得事後問, 偏好模式是反映真實的人口觀點, 還是反映工作人員配備的動畫 。
旋轉校準,而不是校準。高校準的更替會破壞優先級一致性,但不會破壞分類一致性,因爲新校準者帶來了一套新的前科,而不只是需要學習規則。 保留是優選工作的質量機制,比其他任何地方都更有效。
進行跨地點的分歧審查,而不僅僅是現場內部的分歧審查。 當兩個地點在主觀層面出現分歧時,審查應當包括兩個地點的評分員。 產出往往不是決議,而是記錄下來的認定,即該層面在文化上是可變的,這對客戶來說比強迫共識更有用。
保存分佈, 而不僅僅是集合。 如果客戶端的管道支持它, 提供完整的標籤分佈, 並附帶集合優先級, 將保存一個單面的縮放信息 。 獎勵建模文獻正日益轉向分佈式和羣體意識式的方法,正是因爲這個原因,這是更廣泛的轉變的一部分。 企業團隊實際購買的跨度 RLHF, SFT 和蒸餾.
良好的偏好數據報告是什麼樣子的?
良好的報告將目標分配協議與主觀分配協議分開,前者應當是高的和穩定的,後者是監測變化而不是固定目標,同時監測每個比率趨勢和比率人口統計。
一種在分佈式網絡報告上運行良好的優先方案,按尺寸和地點分列:目標分配協議,協議應高而穩定;主觀分配協議,協議將較低,並監測變化而不是水平;客觀層面的每個比率時間趨勢;重複項目自足率; 網站層面的差別模式,標註和定性爲文化信號或漂移;以及 更精確的人口構成,因此客戶知道他們購買了誰的偏好。
這是一個比單一準確數字更復雜的報告,也是唯一讓客戶就他們正在培訓的偏好數據是否代表他們正在建設的用戶作出知情決定的版本。
原因 原因 Lifewood 這項工作通過分佈式網絡運行,而不是集中,這並非主要成本。 這是因爲在3個國家收集的優惠方面受過培訓的獎勵模式編碼了3個國家的準則,而在全球部署的客戶通常想知道,在從用戶那裏得知之前,這項工作是並行的。 Lifewood範圍更廣 企業 LLM 培訓數據服務 以及 數據驗證程序 檢查在交貨前的輸出