簡短回答： 結果監督只告訴一個模型它的最後答案是錯誤的,但並不是哪個步驟斷了,所以長久的推理痕跡收集了在一個負面信號下的許多正確步驟。 過程獎勵模型通過給中間步驟而不是最終答案打分來解決這個問題,用更高的標籤成本來換取一個更強大的訓練信號。 Lightman等人。 (2023)顯示有效的PRM訓練只需要識別第一個錯誤的步驟;OmegaPRM然後通過二進制搜索而不是每個步驟標記來發現這個步驟.
核心重點
- 結果監督顯示,一個模型的答案是錯誤的,但並沒有打破哪個步驟;過程獎勵模型爲彌補這一差距而分了中間步驟。
- Lightman等人(2023年)顯示有效的PRM培訓只需要確定推理鏈中的第一個錯誤步驟,因爲早期的步驟通過構建是正確的.
- OmegaPRM應用二進制搜索來定位第一個錯誤,與每個步驟的標籤相比,減少了需要的評價數量.
- 說明理由需要域專家審查員,他們要從最後答案中孤立地判斷每一步驟,而不是一般用途的註釋員。
- 與實事求是的知識相比,在語言之間實現技能轉移的理由是:加強中國推理數據的學習,也提高了德語、西班牙語和孟加拉語評價的績效。
成果監督爲何在長的推理痕跡上失敗?
結果監督只告訴一個模型它的最後答案是對還是錯,所以一個達到錯誤答案的十二步推理鏈會得到一個在每一個步驟,包括正確的步驟間分佈的負信號.
僅注重結果的監督幾乎沒有提供信息,說明在最後答覆錯誤時,哪些中間步驟是有益的。 在強化學習設置中,覈查者只檢查最終答案,長推理痕跡產生許多獲得相同結果獎的樣本,這削弱了學習信號,以至於模型無法從聲音推理中分辨出幸運猜想.
固定的辦法是給步驟貼上標籤。這聽起來很明顯,而且操作上也困難重重,因爲它需要一種註釋,因爲大多數數據程序並不是用來製作的,更接近於用於開發或開發的域-專家審查。 企業 LLM 培訓數據 而不是例行的標籤。
結果與過程獎勵模式有何區別?
結果獎勵模式只評價最後答案,而過程獎勵模式則評估每個中間步驟的正確性,將更高的標籤成本交易給一個更強大的培訓信號.
結果獎勵模型(ORMs)是獎勵模型,只得推理鏈的最終答案,爲整個鏈條提供一點信號. 貼標籤很便宜,因爲你只需要知道結果是否正確。
過程獎勵模型(PRMs)是獎勵模型,它分分每個中間推理步驟的正確性,而不僅僅是最後的答案. 這些數據通過評估推理過程本身的質量來用於重新排位、搜索和測試時間的縮放。 步驟級註釋比結果級註釋要貴得多,但爲推理質量產生更強大的監督信號。
還有一個更微妙的好處。 僅接受結果培訓的模型能夠通過無法堅持的推理來學習找到正確的答案,因爲訓練信號中沒有任何東西懲罰了不良的道路。 過程監督使得可見的推理值得信賴,而不是裝飾,這就是它日益與人並肩的原因。 RLHF, SFT 培訓後數據 企業團隊買。
如何使獎勵模式培訓負擔得起?
培訓有效的過程獎勵模式並不要求在每個跟蹤中標註每個步驟;它只需要找到錯誤的第一步,因爲在該步驟之前的一切都是通過構建而正確的.
Lightman等人(2023年)確定,第一誤識別是認定,在鏈條中僅標註錯誤的第一步,即充分監督有效的PRM培訓。 一旦發現第一個錯誤,前述所有步驟都會被附加註釋爲正確,後繼所有步驟都會被附加註釋爲不正確.
將詳盡無遺的標籤任務轉化爲搜索問題,搜索可以優化. OmegaPRM(Luo等人,2024年)使用二進制搜索來定位第一個錯誤步驟,減少所需的評價數量,並且如作者所描述的那樣,在不給每個步驟貼標籤的情況下效仿人類註釋過程. 對於十二步追蹤,二進制搜索大約是指四項判斷而不是十二個判斷——規模上,一個可行的方案與一個負擔不起的方案之間的區別.
誰應該說明推理的痕跡?
說明跟蹤的理由需要具備真正領域專門知識的審查人員,他們可以覈實每個步驟的邏輯,而不是接受過標準標籤任務培訓的一般說明人員。
註釋推理痕跡需要一個與標準標記任務根本不同的註釋者配置。數學痕跡需要能夠發現第七步對錯誤數量應用有效操作的人。代碼痕跡需要能夠看到邏輯是健全的,但循環邊界是被一個關閉的。 法律或醫學推理追蹤需要在這方面具有資格的人——這種審查是如何描述的。 徵聘、培訓和認證專業領域的公證員.
這是一種專家審查,應該配備人員和相應定價。 被招募和接受過約束盒或情緒標籤培訓的團隊無法做到這一點,而將他們放在任務上則會產生一個看上去很完整的數據集,並且教模型沒有任何用處。
實踐中使用的標籤集區分了四個狀態,而不是二進制: 正確和必要的步驟,推進推理; 正確但冗餘的步驟,因爲冗餘在生成推理中是一個真正的質量問題; 不正確的步驟; 需要額外信息驗證的不完整步驟.
每個步驟都得到一個獨立標籤,由一位合格的審查者與最終答案隔離地評價該步驟。 一個知道最終答案正確與否的審查者會無意識地使一個有缺陷的中間步驟合理化,而一個知道錯誤的審查者會尋找不存在的錯誤。 在步驟審查中隱藏結果是保持標籤誠實的.
爲什麼追蹤質量比體積更重要?
一大組邏輯缺陷推理追蹤 訓練出一個模型來複制這些缺陷 因爲模型正在學習模仿 向它展示的推理 而不僅僅是找到正確的答案
兩個質量維度很重要,它們拉向不同方向。每個步驟的準確性和邏輯一致性是關鍵的底線。 推理途徑的多樣性對於概括性很重要:關於狹義推理模式的培訓產生了一種模式,它對於需要不同方法的問題很簡潔,因此,千種痕跡,所有同樣解決問題的方法都比500種解決它們的方法要差。
緊張的因素是,獲得高質量痕跡的最簡單方法是用固定的即時模板從一個強健模型中產生這些痕跡,而這個模型恰恰產生了限制泛化的狹隘、同質推理。 多樣性必須經過精心設計,而不是期望。 多樣性是無法被理解的。
註釋員間協議,是指獨立合格審查員爲推理步驟指定相同正確性標籤的計量率. 在充分說明開始前,根據校準標準衡量步法正確性,這是方案正在發揮作用的信號——這與本節所述學科相同。 黃金套、審計抽樣和共識 費用 QA 如果兩名合格的專家對第七步是否正確有分歧,該步驟是否真正模糊不清,或作爲第一步的準則不明確,兩者都需要在比額表之前解決。
推理追蹤標籤能否自動化?
部分可以。 幾種自動化方法在不經過充分的人文審查的情況下估計階梯級正確性,但每種方法都有實際的侷限性,並且與校準和硬性案例的專家審查相結合效果最好。
依靠人類來給數據貼標籤是衡量流程層面數據集的一個重要瓶頸;記述精細的階梯獎勵通常需要人類專家或高性能模型,這無論怎樣都是勞動密集型的,成本高昂的。 存在幾種自動化方法。 基於推出的估算(MathShepherd)從部分推理鏈中生成完成,並測量達到正確解決方案的百分比,以該步驟的價值爲標準——有效,但計算沉重。 二進制搜索(OmegaPRM)將推出評價與二進制搜索相結合,以削減成本。 信息理論標籤使用Monte Carlo Net Information Gai通過信息收益獲得步驟標籤. CPMI等矛盾方法將每一步正確答案與錯誤答案之間的預測概率變化量化,歸集爲CPMI-80k數據集. PrecessThinker在ICLR 2026上發佈,通過將痕跡重寫成一個帶有步號的格式進行冷啓動微調,然後應用以推出過程獎勵爲基礎的強化學習,完全避免了單獨的獎勵模式.
警告不斷被報告. 依靠蒙特卡洛推出或搜索的自動化方法會吵鬧,對如何定義"步驟"敏感——一個設計決定,而不是數據屬性. 步驟的 en研究也顯示並非所有步驟都同樣有助於預測功率,因此統一標籤工作效率低下. 實用的結構是覆蓋和量的自動化、對校準套件的人力專家審查、模棱兩可的案例、以及錯誤步驟產生實際後果的領域——同樣的判斷引起爭議。 如何可靠一個 LLM 做法官時 更廣義地說,是自動評價。
推理是否追蹤跨語言的數據傳輸?
與大多數培訓數據相比,更可靠。 以一種語言強化推理數據的學習已經證明可以改善幾種不相關語言的性能,儘管與本地環境掛鉤的域內推理仍需要每個市場。
大部分推理追蹤工作都是在英語和數學領域完成的,原因可以理解:可覈實的答案,豐富的源材料,現有的專業知識. 關於跨語言通用的研究發現,加強學習中國推理數據不僅提高了中文的績效,而且大大改善了德語、西班牙語和孟加拉語的評價,遠遠超出了監督對同樣數據進行的微調。 與實際記憶不同的是,在語文之間,合理技能的轉讓似乎非常好。
這改變了投資案例:與大多數情況相反,以一種語言進行流程監督比知識數據在其他地方購買更多。 多種語文數據收集 工作,即一種語言的事實知識不會轉移到另一種語言。 但是它並不買通一切 — — 臨牀推理追蹤引用一個國家的藥物名稱,或者財務推理引用一個國家的稅收待遇,仍然需要每個市場建設,無論基本的推理技能轉移情況如何良好。
怎麼樣 Lifewood 方法推理追蹤註釋?
Lifewood提供推理追蹤和過程獎勵註釋,作爲其AI數據服務的一部分,使用全語言覆蓋的人類在即域專家審查.
宣佈興趣:這項工作與下列工作並列: RLHF 和優惠數據,包括審查 50+語言值得指出的是,從這一角度得出的兩點意見與誰在做這項工作無關。
第一個是人員配置觀察。 跟蹤註釋會打破標準註解操作模式: 無法招聘普通註解, 無法按準則和規模培訓它們。 它需要域內合格審查員, 這意味着不同的招聘渠道, 不同的薪酬帶, 每一個域內可用的註解庫較小, 以及更長的坡道 。 預算用於推理的方案以普通註解率衡量,這幾周來就發現了這一點,通常的結果是質量崩潰或重新談判。
第二個是校準。 重要的衡量是, 儀表之間就步態正確性達成協議, 設定在縮放前的校準設定上 。 在實踐中,關於推理任務的第一回合的校準往往產生低於團隊預期的一致,原因幾乎總是分化:兩位專家對第七步是否正確有分歧,經常對第七步開始的地點有分歧. 修正步驟定義解決了分歧,而不是重新培訓註解者——域更難,審查者更貴,但學科是後面的一條 企業 LLM 培訓數據 總體來說。
確定推理追蹤程序時該做什麼?
首先,界定什麼是重要的一步,然後用實例來寫下來,因爲單一的決定推動了標籤的一致性、自動標籤的可靠性和結果的可比性。
從這裏:使用第一反應識別而不是詳盡無遺的標籤,因爲Lightman和同事確認,這足以進行有效的PRM培訓和二進制搜索,因此,這樣做是有效的。 招聘域專家,而不是一般的註釋員,以及爲更長的坡道編列預算,即《規則》規定的審查類型。 撰寫註釋準則,供註釋者實際遵循 判斷與最終答案隔離,因爲這是保持標籤誠實的控制。在縮放前,先運行一套校準並測量階梯級協議,然後將低級協議視爲分塊問題,再處理培訓問題。 工程師路徑的多樣性是有意的,因爲從一個模型中產生一個模板的痕跡會產生一個單一的推理和一個簡單的結果。 使用自動化來覆蓋和人類來應對困難的情況,而不是在兩者之間做出選擇。 並且不要假設結果正確意味着過程正確性——通過錯誤推理而達到正確答案的痕跡是帶有正標籤的負面訓練實例,它是數據集中最具破壞性的記錄類型。 數據說明公司對 LLM 培訓和遺傳學 AI.