簡短回答： 生產日誌通過數據飛輪成爲培訓數據:捕捉相互作用,擦除個人數據,自動分解故障,確認真實數據並貼上人類專家的標籤,整理一套小數據,進行微調,評價和重新部署。 NVIDIA公佈的代理飛輪顯示的比例:495個不滿意的回覆,140個LLM法官標註,32個專家確認,以及一套685個數據點,可以大大改進較小的模型. 法官過濾;人類決定.
核心重點
- NVIDIA的內部代理飛輪收到了495個不令人滿意的生產反應,一個LLM-as-a-judge標註140個路由故障,主題專家僅證實32個,大約77%的假正率在自動分解上.
- 原始生產記錄不是訓練數據:它們吵鬧,偏愛容易處理的案件,充滿個人資料,只有在洗滌、分揀、根部分類和人肉加工之後纔有用。
- 從日誌到重新部署的週期時間是數據飛輪的束縛,而不是數據集大小;NVIDIA的編譯數據集爲685個數據點,從100到200個標註的例子開始,從操作者推薦.
- 飛輪會擴大已經服務過的產品的語言、市場和片段,不能將它沒有的服務拖住;在使用之前,這些產品需要委託收集數據。
- 僅根據模型判斷的模型產出培訓會降低性能,罕見的案例首先消失;人文審查是停止循環消耗自身錯誤的外部主錨.
NVIDIA的飛輪顯示什麼 將日誌變成訓練數據?
NVIDIA公佈的關於其內部代理飛輪的敘述顯示,自動評價縮小了被審查人口,人類專家做出實際判斷,幾百個被整理的例子足以改進較小的模型,數字比任何圖表都能更好地說明故事.
視察隊從製作中獲得了495項不滿意的答覆,一份LLM-as-a-judge的通行證確認140項是路線錯誤造成的,然後專題專家親手審查了這140項,確認了32項。
140個標註,32個真實數字。在由建設這一基礎設施爲生的人管理的資源充足的方案中,自動分解率大約爲77%,這並非是這一方法的失敗。 這種方法應該做的是:自動評價將495減少到140,從而使昂貴的人類審查在140上進行而不是495。 如何可靠一個 LLM 做法官時.
最後產出是685個數據點的編譯地面真人數據集,將60/40分作培訓和測試,NVIDIA報告小模型性能從中顯著改善. 685,而非685千.
什麼是數據飛輪,爲什麼靜態數據集在生產中失敗?
數據飛輪是一種反饋循環,利用從活的相互作用中收集的數據不斷完善AI模型,從而產生更好的結果和更加有價值的數據。 它取代了收集固定體、一次性說明、培訓和部署的舊模式。
線性方法在生產中迅速失敗,一個模型遇到提示,域位移和長尾邊緣的情況沒有捕獲到預訓練程序,發射時凍結的數據集無法跟隨. 飛輪的前提是自我強化:隨着更多用戶與系統互動,日誌捕捉到真正的成功,用戶校正和代理故障;提取,註釋和對這些故障的培訓可以改善接下來的迭代,這驅動更多的使用和更豐富的日誌.
戰略索賠是商業案例的所在地。 NVIDIA和Iguazio的參考材料的論文是,AI代理的持續改進並不需要不斷升級到更大的模型。 它需要系統的反饋循環,讓更小,更便宜,更快的模型匹配或接近更大的模型的準確性。 將飛輪從質量倡議重新納入成本方案。
框架的一個更正:原始生產日誌不是培訓數據。它們結構不整齊、吵鬧、被輕視到沒有新學習信號的例行查詢,並帶有合規風險。 日誌體積不轉轉轉輪速;飛輪的速度是由如何高效地發現故障,分類和註釋來設定的,將未加工的日誌直接反饋到微調中會稀釋精度,放大漂移.
循環是如何運行的, 舞臺逐個進行?
循環運行捕捉、監控、自動分解、人文審查、校準、定製、評價和重新部署,由管絃樂手決定每個階段的火災時間。 每個階段都有不同的輸入和輸出,而拼湊它們就是通常的飛行輪投資停滯的原因。
| 階段 | 發生什麼事 | 產出 |
|---|---|---|
| 抓取 | 推論日誌,提示,響應,檢索痕跡,工具呼叫,延遲和用戶反饋,存儲在可查詢的地方(NVIDIA和MLRun參考架構中的彈性搜索) | 原始遙測流 |
| 擦拭 | PII 檢測和去識別;在培訓儲存之前適用居住和同意規則 | 符合規定的遙測 |
| 監測和檢測 | 持續跟蹤業績、穩定性和資源使用情況,使候選人浮現,而不是等待投訴 | 候選人人才庫 |
| 自動分解 | LLM-法官職位和在線評價縮小了人才庫的範圍; 495 改爲: 140 步驟 | 標記失敗 |
| 根因分類 | 每一個標記的失敗都映射到一個集合、註釋或建模問題 | 補救隊列 |
| 人工審核 | 域專家確認哪些旗幟是真實的,並界定正確的行爲;140至32步 | 底部真僞標籤 |
| 解析 | 已確認的案件成爲一套培訓和評價,分頭處理 | Gold SFT, 偏好或工藝監督數據 |
| 自定義 | 通過LORA進行微調,對套裝進行微調或監督微調 | 候選人模式 |
| 評估 | 候選模型使用零射、RAG和LLM-即時判斷評價,加上回歸測試和紅色小組,對照生產日誌和擱置數據進行運行 | 要麼去要麼不去決定 |
| 調動 | 改進後的模型船 並生成下一輪的木頭 | 下一個週期 |
管絃樂將項目變成一個系統:在參考執行中,一個管絃樂手將循環包裹起來,在日誌符合規定條件時觸發評價和自定義,並在需要決定時升級到人類。 同樣的捕捉、審查和再訓練模式出現在已公佈的Loop飛行輪代理中。 LLM-以客戶支持爲基礎。
在生產記錄被觸摸訓練之前,你如何去除這些記錄?
生產日誌是用戶數據,必須在採集時進行解識別、居住資格檢查和同意審查,然後才儲存起來進行培訓。 在整個一年積累的日誌中重新調整合法依據要比在第一天正確寫出要困難得多。
日誌通常載有個人可識別的信息、專有客戶有效載荷,有時還載有操作證書。 單憑Regex匹配不足以進行基因、多式聯運應用;企業管道採用多通道脫識別,將命名實體識別與象徵性或差異性偏差技術相結合,並將輸出作爲單獨的遵守許可流。
居住幾乎無人處理。 在一個法域捕捉日誌並在另一個法域進行處理的飛輪是一種跨界數據傳輸,無論是否有人在編審中稱之爲一種。 用於提供服務的同意語不會自動涵蓋模式培訓。 Lifewood作爲管理下提供者處理此事的一個實例,它指出,它在其整個企業中實行治理。 40+ 包括: EU-僅通過地理出入控制處理(公司報告)。
你怎麼分辨失敗 找到根源?
高強度交互的樣本而不是統一,然後將每一個確認的失敗排序爲三個桶中的一桶:缺失數據、不良標籤或準則,或模型容量限制。只有前兩個是數據問題,它們只屬於飛輪的註解隊列。
標記可能失敗的信號是明確的用戶編輯或拒絕,低置信分數,廢棄會話,執行超時和下游任務例外. 通過嵌入距離或步驟的 en將其分組爲分級的失敗集羣和一個長尾隊列.
一旦失敗被隔離, 根原因分類學用於 爲基因AI收集培訓數據 應用:
- 缺少數據(一個收集問題):用戶在培訓大綱中缺少一個低資源方言或域名術語。
- 錯誤標記的數據(一個註釋問題):在早期的微調或RLHF運行中相互矛盾的指南會產生不穩定的行爲. 補救措施:修正指南和重新標籤.
- 容量限制(一個建模問題):模型缺乏上下文窗口或建築深度來解決任務. 補救:工程改變,而不是更多的標籤.
將這三個因素混爲一談,就是預算如何爲僅需要管理的問題獲得花費的再培訓模式,或者爲問題貼上標籤的數據,沒有任何數據能夠解決。
爲什麼循環時間是真正的制約因素?
從日誌到重新部署的循環時間,而不是數據集大小,是決定飛輪是否起作用的尺度,因爲比生產分佈慢的循環是在一個不再存在的世界上訓練。 幾天後關閉的循環比200個例子比四分之一時關閉的循環要快,比20,000個。
阿里茲最直接地提出這個論點,它解釋了爲什麼手動飛輪失敗而不是僅僅表現不佳。手動過程在規模上崩潰。當實例被審查、標籤、再訓練和部署時,生產系統已經前進:要求發生變化,出現了新的邊緣案例,團隊總是追趕。
這是一種不同的失敗模式,而不是沒有足夠的數據。 完成循環需要11周的飛輪並不緩慢;它是固定的,它能產生一個已經轉變的分佈。
飛輪在哪裏悄悄地出錯?
四種失敗模式一再出現,在銷售商圖中都沒有出現:日誌中的倖存者偏差、自動分類作爲地面真相處理、關於未經覈實的模型輸出的培訓、以及作爲事後思考處理的隱私或居住權。
日誌中的倖存者坑偏
生產日誌包含來自停留的用戶的交互。詢問系統處理不當且從未回來的用戶生成一個糟糕的日誌,然後則一無所獲;發現它有用的用戶生成數百個。所以日誌的分佈過多地反映了已經起作用的,而飛輪選擇最難處理最不需要幫助的個案。 這是結構性的,並不與體積相適應。它需要反衡:對廢棄的會話進行取樣,跟蹤第一次交互的churn,將某一段的日誌缺失作爲發現。 長尾礦和邊緣礦 即是反量級。
自動分類作爲地面真相處理
140到32個漏斗是警告。 如果NVIDIA對所有140個標註的病例進行微調,那麼大約四分之三的訓練信號會出錯,而且模型會學會糾正已經正確的路徑決定。自動評估會縮小搜索空間,不會做出判斷。
未經覈實自行產出培訓
捕捉模型響應的飛輪,在結果上用模型和列車來判斷它們,是一個循環,沒有外部錨。同樣也適用於自動標記高自信輸出並附加到SFT集的誘人快捷鍵。 模型崩潰文獻顯然表明,關於生成數據的循環培訓會降解模型,其中罕見的案例首先消失,緩解是覈實和積累真實的、人爲的而不是替換的數據。 是否安全訓練 AI-生成的數據人類評論不是這個循環中的一種品質的好;而是錨阻止它自己喫東西。
隱私和居留權作爲事後考慮
管道在一年中發現其日誌是個人數據,必須刪除或修改同意。 斷層和居住權屬於捕獲階段。
飛輪不能做什麼?
飛輪會放大產品已經擁有的,也不能拖住它沒有的。 市場中沒有任何用戶意味着沒有來自市場的日誌,也沒有改善,而且採用率持續較低,因此進入新語言、領域或區段需要委託收集,而不是收取。
如果一個產品在印尼沒有用戶,那麼其日誌中就沒有印度尼西亞人的互動。 飛輪無法改善印尼人的性能,因爲沒有東西可以餵食,而且由於該模型在印尼人的性能不佳,所以採用率低,日誌也保持空。循環循環倒流:覆蓋度低導致使用率低,因此沒有數據。 這一點也適用於用戶離開的、尚未進入的、以及極少出現的任何邊緣案例。 這需要委託收集:由目標市場招募的講土著語者故意生成的數據,而不是從不存在的交通中獲取的數據。
這裏 Lifewood自己的作品坐了下來,所以利益被宣佈. Lifewood 收集並註釋跨區域的數據 100+ 語言通過 管理多語種數據收集,而反覆出現的模式是客戶端,其飛輪成熟,使用兩種或三種語言,且在他們想成長的市場上表現平坦。飛輪正在按照設計運行,無法從尚未進入的用戶那裏生產日誌。 2.1 億元的紀念品 42 語文在a 97.3% 質量接受率,加 18 首次將低資源語言納入培訓組合,隨後是 40% 下游毒性基準的減少。
實用框架: 用於您所使用語言的飛輪, 用於您所想要語言的委託收藏。 一旦市場達到足夠的使用, 飛輪將接管, 收集成本將停止。 規模化地進行這項工作的提供者將在 高級多語言AI數據收集公司.
人類的專門知識在哪裏合適,685個例子爲什麼足夠?
NVIDIA685點數據集的價值完全集中在校驗上:自動通行證找到的候選人和主題專家決定了哪些是真實的,哪些是正確的行爲。 一個小的、正確的、目標明確的數據集比一個大而吵鬧的數據集要好,成本在於使其正確而不是使其大。
自動飛輪不會消除人類的註釋器;它會提高它們的條形。自動系統過濾量;人類解決模棱兩可的情況,評估推理並定義正確之處。 有三個角色是負載的:
- 能夠判斷標記失敗是否真正失敗的課題專家,這需要域知識,而不是註釋培訓。
- 定義正確行爲的審查者,不只是識別錯誤行爲。知道路線錯誤是一半的標籤;知道應該去哪裏是另一半,更難。
- 抽樣策略的主人,因爲被審查的事物決定了什麼得到固定,自動標註繼承了法官模型的任何偏見。
這些數據在判斷上越來越接近,而註釋者簡介從受過培訓的轉向合格的,推理痕跡和偏好數據也得出同樣的結論,以及原因。 企業 LLM 培訓數據 方案的工作人員配備不同於批量標籤,有三種情況使要求變得具體。
語言和方言精度
當一名助手從非英語市場接收日誌時,通用人羣註釋員經常錯過區域idioms和低資源方言,因此本地化的故障會被錯貼標籤,飛輪會學習錯誤的校正. 從原木原產地語言社區招聘講母語的社區內書記員,使所編集的文化效果保持了一定的正確性。
步驟級推理失敗
當日志揭示了代碼生成,醫學分析或數學邏輯中多步驟推理失敗時,標記最終答案錯誤是不夠的. 飛輪必須捕捉過程級數據:專家將邏輯破裂時的精確中間步驟隔離,並標註. Lightman et al. 這表明,這種過程監督比只注重結果的監督要好,而OmegaPRM的研究表明,對第一個錯誤步驟的二進制搜索會削減註釋成本,同時仍爲過程獎勵模型提供強烈的信號。 構建推理跟蹤數據.
多式聯運日誌
飛輪不僅限於文字. 在自主駕駛和計算機視覺中,邊緣情況日誌包括傳感器校準漂移,相機閉塞和異常交通環境;校準它們是指3D的邊框,LiDAR點-雲分和由專門的註解者對傳感器的聚變配對,在發佈前有第二個獨立審查通行證與金調校準套對.
你怎麼知道飛輪在起作用?
工作飛輪顯示,每個週期後已知錯誤等級穩步下降,專家對校準套件的標識高度一致,而且比未確定的數據更能提供基準收益。 週期是三者之上的操作度量。
- 低效率:在微調週期後,反覆出現的長尾故障模式的下降率。 健康的飛輪會退縮錯誤等級;不健康者會不斷找到同樣的錯誤等級。
- 校準集的註釋員協議: 處理三進制日誌的專家評審員之間的一致性。 在將數據集放入培訓之前, 運行校準批量和測量協議, 因此該模型沒有接受相互衝突的指導方針的培訓。 Lifewood管理方案使用 95%+ 對照客戶覈准的黃金組合衡量的公證員協議門檻值。
- 數據效率:每單位的編譯數據實現性能收益,以NVIDIA案例作爲小的,故障校驗的集應實現的目標的基準.
- 從日誌到重新部署的週期時間,是主操作的度量衡,因爲其他每個數字只有在循環比分佈移動快關閉時才重要.
如何不造滿堆堆就開始?
從一個改進領域開始,一個重點評價,100至200個標註實例和強制性人類確認步驟,並衡量從第一次重複開始的週期時間。
- 選擇一個高值改進區:安全性,準確性或反應風格。不是全部三個。
- 首先寫攝入規格:元數據計劃、PII 刷新規則、居住和同意框架。在捕獲時而不是在以後排序。
- 建立針對這一具體關切的在線評價,而不是一般質量監測,在用戶編輯、信心閾值和超時的基礎上建立分門別類過濾器。
- 在註釋前將根源分類,因此工程努力到建模問題,註釋努力到數據問題.
- 收集100至200個標註的例子,建議起始量;NVIDIA案例表明,有用結果的上限低於大多數團隊的假設。
- 在自動標記和數據集包含之間設置一個人確認步驟。 140比32是論證。
- 運行一個校準批次,在將任何數據集放入培訓之前,測量各註釋者之間的協議.
- 用於缺失的,而不只是故障的:廢棄的會話,未解答的詢問,段段產生無流量.
- 衡量從日誌到重新部署的週期時間,作爲主要的業務衡量標準。
如果審查步驟需要域專家、講本地語者或專門說明人員,小組沒有,通常的答案是,有管理的執行夥伴,具有區域語言覆蓋面和可執行的準確性;未經審查的人羣重新提出飛輪存在的噪音,以便消除。