簡短回答： 有條件,條件也做大部分工作. 2024年自然的一項研究表明,關於遞歸生成的內容的不加區分的培訓模型導致模型崩潰——罕見的病例先消失,然後產出總體縮小. 合成數據被刻意使用,與真實數據混合,在質量上過濾並鎖定到人驗證的材料上,是一種正常有效的技術。 合成數據意外積累和無標籤是大多數組織在沒有選擇的情況下接觸到的失敗案例。
核心重點
- 模型崩潰是一種有記錄的失敗模式,在這種模式中,一個經過循環生成數據的訓練的模型逐漸喪失產生多樣化,高質量輸出的能力,罕見的案例首先消失.
- 舒梅洛夫和同事在“世界”中展示了這種效果。 性質 7月(7月) 2024 其後,在後續評註中對該報告進行了審查和辯論。
- 合成數據在來源已知後安全,並且仍固定在真實的、經過人驗證的核心上;如果沒有標籤,又在無人跟蹤其來源的情況下積累,則風險很大。
- 綜合基準在崩潰的早期階段保持健康,因此多樣性和罕見情況的業績必須直接衡量。
- 合成記錄不包含自動隱私保障;NIST表示,大多數合成數據技術都提供不提供,除非構建時有差別隱私.
真正的培訓數據是否總是比合成數據更好?
兩者也並非都更好;每一種數據都適合不同條件。 真實數據能夠捕捉真實的複雜性 — — 感官噪音、意外行爲、自然發生的邊緣病例、文化差異 — — 並且是判斷合成忠誠的參考,但它昂貴、緩慢、有時稀少和往往敏感。 合成數據是可控的,廉價的,可以隨需求而變化和提供,它也可以複製其生成者的偏差,同時看起來完全現實。 值得回答的問題不是什麼更好,而是數據生成條件會降低從中吸取教訓的模型,現在有一份公開的答案。
自然界關於模型崩潰的研究究竟顯示出什麼?
這表明,反覆培訓一個關於自己一代產出的模型會縮小模型所能產生內容的範圍,罕見的結果首先消失. 2024年7月,舒梅洛夫,舒梅洛夫,趙,帕諾特,安德森和加爾在"自然"中發表了"AI模型在接受過關於遞歸生成數據的培訓時崩潰"(第631卷,第755–759頁). 研究人員培訓了一個模型,從中生成了數據,對下一代進行了關於該產出的培訓,並重復了循環. 產出分佈在幾代人中不斷縮小:低概率事件——尾巴——首先消失,因爲它們在任何有限的樣本中代表不足,因此在下一代人所學到的東西中代表不足。 作者的結論是,不加區別地對真和生成內容的組合進行基因AI培訓,如從互聯網上刪除數據時發生的情況,會削弱模型生成多樣化高質量輸出的能力.
崩潰很難察覺,因爲它始於尾部。 失去生產稀有但具有有效性產出能力的模型在一般情況下和在綜合基準上仍然表現良好 — — 這是一種具體評價稀有案例而不是依賴平均值的論點。
其結果也經過了批判性審查,這很正常和有用. arXiv上發表的一份說明(預印本2410.12954,2024年10月,沒有經過同行評審)認爲,最初設定中的特定假設對結論的概括性有多大影響. 實際立場:機制是真實的,動機良好,它在任何具體管道中的嚴重性取決於管道如何校驗數據,正確的反應是校驗而不是驚慌或解僱。
合成數據何時纔是正確的選擇?
合成數據並不是每個應用中真實數據的退化替代;在有些情況下,它直接成爲更好的選擇,將崩潰發現作爲全面禁止的做法,使這些情況毫無益處。
| 使用場景 | 爲什麼合成工作 | 情況 |
|---|---|---|
| 罕見的事件——事故、過失、危險 | 真實的例子很少,危險或不道德 | 對照確實存在的實際實例驗證;絕不允許僅由合成定義該類別 |
| 隱私敏感域 | 從培訓集中刪除個人記錄 | 校驗合成不會從源頭泄露可識別屬性 |
| 類平衡 | 任職人數不足的類別增加費用較低 | 控制合成份額, 檢查少數族裔的行爲是否確實有所改善 |
| 感知和機器人模擬 | 完美的地面真相,無限的變異,可控制的條件 | 明確測量成象到現實的缺口,並以真實的驗證數據來彌補它 |
| 蒸發 從更強大的模式 | 有意從已知的、質量較高的教師那裏轉學 | 並非自修——老師的成績優於學生, |
| 格式和結構 | 模板和結構變異對生成正確性很便宜 | 內容仍然需要人性化基礎;結構不是實質 |
蒸發 正在就更強大、已知的教師模式的產出培訓一個較小或更新的模式,如涵蓋 選擇時買什麼 RLHF, SFT 或蒸餾。表方圖案:當合成數據繫系系已知,並被固定在真實的東西上時,這些數據是安全的,如果它沒有標籤、積累和僅與其他合成數據相對照,則數據是危險的。
一個值得在此退休的假設:合成並不意味着自動的私密. NIST指出許多合成數據技術沒有提供正式的隱私保障,因此當隱私成爲目標時,必須評估生成方法及其剩餘風險,而不是因爲記錄是人爲的而假設消失.
爲什麼組織在沒有選擇的情況下就暴露在模型崩潰的面前?
因爲一般的做法——刮網,微調前期輸出,使用模型輔助標籤——悄悄地建立自然研究描述的相同的遞歸循環,甚至對於從未打算訓練一個基礎模型的團隊來說. 曝光是常見的和間接的:
- 被打成碎片的蠍子 大約2023年後從開放網絡收集的任何數據集都包含機器生成的文字,比例不明,沒有標籤。如果修改,則是否爲故意,則進行循環培訓,進一步涵蓋這一風險。 清理和拆除培訓前的教程.
- 精細調整自己的產出。 出版團隊 AI-輔助內容和後來根據自己的出版內容進行微調,建立了沒有外部主播的小回轉循環.
- 被污染的成套評價。 從網絡文本中收集的基準可能包含生成的項目,這些項目爲生成類似文本的模型所讚美。
- 以示範建議爲主的說明。 模型輔助標籤 不加協助的批量控制被接受,將預標籤模型的分佈編碼爲數據集——從不同方向得到的相同機制。
- 奪得corp氏. 一個檢索-增強系統,其索引充滿機器寫頁檢索機器寫頁的答案,完全不參與培訓。
共同因素就是缺少來源,如果知道哪些物品是人類授權的,哪些不是,那麼這些都不是危險的,因爲這樣它們就可以加權、過濾或排除——這是完全與法律無關的出處紀律的實際論點。 一個相關的陷阱坐落在評價中:如果同一個模型家族同時生成數據和判斷數據,系統會獎勵自己的假設,循環性從分數內部看不見.
如何在不貶低模型的情況下使用合成數據?
將培訓組合與已知的血統刻意結合,而不是避免合成數據或積累這些數據,而忽視了這一點。
- 把每件物品都標註在原產地上 人文著作,模型生成,模型輔助,或未知,"未知"是一個合法而重要的類別——追蹤它而不是默默地把它當作人來對待.
- 鎖定混音器 以覈實人類數據。 保存大量、經整理的人類編譯、經人驗證的材料,這些材料不會隨着合成體積的增加而萎縮。 這正是阻止分佈漂移的原因,隨着開放網絡作爲一種來源的可靠性降低,其價值也隨之增加。
- 設定並強制執行合成共享. 選擇一個任意比例,每個訓練運行和每個域,並記錄它。沒有人選擇的混合是行爲改變時沒有人可以調試的混合。
- 過濾質量, 不只是有效性。 生成的、造型良好但通用驅動器分佈縮小;過濾多樣性和信息性比過濾本身正確性更重要。
- 評估尾部。 專門從罕見案例、少數羣體階層和邊緣條件中建立評價套,這是涵蓋的學科。 測量數據集的多樣性 和 採礦業的長尾礦和邊緣礦綜合測量值在崩潰的早期階段保持健康;罕見的性能則不健康。
- 保持一個未觸及的真數據擱置。 一套由人類撰寫的評價集,收集一次,從未用於訓練,從未再生成,也從未擴大——這是跨模範代的唯一穩定的參考點.
- 數據版本,而不僅僅是模型. 記錄生成的檢查點。 當行爲退化時, 數據構成通常是解釋, 如果沒有記錄, 則無法恢復 。
合成份額是機器生成的物品在總訓練組合中的分數. 正確的比率是試驗性地爲目標任務確定的,而不是由普遍規則確定的,應該與增加的合成數據在各部分的分層性能一起報告,以便改進這些部分,如果這些部分不移動,增強除了改變分佈之外,別無其他。 更多的數據可以讓AI更糟糕 處理更多量何時停止幫助這一更廣泛的問題。
這對規模出版內容的組織意味着什麼?
其成本將提高,因爲內容將成爲未來模式的一部分。 如果開放的網絡中充滿了機器生成的材料,未來模式將學習降解,而製作這些材料的組織則正在推動降解。 因此,未經覈查而大規模出版不僅是一種薄弱的營銷資產,而且對集體問題的貢獻很小。
建設性解讀提高了生產者控制兩件事的價值。 首先,人驗證的物質:原始數據、第一手經驗、真正的專業知識、真正的市場語言工作——正是因爲不是已經存在的再現而保持有價值的材料。 第二,出處標識,使下游的主管能夠以出口時間幾乎不花費費用的方式區分出產生的材料和作者製作的材料。
怎麼樣 Lifewood 是否接近合成數據和模型崩潰?
通過記錄而不是假設來源,它的工作是:收集和註釋由人類撰寫的培訓數據,以及製作 AI-人類覈查是雙向的支柱,被人們所掌握 95%+ 準確度 雙層人員在即審查的門檻——兩次審查,並附有時間標記的核準記錄,詳見 AI 數據驗證錨只能在其背後的網絡上生產: 100+ 語言, 40+ 跨省服務中心 30+ 國家 和 56,000+ 登記繳款人,這是產生真正新的人類材料而不是回收的網絡文本所需要。 AI 服務,見 Lifewood的,因爲 AI 數據服務.