簡短回答： 長康文字 LLMs 通過超越野蠻力符號擴展來訓練,到結構化的高密度數據解析,解決"中間丟失"的問題. 現代建築讓上下文窗口比上下文的符號大一百萬,但模型的能力只能和輸入的一致性一樣. 培訓數據需要明確的跨文件依賴性、經覈實的結構以及人文審查——而不僅僅是較長的文件。
核心重點
- 將上下文窗口擴展至1M+令牌並不能改善回溯,除非培訓數據包含可供模型學習的明確,遠程的依賴性.
- 模型顯示在上下文窗口的起始和結尾有強烈的回想起,但有詳細記載的跌落穿過中段,被稱爲"中段丟失"效應.
- 結構化的校正——分級標記,跨頁實體鏈接,以及重複的表格頭,保留了邏輯連接,純文本提取會破壞.
- 代碼庫培訓數據必須遵循依附圖順序,而不是字母順序或任意文件順序,或者模型無法學習模塊的關聯性.
- 多小時錄音記錄需要一致的揚聲器對號化和域-vocabulary校正,然後才能用於長文培訓.
爲什麼背景長度的擴展從根本上來說是一個數據質量問題?
模型架構在技術上可以處理數百萬個符號,但如果訓練數據缺乏密集,遠程的依賴性,則召回和推理衰減會很快.
基因AI的演化從優化參數大小轉移到擴展模型的活性工作記憶. 2023年,一個32k-token窗口被認爲是最先進的窗口;如今的企業應用程序通常都會要求窗口足夠大,可以一次性地吞噬整個法律檔案,複雜的代碼存儲器,或者多小時錄音。 Ring Note和優化關注內核等建築學的進步使得這個比例得以擴大。
然而,經驗基準——包括Needle-In-A-Haystack變體、L-Eval和Long Bench——記錄了一種持續的失敗模式研究者稱爲 "中途失傳":語言模型在長輸入的起始或結尾附近重新收錄信息的趨勢,遠比埋藏在中間的信息更可靠. LLMs在輸入窗口的即時起始(主效應)或終端(收效)顯示信息回溯準確度較高,而檢索性能則在上下文的中段明顯下降.
爲了克服這一限制,長文預訓和微調(SFT/RLHF)不能僅僅依靠將無關的短文件組合在一起。 培訓數據集必須具有明確、多跳的依賴性,其中解決查詢需要提取和綜合整個序列中分佈的事實——這與本套數據集中涵蓋的相同原則—— 推理追蹤數據如何教模型顯示其工作.
文件結構如何影響長文本檢索和推理?
無結構的長文本會產生高的複雜性和檢索失敗;分級標記和跨頁實體地面固定保存一個模型需要遵循的邏輯流.
企業文件——財務審計,監管備案,保險單,臨牀試驗——很少是線性傳承品,是視覺和結構文物,包含嵌套表,多欄佈局,頭級分級,腳註,以及交叉引用. 直譯純文本提取會剝離必要的結構信號:如果目標文本坐落了幾十萬個符號,沒有連接兩者的語義標記,則像"見第4.2.1節"這樣的參考完全失去其鏈接.
長文件數據整理的主要考慮:
- 表格對文本的忠誠。 複雜的財務表格必須轉換成結構化的格式(Markdown,HTML,或JSON),並明確重複標題,這樣縱深行即使在斷頁後仍保留其語義上下文.
- 交叉文檔的共參考解析. 長文本模型必須學會追蹤數百頁的實體。 人類註釋員證實,在整個文書中,名詞參考和短手縮寫保持明確的聯繫——這與在《規約》中所使用的學科相同。 OCR 校正和佈局提取的文檔註釋.
- 文件佈局保存. 保留空間和分級元數據有助於模型的注意力機制在執行鍼頭檢索任務時學習使用結構提示.
是什麼使得多文件代碼庫在長文本訓練中獨一無二?
代碼庫培訓需要寄存器級依賴圖繪圖,因此模型在多個模塊中學習非線性建築關係,而不是將文件作爲孤立文本處理.
在一個文件中培訓一個代碼生成或調試的LLM已經不夠。開發者期望模型能夠理解完整的代碼庫,重構遺留系統,並解決跨越數十個微服務的錯誤。 代碼庫長文本數據與流派數據有根本的不同,因爲代碼執行本身是非線性:一個基礎效用文件由會話模塊繼承和擴展,而這個模塊又被幾個目錄以外的API端點即時化.
編碼基礎數據集的基本組成部分:
- 儲物層地形測繪. 以字母順序顯示文件會斷絕依賴分辨率。 數據集必須按地形依賴圖排序, 如 AST 或 書法命令 。
- 提交歷史和 PR 上下文。 包括拉索說明, 發行門票, 和承諾diffs 與整個代碼庫 教模型爲什麼改變代碼, 不只是什麼改變。
- 多語種建築. 長文本數據集必須包括服務間API合同(GraphQL, OpenAPI, Protobuf),以跨越多塊塊堆棧來連接語言邊界。 這補充了乾淨的, 破損的源數據 — 見 如何清理和複製培訓前的教程.
長文LLMs的多小時錄音記錄稿是怎樣準備的?
通過將多語種音頻對齊,精確的揚聲器對齊,時間戳和元數據標記,以及域特異詞彙標準化.
對話數據——收入電話,董事會會議,法律取證,臨牀諮詢——是長文培訓數據增長最快的來源之一,一個4小時的錄音可以產生成千上萬的口語,並帶有重疊的音頻,虛假的開始,和口語的詞彙. 標準自動語音識別輸出往往自己太吵:小的抄寫錯誤在數千個符號上覆合,並降解下游推理. 議長的分化是確定和標出哪個發言者在錄音過程中所說的話,即使長時間的沉默,也保持標籤的一致性。
提高記錄數據質量的步驟:
- 演說者分化與堅持. 議長的標籤必須始終一致,包括長時間的沉默之後,必須記錄多小時的記錄。
- 時間和文物同步. 口述文字記錄應當與隨附的視覺文物,如滑動甲板,共享屏幕,會議議程等相銜接.
- 域詞庫落地. 專業術語、醫學術語和專有公司名稱需要對照控制詞彙加以糾正,類似於 語音和音頻註釋:轉錄、分音和加時標.
如何測量和驗證長文本數據質量?
通過多階段的人工輸入覈查、合成針注射測試和任務特定評價套件,在數據達到培訓運行之前運行。
典型的驗證管道通過原始攝入,結構解析, 人類 QA 團隊不依靠單一的自動得分,而是追蹤一小組質量信號: 撫養密度,指一個文件包含的與長度相對的多少明確長距離鏈接,因爲低密度文件迫使模型回到局部模式匹配而不是遠程關注; 跨記錄稿的分化一致性,以便在到達培訓數據之前捕捉假揚聲器歸屬; 代碼的結構或合成有效性,這樣破解的進口不會傳播到生成的輸出中. Lifewood 應用 兩次獨立審查通過,並附有時間戳式覈准記錄 備註a 95%+ 標註員間一致性門檻 以客戶批准的黃金作爲管道中的人行檢查站計量,標準在下文中作了說明。 規模的多式聯運數據註釋 並通過下列方式加強: AI 數據驗證 服務及 企業 LLM 培訓數據 程序。