簡短回答: 只要數據質量夠好,所需的量遠低於多數採購方的預算設想。OpenAI 的文檔給出的下限是 10 條樣本,並在 50–100 條時出現可見的提升。LIMA 研究用 1,000 條精選樣本,就達到了訓練量大得多的系統的水平。可以預期:狹窄的格式類任務約 50 條,多數生產級指令任務 1,000–5,000 條,只有通用型助手和偏好訓練才需要數萬條。
核心重點
- 微調數據沒有一個放之四海的數字:微調是在引導一個本就有能力的模型,因此需求量取決於目標行為有多新,而不是任務有多重要。
- Published anchors are OpenAI's floor of 10 examples and improvements at 50–100, LIMA's 1,000 curated examples, and roughly 13,000 demonstrations plus 33,000 preference comparisons behind InstructGPT.
- 多樣性與一致性勝過數量:LIMA 的消融實驗表明,單純擴大規模的收益急劇遞減,而自相矛盾的樣本會讓微調後的模型變得更差。
- 按可衡量的步子擴大微調數據集,一旦評測分數不再變化就停下來;合適的規模是被發現的,不是被宣佈的。
- 覆蓋不足導致的失敗,需要在特定缺口上補充數據;而不一致導致的失敗,需要更好的標註規範和質量保障——這是再多數量也修不好的。
為什麼微調數據沒有一個統一的數字?
因為微調不是從零開始訓練。基座模型已經掌握了語言、事實和推理模式,所以你需要的數據量,取決於你的任務離模型本來就擅長的事情有多遠,而不是取決於這件事對你的業務有多重要。
微調是指在一個更小的、面向特定任務的數據集上對預訓練模型繼續訓練,使它採用特定的格式、語氣、規則或領域詞彙。 你的數據不是在教模型認識世界。它是在給模型指一個方向:這種格式、這種語氣、這套規則、這套領域詞彙。
這就是為什麼那些聽上去小得不可思議的數字,一再被證明是真的。你是在約束一個本就有能力的系統,而不是從頭造一個。你這個問題背後,其實是三個問題:
- 這種行為有多新? 只是重新排版輸出,所需極少。教會模型一個真正陌生的領域,所需就多得多。
- 你的樣本能做到多一致? 自相矛盾的樣本——也就是相似的輸入卻對應不同的期望輸出——會實實在在地損害微調效果,因此一個更小但乾淨的數據集,勝過一個更大卻嘈雜的數據集。
- 你怎麼知道它奏效了? 沒有評測集,任何規模的數據集都談不上「夠」,因為你根本無從判斷。OpenAI 的指導意見在先後次序上說得很直白:在投入微調之前,先把評測建起來。
關於數據集規模,研究和廠商指南是怎麼說的?
Published reference points cluster tightly once you line them up: a platform floor of 10 examples, improvements at 50–100, a landmark result at 1,000 curated examples, and assistant-scale projects in the tens of thousands.
平臺給出的下限。 OpenAI 的監督微調文檔 把下限定在 10 條樣本,報告 50–100 條時出現可見的提升,並補充了一條實用的決策規則:如果 50 條好樣本帶不來任何改善,那就先重新審視任務或提示詞,再談加數據。
小數據的標誌性成果。 該 LIMA 研究 (《Less Is More for Alignment》)僅用 1,000 組精心挑選的指令—回覆配對,對一個 65 億參數的模型做了微調,產出的結果足以與訓練量大得多的系統相抗衡。其消融實驗發現,多樣性的作用遠大於數量,單純擴大數據集的收益會急劇遞減。
生產規模的參照。 OpenAI 的 InstructGPT 工作大約用了 13,000 條人工撰寫的監督微調示範,外加約 33,000 組偏好比較,憑藉這些數據,一個 1.3B 的模型在人工評測中勝過了未經調優的 175B GPT-3。斯坦福的 Alpaca 則用了 52,000 條生成樣本。這些是支撐通用型助手的數據規模,而不是面向狹窄業務任務的規模。
從業者的區間。 Treat the per-task dataset tables that circulate on vendor documentation sites with care. The platform guide that supplied the most widely quoted set of them has since been acquired and its documentation now redirects to a corporate homepage, taking the figures with it — which is reason enough not to restate them from memory. What stays checkable is OpenAI's own supervised fine-tuning guidance, cited below: a ten-example minimum, visible improvement by 50 to 100 examples, and an explicit instruction to re-examine the data before adding more of it. Begin with a focused set of high-quality examples, evaluate, and grow only where the evaluation shows a gap.
關於微調數據集規模的公開參照點
| 參考資料 | 示例 | 它代表什麼 |
|---|---|---|
| OpenAI 文檔給出的下限 | 10 | 平臺下限,而非推薦值 |
| OpenAI 所稱「可見的提升」 | 50–100 | 狹窄的行為與格式類任務 |
| LIMA | 1,000 | 在強基座模型上進行精選且多樣的指令微調 |
| InstructGPT 的 SFT 階段 | 約 13,000 條(外加 33,000 組偏好數據) | 採用 RLHF 的通用型助手 |
| 斯坦福 Alpaca | 52,000 | 廣泛的指令覆蓋,使用生成數據 |
Sources: OpenAI developer documentation; LIMA (Zhou et al., 2023) via Oumi; InstructGPT and Alpaca figures via Meta-Intelligence's fine-tuning data review. Treat ranges as starting points, because your task, base model and quality bar move them.
正視這個跨度:從下限到助手級項目之間差了三個數量級。差別不在預算,而在任務的寬度。
你這個具體任務到底需要多少數據?
把你的項目對應到最接近的任務類型,然後從那裡起步:風格與格式類 50–300 條,分類任務按每個類別 100–1,000 條的模式,領域指令遵循 1,000–5,000 條,專業領域 5,000–20,000+ 條,偏好數據則需要 10,000+ 組比較。
風格、語氣與格式(50–300 條樣本)。 讓輸出遵循你的模板、你的品牌語氣、你的 JSON 結構。模型本來就會寫;你做的是標準化。OpenAI 所說的「50–100 條時出現改善」,指的就是這一類。
分類與路由(每個類別 100–1,000 條的模式)。 工單分流、意圖識別、內容歸類。覆蓋比數量更重要:每一個類別,以及類別之間容易混淆的邊界,都需要有樣本代表,包括那些罕見的。
領域指令遵循(1,000–5,000 條)。 為你的產品打造的客服或流程助手、基於既定規則的問答、從你自己的文檔類型中做結構化抽取。這是從業者的最優區間,也是大多數商業微調項目的落點。
專業領域行為(5,000–20,000+ 條)。 法律、醫療或金融領域的回覆生成,這些場景正確性標準高、出錯代價大。這裡真正的約束條件通常不是數量,而是專家撰寫與審核——這正是我們這篇指南的主題: 構建法律、醫療與金融領域的 SFT 數據集.
偏好與獎勵數據(10,000+ 組比較)。 RLHF-式的訓練是另一種產品,有它自己的規模邏輯,經典參照是 InstructGPT 的 33,000 組比較。它也有自己特有的質量陷阱,詳見我們這篇文章: 在不產生漂移的前提下收集偏好評分.
有兩條調整適用於所有任務類型。更小的基座模型,要達到同樣的行為需要更多樣本。另外,每個數據集都需要留出一部分——通常是 10–20%——永遠不參與訓練,否則你就是在用模型背下來的題目給它打分。
微調數據加到什麼時候就不再有用了?
比預算討論所設想的要早得多。一旦強基座模型見過了多樣且高質量的數據集,再增加類似的樣本就收效甚微,而與既有模式相牴觸的樣本還會讓結果更糟。
LIMA 的消融實驗是目前最清晰的公開證據。曲線之所以走平,是因為模型已經提取出了模式;重複該模式的新數據是冗餘的,而與之相牴觸的新數據則是有害的。
在以下三種常見情況下,更多數據反而有害:
- 規模化之後的自相矛盾。 把第二位標註員的成果直接加進來讓數據集翻倍,卻不先消解兩人的分歧,等於在教模型「兩個答案都可以」。模型就會來回搖擺。
- 狹隘的重複。 一萬條樣本卻只有同樣五種問題形態,那不過是一個 5 條樣本的數據集,披著一張金額很大的發票。
- 質量被稀釋。 趕著衝條數目標的團隊,會在最後階段放鬆審核,而最差的那 20% 數據決定了上限。這正是我們在以下文章中所記錄問題的多語言版本: 更多數據會讓 AI 變差嗎?
實用的規則是一步步擴大,而不是一躍而上。用 500 條訓練,然後衡量。用 1,500 條訓練,再衡量。評測分數不再變化的那一步,就是你的答案——而它通常比原計劃裡的數字要小。
你怎麼知道自己需要的是更多數據,還是更好的數據?
看失敗的模式。模型從未見過的案例上出現的失敗,是覆蓋缺口,需要更有針對性的數據;而在它見過的案例上表現不一致,則指向質量和規範問題——這是再多數量也修不好的。
說明你需要更多數據的跡象: 模型能處理常見情形,卻在沒見過的變體上崩掉;整類輸入成片失敗;在覆蓋充分與覆蓋稀薄的語言、格式或客戶群之間,表現差異懸殊。請在缺口所在之處補充有針對性的樣本,而不是再加一堆你已經有的東西。我們關於 長尾與邊緣案例挖掘 講的就是如何有意識地把它們找出來。
說明你需要更好數據的跡象: 模型在見過的案例上前後不一致;它很自信地產出一種你的審核人員誰都不會接受的風格;同一條數據交給兩個標註員,很可能得到不同結果。這些問題再加量也解決不了;解決它們的是衡量。 黃金集是一組由專家核驗過正確標註的參考樣本,用來給標註員和數據集打分。 黃金集與標註員間一致性,詳見 黃金集、抽樣審核與一致性共識,能在你讓模型從中學習之前,先看出你的數據集內部是否自洽。
在下任何採購訂單之前,都值得先做一個十分鐘的測試:從你現有的數據中隨機抽 30 條,讓兩個人各自獨立判斷每一條是否正確、是否與其餘數據一致。如果他們與數據不一致,或者彼此不一致,那你下一筆錢該花在規範上,而不是數量上。
Lifewood 如何為客戶確定訓練數據集的規模?
在任何標註項目中,Lifewood 都把數據集規模當作第一個要談的問題,而談完之後,客戶最初的承諾量通常會變小。做法是:從該任務區間的下限開始做試點,對照留出的評測集衡量,然後分步擴大。
確定規模是以下流程的第一步: 企業 LLM 培訓數據 項目。試點數據集在一套嚴格統一的標註規範下構建,從第一批數據起就加入黃金集校驗,並對照留出的評測集進行衡量,只有在測量顯示覆蓋不足時才按步擴大。由於 Lifewood 的交付團隊覆蓋 100+ 種語言,同樣的分步方法也按語言逐一適用。低資源語言往往需要比英語數據集所暗示的更多樣本,才能確立同一種行為;而在 500 條樣本時發現這一點,遠比在 50,000 條時才發現便宜得多。對於正在比較供應商的團隊,我們對 面向 LLM 訓練的最佳數據標註公司 給出了具體標準。
The same logic appears across the industry's better guidance: OpenAI's documentation pushes evaluation before investment, and the LIMA line of research keeps being replicated, with curation beating accumulation. If a proposal quotes a volume before anyone has asked what the model must do, that is worth questioning, whoever it comes from.
在委託製作第一條樣本之前,你該做什麼?
把目標行為寫下來,先建好評測集,從你任務區間的下限開始,並且只在衡量顯示有缺口的地方補數據。
- 先把目標行為寫下來。 一頁紙寫清楚:輸入是什麼、期望輸出是什麼、錯誤答案長什麼樣。如果你寫不出來,標註員就標不出來。
- 先建評測集,再建訓練集。 100–300 條能代表真實使用場景的留出樣本,包括那些棘手的例子。
- 從你任務所在區間的下限開始。 格式類任務 50–100 條,路由分類每個類別幾百條,領域指令類工作約 1,000 條。
- 先衡量,再加碼。 只在評測顯示有缺口的地方補數據,一旦某一步不再推動分數就停下來。
- 守住一致性,而不是數量。 在擴大規模之前先消解標註員之間的分歧;矛盾會累積放大。
- 從第一天起就留出 10–20% 作為測試集 ,並且絕不讓它接觸訓練過程。
- 把預算花在多樣性上,而不是重複上。 一千種不同的情境,勝過一萬次換句話說。