簡短回答： 只要數據質量夠好，所需的量遠低於多數採購方的預算設想。OpenAI 的文檔給出的下限是 10 條樣本，並在 50–100 條時出現可見的提升。LIMA 研究用 1,000 條精選樣本，就達到了訓練量大得多的系統的水平。可以預期：狹窄的格式類任務約 50 條，多數生產級指令任務 1,000–5,000 條，只有通用型助手和偏好訓練才需要數萬條。
核心重點
- 微調數據沒有一個放之四海的數字：微調是在引導一個本就有能力的模型，因此需求量取決於目標行為有多新，而不是任務有多重要。
- 已公開的參照點包括：OpenAI 給出的 10 條樣本下限與 50–100 條時的改善、LIMA 的 1,000 條精選樣本、生產級監督微調 2,000–5,000 條的從業者最優區間，以及 InstructGPT 背後約 13,000 條示範加 33,000 組偏好比較。
- 多樣性與一致性勝過數量：LIMA 的消融實驗表明，單純擴大規模的收益急劇遞減，而自相矛盾的樣本會讓微調後的模型變得更差。
- 按可衡量的步子擴大微調數據集，一旦評測分數不再變化就停下來；合適的規模是被發現的，不是被宣佈的。
- 覆蓋不足導致的失敗，需要在特定缺口上補充數據；而不一致導致的失敗，需要更好的標註規範和質量保障——這是再多數量也修不好的。
為什麼微調數據沒有一個統一的數字？
因為微調不是從零開始訓練。基座模型已經掌握了語言、事實和推理模式，所以你需要的數據量，取決於你的任務離模型本來就擅長的事情有多遠，而不是取決於這件事對你的業務有多重要。
微調是指在一個更小的、面向特定任務的數據集上對預訓練模型繼續訓練，使它採用特定的格式、語氣、規則或領域詞彙。 你的數據不是在教模型認識世界。它是在給模型指一個方向：這種格式、這種語氣、這套規則、這套領域詞彙。
這就是為什麼那些聽上去小得不可思議的數字，一再被證明是真的。你是在約束一個本就有能力的系統，而不是從頭造一個。你這個問題背後，其實是三個問題：
- 這種行為有多新？ 只是重新排版輸出，所需極少。教會模型一個真正陌生的領域，所需就多得多。
- 你的樣本能做到多一致？ 自相矛盾的樣本——也就是相似的輸入卻對應不同的期望輸出——會實實在在地損害微調效果，因此一個更小但乾淨的數據集，勝過一個更大卻嘈雜的數據集。
- 你怎麼知道它奏效了？ 沒有評測集，任何規模的數據集都談不上「夠」，因為你根本無從判斷。OpenAI 的指導意見在先後次序上說得很直白：在投入微調之前，先把評測建起來。
關於數據集規模，研究和廠商指南是怎麼說的？
把這些已公開的參照點排在一起，會發現它們相當集中：平臺下限 10 條樣本、50–100 條時出現改善、1,000 條精選樣本帶來的標誌性成果、2,000–5,000 條的從業者最優區間，以及數萬條規模的助手級項目。
平臺給出的下限。 OpenAI 的監督微調文檔 把下限定在 10 條樣本，報告 50–100 條時出現可見的提升，並補充了一條實用的決策規則：如果 50 條好樣本帶不來任何改善，那就先重新審視任務或提示詞，再談加數據。
小數據的標誌性成果。 該 LIMA 研究 （《Less Is More for Alignment》）僅用 1,000 組精心挑選的指令—回覆配對，對一個 65 億參數的模型做了微調，產出的結果足以與訓練量大得多的系統相抗衡。其消融實驗發現，多樣性的作用遠大於數量，單純擴大數據集的收益會急劇遞減。
生產規模的參照。 OpenAI 的 InstructGPT 工作大約用了 13,000 條人工撰寫的監督微調示範，外加約 33,000 組偏好比較，憑藉這些數據，一個 1.3B 的模型在人工評測中勝過了未經調優的 175B GPT-3。斯坦福的 Alpaca 則用了 52,000 條生成樣本。這些是支撐通用型助手的數據規模，而不是面向狹窄業務任務的規模。
從業者的區間。 平臺方的指導意見，例如 Predibase 的數據集要求 把簡單任務定為最低 10–20 條、最優 100–1,000 條，把標準監督微調定為最低 500–1,000 條、最優 2,000–5,000 條，並把 10,000–20,000+ 條留給最困難的場景。它建議團隊先從 100–500 條高質量樣本的聚焦數據集起步，一邊監測一邊擴大。
關於微調數據集規模的公開參照點
| 參考資料 | 示例 | 它代表什麼 |
|---|---|---|
| OpenAI 文檔給出的下限 | 10 | 平臺下限，而非推薦值 |
| OpenAI 所稱「可見的提升」 | 50–100 | 狹窄的行為與格式類任務 |
| LIMA | 1,000 | 在強基座模型上進行精選且多樣的指令微調 |
| 從業者的 SFT 最優區間 | 2,000–5,000 | 典型的生產級指令任務 |
| InstructGPT 的 SFT 階段 | 約 13,000 條（外加 33,000 組偏好數據） | 採用 RLHF 的通用型助手 |
| 斯坦福 Alpaca | 52,000 | 廣泛的指令覆蓋，使用生成數據 |
資料來源：OpenAI 開發者文檔；經 Oumi 轉述的 LIMA（Zhou 等，2023）；經 Meta-Intelligence 微調數據綜述轉述的 InstructGPT 與 Alpaca 數據；Predibase 指南。請把這些區間當作起點，因為你的任務、基座模型和質量標準都會改變它們。
正視這個跨度：從下限到助手級項目之間差了三個數量級。差別不在預算，而在任務的寬度。
你這個具體任務到底需要多少數據？
把你的項目對應到最接近的任務類型，然後從那裡起步：風格與格式類 50–300 條，分類任務按每個類別 100–1,000 條的模式，領域指令遵循 1,000–5,000 條，專業領域 5,000–20,000+ 條，偏好數據則需要 10,000+ 組比較。
風格、語氣與格式（50–300 條樣本）。 讓輸出遵循你的模板、你的品牌語氣、你的 JSON 結構。模型本來就會寫；你做的是標準化。OpenAI 所說的「50–100 條時出現改善」，指的就是這一類。
分類與路由（每個類別 100–1,000 條的模式）。 工單分流、意圖識別、內容歸類。覆蓋比數量更重要：每一個類別，以及類別之間容易混淆的邊界，都需要有樣本代表，包括那些罕見的。
領域指令遵循（1,000–5,000 條）。 為你的產品打造的客服或流程助手、基於既定規則的問答、從你自己的文檔類型中做結構化抽取。這是從業者的最優區間，也是大多數商業微調項目的落點。
專業領域行為（5,000–20,000+ 條）。 法律、醫療或金融領域的回覆生成，這些場景正確性標準高、出錯代價大。這裡真正的約束條件通常不是數量，而是專家撰寫與審核——這正是我們這篇指南的主題： 構建法律、醫療與金融領域的 SFT 數據集.
偏好與獎勵數據（10,000+ 組比較）。 RLHF-式的訓練是另一種產品，有它自己的規模邏輯，經典參照是 InstructGPT 的 33,000 組比較。它也有自己特有的質量陷阱，詳見我們這篇文章： 在不產生漂移的前提下收集偏好評分.
有兩條調整適用於所有任務類型。更小的基座模型，要達到同樣的行為需要更多樣本。另外，每個數據集都需要留出一部分——通常是 10–20%——永遠不參與訓練，否則你就是在用模型背下來的題目給它打分。
微調數據加到什麼時候就不再有用了？
比預算討論所設想的要早得多。一旦強基座模型見過了多樣且高質量的數據集，再增加類似的樣本就收效甚微，而與既有模式相牴觸的樣本還會讓結果更糟。
LIMA 的消融實驗是目前最清晰的公開證據。曲線之所以走平，是因為模型已經提取出了模式；重複該模式的新數據是冗餘的，而與之相牴觸的新數據則是有害的。
在以下三種常見情況下，更多數據反而有害：
- 規模化之後的自相矛盾。 把第二位標註員的成果直接加進來讓數據集翻倍，卻不先消解兩人的分歧，等於在教模型「兩個答案都可以」。模型就會來回搖擺。
- 狹隘的重複。 一萬條樣本卻只有同樣五種問題形態，那不過是一個 5 條樣本的數據集，披著一張金額很大的發票。
- 質量被稀釋。 趕著衝條數目標的團隊，會在最後階段放鬆審核，而最差的那 20% 數據決定了上限。這正是我們在以下文章中所記錄問題的多語言版本： 更多數據會讓 AI 變差嗎？
實用的規則是一步步擴大，而不是一躍而上。用 500 條訓練，然後衡量。用 1,500 條訓練，再衡量。評測分數不再變化的那一步，就是你的答案——而它通常比原計劃裡的數字要小。
你怎麼知道自己需要的是更多數據，還是更好的數據？
看失敗的模式。模型從未見過的案例上出現的失敗，是覆蓋缺口，需要更有針對性的數據；而在它見過的案例上表現不一致，則指向質量和規範問題——這是再多數量也修不好的。
說明你需要更多數據的跡象： 模型能處理常見情形，卻在沒見過的變體上崩掉；整類輸入成片失敗；在覆蓋充分與覆蓋稀薄的語言、格式或客戶群之間，表現差異懸殊。請在缺口所在之處補充有針對性的樣本，而不是再加一堆你已經有的東西。我們關於 長尾與邊緣案例挖掘 講的就是如何有意識地把它們找出來。
說明你需要更好數據的跡象： 模型在見過的案例上前後不一致；它很自信地產出一種你的審核人員誰都不會接受的風格；同一條數據交給兩個標註員，很可能得到不同結果。這些問題再加量也解決不了；解決它們的是衡量。 黃金集是一組由專家核驗過正確標註的參考樣本，用來給標註員和數據集打分。 黃金集與標註員間一致性，詳見 黃金集、抽樣審核與一致性共識，能在你讓模型從中學習之前，先看出你的數據集內部是否自洽。
在下任何採購訂單之前，都值得先做一個十分鐘的測試：從你現有的數據中隨機抽 30 條，讓兩個人各自獨立判斷每一條是否正確、是否與其餘數據一致。如果他們與數據不一致，或者彼此不一致，那你下一筆錢該花在規範上，而不是數量上。
Lifewood 如何為客戶確定訓練數據集的規模？
在任何標註項目中，Lifewood 都把數據集規模當作第一個要談的問題，而談完之後，客戶最初的承諾量通常會變小。做法是：從該任務區間的下限開始做試點，對照留出的評測集衡量，然後分步擴大。
確定規模是以下流程的第一步： 企業 LLM 培訓數據 項目。試點數據集在一套嚴格統一的標註規範下構建，從第一批數據起就加入黃金集校驗，並對照留出的評測集進行衡量，只有在測量顯示覆蓋不足時才按步擴大。由於 Lifewood 的交付團隊覆蓋 100+ 種語言，同樣的分步方法也按語言逐一適用。低資源語言往往需要比英語數據集所暗示的更多樣本，才能確立同一種行為；而在 500 條樣本時發現這一點，遠比在 50,000 條時才發現便宜得多。對於正在比較供應商的團隊，我們對 面向 LLM 訓練的最佳數據標註公司 給出了具體標準。
同樣的邏輯貫穿業內較好的那些指導意見：OpenAI 的文檔主張先評測再投入，Predibase 的指南主張從 100–500 條起步並隨衡量結果擴大，而 LIMA 這條研究脈絡不斷被複現——精選勝過堆積。如果一份方案在還沒人問清模型究竟要做什麼之前，就先報出一個數量，那它就值得質疑，不管出自誰手。
在委託製作第一條樣本之前，你該做什麼？
把目標行為寫下來，先建好評測集，從你任務區間的下限開始，並且只在衡量顯示有缺口的地方補數據。
- 先把目標行為寫下來。 一頁紙寫清楚：輸入是什麼、期望輸出是什麼、錯誤答案長什麼樣。如果你寫不出來，標註員就標不出來。
- 先建評測集，再建訓練集。 100–300 條能代表真實使用場景的留出樣本，包括那些棘手的例子。
- 從你任務所在區間的下限開始。 格式類任務 50–100 條，路由分類每個類別幾百條，領域指令類工作約 1,000 條。
- 先衡量，再加碼。 只在評測顯示有缺口的地方補數據，一旦某一步不再推動分數就停下來。
- 守住一致性，而不是數量。 在擴大規模之前先消解標註員之間的分歧；矛盾會累積放大。
- 從第一天起就留出 10–20% 作為測試集 ，並且絕不讓它接觸訓練過程。
- 把預算花在多樣性上，而不是重複上。 一千種不同的情境，勝過一萬次換句話說。