跳至主要內容
AI 數據

你怎麼知道自己的評測集沒有泄漏進訓練數據?

Lifewood 團隊閱讀需 6 分鐘

簡短回答: 你無法證明一個公開基準是乾淨的,所以不要再依賴證明,而要去建立證據。三種可行的方法是:一個在模型訓練完成之後才寫出來的留出題集、一個針對你真正關心的基準做難度匹配的孿生題集,以及埋在你自己語料中的金絲雀字符串。唯一絕不奏效的做法,是相信一個已經在開放網絡上存在多年的基準上的分數。

數據集污染指的是與基準題目高度相似的數據泄漏進了訓練數據,於是分數度量的是記憶而非推理。這並非假想。GPT-3 在訓練時,其作者報告稱,儘管他們刻意清除測試數據,仍發現訓練集受到了污染;而此後從網絡上彙集起來的每一個語料庫,都面臨同樣的暴露。

令人不安的地方在於,污染很難被證僞。模型提供方可以按精確匹配來過濾,卻依然會漏掉改寫、翻譯、引用了題目的討論帖,以及逐步講解答案的教程文章。因此,對任何要採購或構建評測的人來說,問題不是“這個基準乾淨嗎”,而是“如果它不乾淨,我會看到什麼”。

核心重點

  • 污染是 無法通過檢視來發現 對於你並不掌控的模型而言。它只能從行爲中推斷出來。
  • 最有力的證據是一個 難度匹配的孿生題集:一個爲對照既有基準而新建的題集,然後比較兩者的得分。
  • GSM1k 研究發現 準確率最高下降 8% 相對於 GSM8k 的下降,其中部分模型家族表現出系統性的過擬合——但研究同時發現前沿模型只呈現出 極輕微的跡象 的跡象。
  • A 正相關關係 是在模型生成某個基準樣例的概率與其分數差距之間測得的,這是最接近記憶化指紋的東西。
  • 金絲雀字符串 是唯一能給出明確是或否的方法,而且它們只在你自己掌控的語料中有效。
  • 把評測集保持爲 私有且不公開 是一項控制措施,而不是一種客套。

快速比較

方法它回答什麼對廠商的模型適用嗎?主要侷限
難度匹配的孿生題集分數能在一個全新題集上站得住嗎?是成本高;需要細緻的難度匹配
隨機化答案的上限表現是否超出了能力所允許的範圍?是間接;需要一個構造良好的上限
金絲雀字符串這個確切的字符串在訓練數據裏出現過嗎?否只在你自己掌控的語料中有效
順序打亂某個特定的序列化形式被記住了嗎?需要對數概率信號弱;容易被掩蓋
精確匹配過濾是否存在逐字複製?只有作爲提供方時纔可行會漏掉改寫與翻譯

數據集污染究竟是什麼?

污染指的是訓練數據中存在與基準測試題足夠接近的材料,以致模型可以憑記憶而非憑能力作答。它包括逐字複製、改寫、翻譯版本,以及復現這些題目的第三方討論。

在操作上真正重要的區分,是污染與對某個基準風格的過擬合之間的區別。用成千上萬道做過的小學算術題訓練出來的模型,會誠實地在小學算術上變得更好。而見過具體測試題的模型,會在並未變得更好的情況下考得更好。兩者都會把數字抬高;只有其中一個抬高了真實能力,而從訓練過程之外看,兩者看起來完全一樣。

GSM1k 研究究竟是怎麼驗證這件事的?

研究者委託製作了一個新基準 GSM1k,它按既有的 GSM8k 小學數學基準的風格與複雜度來構建,然後比較模型在兩者上的表現。兩個題集在人類解題率、解題步數、答案數量級及其他指標上做了匹配,因此分數差距無法被解釋爲難度差距。

結果比通常的標題說法更爲微妙,而這份微妙正是有用之處。在 GSM1k 上評測領先的開源與閉源模型,顯示準確率最高下降 8%,其中有幾個模型家族在幾乎所有模型規模上都顯示出系統性過擬合的證據。但作者明確指出,許多模型、尤其是前沿模型,只表現出極輕微的過擬合跡象,而且所有模型都普遍展現出對保證不在其訓練數據中的新數學題的泛化能力。

記憶化的證據來自一項單獨的分析。作者發現,模型生成 GSM8k 中某個樣例的概率,與它在 GSM8k 和 GSM1k 之間的表現差距之間存在正相關關係,斯皮爾曼 r 平方爲 0.36。越有可能逐字復現舊基準的模型,就越有可能在新基準上掉分。這已經是這個領域最接近指紋的東西了。

作者還選擇讓 GSM1k 保持私有而非公開,正是爲了限制未來的污染。這一決定本身就是方法的一部分,而不是事後補充。

不新建一整個基準,能檢測出污染嗎?

可以,只是信號更弱但更便宜。有三種做法無需委託製作一個平行數據集,而且每一種回答的問題都略有不同。

隨機化答案的基準。 公開一個答案已被隨機化的基準,使得任何程度的真實能力都不應超過隨機水平的準確率。有一個方案把這一點形式化了:即便是完全有能力的模型,也不應超過隨機化題集的貝葉斯準確率,因此一個超過該上限的模型就給出了強烈的污染信號。它的吸引力在於只依據觀察到的表現即可運作,這讓它可以用於黑箱模型。

金絲雀字符串。 把獨特的隨機字符串插入語料,之後測試模型是否會復現它們。這一技術最初被提出用於審計記憶化,現在也用於檢測測試集污染。它是這裏唯一能給出明確答案的方法,而它的侷限也很嚴重:你只能在自己掌控的數據裏埋下金絲雀,因此它審計的是你自己的流水線,而不是廠商的。

順序打亂。 比較一道基準題在打亂其選項或元素順序前後的補全對數概率。記住了某個特定序列化形式的模型,往往會顯示出有提示意義的差異。

採購方實際上應該要求什麼?

要求那個決定你採購的評測在當時無法被用於訓練。僅這一個條件就能消除大部分問題,而且它是一個採購問題,而不是一個研究問題。

在實踐中這意味着三件事。委託製作或留出一個晚於你所比較的那些模型的測試集,並且不要公開它。當你爲了可比性而必須使用公開基準時,就把它與一個私有孿生題集配對,並同時報告兩個數字,因爲兩者之間的差距比其中任何一個單獨來看都更有信息量。另外,把任何廠商在多年前的公開基準上自我報告的分數,視爲關於其對該基準熟悉程度的說明,而不是對能力的度量。

正是在這裏,評測集的構建不再只是一個研究問題,而成爲一個數據採購問題。一個真正未被見過的測試集,必須由人新寫出來、與它所替代的題集做難度匹配,並在此後不進入公開流通。這些都是數據收集方面的要求,也正是評測工作與標註工作往往由同一批團隊承擔的原因。

常見問題

他們可以過濾,這也有幫助,但過濾不是解決辦法。精確匹配與 n-gram 過濾會漏掉改寫、翻譯、部分引用,以及以不同措辭復現題目的討論。GPT-3 的作者報告稱,儘管他們努力清除訓練數據中出現的測試數據,仍發現訓練集受到了污染。

不能,而這是最常見的誤讀。分數下降可能意味着污染、意味着對某種風格的過擬合,也可能只是因爲新題集更難。正因如此,在人類解題率、解題步數與答案數量級上做難度匹配才至關重要,也正因如此,記憶化分析才與分數比較分開進行。

按 GSM1k 的研究結果並非如此。它發現有幾個模型家族在幾乎所有規模上都表現出系統性過擬合,而許多模型、尤其是前沿模型,只呈現出極輕微的跡象。污染是某一條特定訓練流水線的屬性,而不是規模的屬性。

因爲正是公開造成了暴露。開放網絡上的基準會被抓取、引用、翻譯,並在教程裏被逐步講解,而每一種都是一條污染路徑。私有的留出題集之所以存在,正是爲了讓人還有東西可以用來度量。

把任何公開基準都視爲從其發佈之日起就在衰減,並預期每一次重大的採購或發佈決策都需要一個新的私有題集。一個已經爲公開排行榜提供過數據的題集,其作爲度量工具的價值就已經開始流失。

資料來源與延伸閱讀

  1. 對大語言模型在小學算術上表現的審慎考察 ——GSM1k 研究:難度匹配、準確率最高下降 8%,以及斯皮爾曼 r 平方爲 0.36 的記憶化關聯
  2. CapBencher:爲你的 LLM 基準內置一個測試集過擬合警報 ——Ishida、Lodkaew 與 Yamane:隨機化答案的方案,以及貝葉斯準確率上限這一論證
  3. 語言模型是少樣本學習者 ——GPT-3 論文,其中包含作者自己關於發現測試集污染的說明
  4. 祕密分享者:評估與檢驗神經網絡中的非預期記憶化 ——用於審計記憶化的金絲雀字符串方法

有 AI 或品牌能見度項目計畫嗎?

從AI評估和人與人間搜索到GEO和AEO戰略,我們的團隊可以自信地幫助你們部署,並在AI搜索時代被發現.

聯絡我們的團隊