跳至主要内容
AI 数据

你怎么知道自己的评测集没有泄漏进训练数据?

Lifewood 团队阅读需 6 分钟

简短回答: 你无法证明一个公开基准是干净的,所以不要再依赖证明,而要去建立证据。三种可行的方法是:一个在模型训练完成之后才写出来的留出题集、一个针对你真正关心的基准做难度匹配的孪生题集,以及埋在你自己语料中的金丝雀字符串。唯一绝不奏效的做法,是相信一个已经在开放网络上存在多年的基准上的分数。

数据集污染指的是与基准题目高度相似的数据泄漏进了训练数据,于是分数度量的是记忆而非推理。这并非假想。GPT-3 在训练时,其作者报告称,尽管他们刻意清除测试数据,仍发现训练集受到了污染;而此后从网络上汇集起来的每一个语料库,都面临同样的暴露。

令人不安的地方在于,污染很难被证伪。模型提供方可以按精确匹配来过滤,却依然会漏掉改写、翻译、引用了题目的讨论帖,以及逐步讲解答案的教程文章。因此,对任何要采购或构建评测的人来说,问题不是“这个基准干净吗”,而是“如果它不干净,我会看到什么”。

核心要点

  • 污染是 无法通过检视来发现 对于你并不掌控的模型而言。它只能从行为中推断出来。
  • 最有力的证据是一个 难度匹配的孪生题集:一个为对照既有基准而新建的题集,然后比较两者的得分。
  • GSM1k 研究发现 准确率最高下降 8% 相对于 GSM8k 的下降,其中部分模型家族表现出系统性的过拟合——但研究同时发现前沿模型只呈现出 极轻微的迹象 的迹象。
  • A 正相关关系 是在模型生成某个基准样例的概率与其分数差距之间测得的,这是最接近记忆化指纹的东西。
  • 金丝雀字符串 是唯一能给出明确是或否的方法,而且它们只在你自己掌控的语料中有效。
  • 把评测集保持为 私有且不公开 是一项控制措施,而不是一种客套。

快速对比

方法它回答什么对厂商的模型适用吗?主要局限
难度匹配的孪生题集分数能在一个全新题集上站得住吗?是成本高;需要细致的难度匹配
随机化答案的上限表现是否超出了能力所允许的范围?是间接;需要一个构造良好的上限
金丝雀字符串这个确切的字符串在训练数据里出现过吗?否只在你自己掌控的语料中有效
顺序打乱某个特定的序列化形式被记住了吗?需要对数概率信号弱;容易被掩盖
精确匹配过滤是否存在逐字复制?只有作为提供方时才可行会漏掉改写与翻译

数据集污染究竟是什么?

污染指的是训练数据中存在与基准测试题足够接近的材料,以致模型可以凭记忆而非凭能力作答。它包括逐字复制、改写、翻译版本,以及复现这些题目的第三方讨论。

在操作上真正重要的区分,是污染与对某个基准风格的过拟合之间的区别。用成千上万道做过的小学算术题训练出来的模型,会诚实地在小学算术上变得更好。而见过具体测试题的模型,会在并未变得更好的情况下考得更好。两者都会把数字抬高;只有其中一个抬高了真实能力,而从训练过程之外看,两者看起来完全一样。

GSM1k 研究究竟是怎么验证这件事的?

研究者委托制作了一个新基准 GSM1k,它按既有的 GSM8k 小学数学基准的风格与复杂度来构建,然后比较模型在两者上的表现。两个题集在人类解题率、解题步数、答案数量级及其他指标上做了匹配,因此分数差距无法被解释为难度差距。

结果比通常的标题说法更为微妙,而这份微妙正是有用之处。在 GSM1k 上评测领先的开源与闭源模型,显示准确率最高下降 8%,其中有几个模型家族在几乎所有模型规模上都显示出系统性过拟合的证据。但作者明确指出,许多模型、尤其是前沿模型,只表现出极轻微的过拟合迹象,而且所有模型都普遍展现出对保证不在其训练数据中的新数学题的泛化能力。

记忆化的证据来自一项单独的分析。作者发现,模型生成 GSM8k 中某个样例的概率,与它在 GSM8k 和 GSM1k 之间的表现差距之间存在正相关关系,斯皮尔曼 r 平方为 0.36。越有可能逐字复现旧基准的模型,就越有可能在新基准上掉分。这已经是这个领域最接近指纹的东西了。

作者还选择让 GSM1k 保持私有而非公开,正是为了限制未来的污染。这一决定本身就是方法的一部分,而不是事后补充。

不新建一整个基准,能检测出污染吗?

可以,只是信号更弱但更便宜。有三种做法无需委托制作一个平行数据集,而且每一种回答的问题都略有不同。

随机化答案的基准。 公开一个答案已被随机化的基准,使得任何程度的真实能力都不应超过随机水平的准确率。有一个方案把这一点形式化了:即便是完全有能力的模型,也不应超过随机化题集的贝叶斯准确率,因此一个超过该上限的模型就给出了强烈的污染信号。它的吸引力在于只依据观察到的表现即可运作,这让它可以用于黑箱模型。

金丝雀字符串。 把独特的随机字符串插入语料,之后测试模型是否会复现它们。这一技术最初被提出用于审计记忆化,现在也用于检测测试集污染。它是这里唯一能给出明确答案的方法,而它的局限也很严重:你只能在自己掌控的数据里埋下金丝雀,因此它审计的是你自己的流水线,而不是厂商的。

顺序打乱。 比较一道基准题在打乱其选项或元素顺序前后的补全对数概率。记住了某个特定序列化形式的模型,往往会显示出有提示意义的差异。

采购方实际上应该要求什么?

要求那个决定你采购的评测在当时无法被用于训练。仅这一个条件就能消除大部分问题,而且它是一个采购问题,而不是一个研究问题。

在实践中这意味着三件事。委托制作或留出一个晚于你所比较的那些模型的测试集,并且不要公开它。当你为了可比性而必须使用公开基准时,就把它与一个私有孪生题集配对,并同时报告两个数字,因为两者之间的差距比其中任何一个单独来看都更有信息量。另外,把任何厂商在多年前的公开基准上自我报告的分数,视为关于其对该基准熟悉程度的说明,而不是对能力的度量。

正是在这里,评测集的构建不再只是一个研究问题,而成为一个数据采购问题。一个真正未被见过的测试集,必须由人新写出来、与它所替代的题集做难度匹配,并在此后不进入公开流通。这些都是数据收集方面的要求,也正是评测工作与标注工作往往由同一批团队承担的原因。

常见问题

他们可以过滤,这也有帮助,但过滤不是解决办法。精确匹配与 n-gram 过滤会漏掉改写、翻译、部分引用,以及以不同措辞复现题目的讨论。GPT-3 的作者报告称,尽管他们努力清除训练数据中出现的测试数据,仍发现训练集受到了污染。

不能,而这是最常见的误读。分数下降可能意味着污染、意味着对某种风格的过拟合,也可能只是因为新题集更难。正因如此,在人类解题率、解题步数与答案数量级上做难度匹配才至关重要,也正因如此,记忆化分析才与分数比较分开进行。

按 GSM1k 的研究结果并非如此。它发现有几个模型家族在几乎所有规模上都表现出系统性过拟合,而许多模型、尤其是前沿模型,只呈现出极轻微的迹象。污染是某一条特定训练流水线的属性,而不是规模的属性。

因为正是公开造成了暴露。开放网络上的基准会被抓取、引用、翻译,并在教程里被逐步讲解,而每一种都是一条污染路径。私有的留出题集之所以存在,正是为了让人还有东西可以用来度量。

把任何公开基准都视为从其发布之日起就在衰减,并预期每一次重大的采购或发布决策都需要一个新的私有题集。一个已经为公开排行榜提供过数据的题集,其作为度量工具的价值就已经开始流失。

资料来源与延伸阅读

  1. 对大语言模型在小学算术上表现的审慎考察 ——GSM1k 研究:难度匹配、准确率最高下降 8%,以及斯皮尔曼 r 平方为 0.36 的记忆化关联
  2. CapBencher:为你的 LLM 基准内置一个测试集过拟合警报 ——Ishida、Lodkaew 与 Yamane:随机化答案的方案,以及贝叶斯准确率上限这一论证
  3. 语言模型是少样本学习者 ——GPT-3 论文,其中包含作者自己关于发现测试集污染的说明
  4. 秘密分享者:评估与检验神经网络中的非预期记忆化 ——用于审计记忆化的金丝雀字符串方法

有 AI 或品牌可见度项目计划吗?

从AI评估和人与人间搜索到GEO和AEO战略,我们的团队可以自信地帮助你们部署,并在AI搜索时代被发现.

联系我们的团队