简短回答： 对,在多语言工作中经常如此。 对205种网络缩写语言公司进行人工审计后发现,至少有15种语言根本没有可用的文本,87种语言的可用内容低于50%。 添加该标准的数据会教给一个模型错误的语言、错误的事实或根本一无所有,同时消耗了已经核实的数据会使用的训练预算。 在质量阈值以下,数量停止帮助并开始成本计算。
核心要点
- 更多的数据在挤出好数据,教假联或者放大内容时会伤害,效果在低资源语言中最强.
- 对205个网络缩写公司的审计发现至少有15个没有可用的文本,87个低于50%的可用文本,82个错误的标签或使用了模糊的语言代码.
- 在65种经审计的CCAcent语言中,44种,在20种维基语种中,19种低于50%的正确句子.
- 噪声有四种反复出现的形式:重复,语言错误,并行数据中的错位,以及非语言内容,每个都需要不同的修补.
- 过滤过的多语言公司(corpora) 的基线结果 几乎只有15%的代币,所以过滤是一种性能杠杆, 而不仅仅是清理。
数据加起来怎么能让模型更糟糕?
通过三种机制,随着语言的变小,所有机制都变得更加强大.
数据被挤出。 培训预算是有限的,因此,在被绑起来的文件中花费的每个符号都不是用于正确的,而用低资源语言正确文件是稀缺的资产。 可使用文本在这方面,系指流利的发言者将承认其所称语言中正确、专题内容的句子或文件。
它教错人了。 被标为一种语言但包含另一种语言的教义并非只是没有帮助;它训练一种语言代码与不属于它的内容之间的虚假联系。
它放大了主导者的任何内容,重复的内容被过度地学习,因此锅炉板和刮碎的重复成为模型对语言的想法.
不对称很重要。 在英语中, 噪音被大量干净的文本所稀释。 在有数十万句可用句子的语言中, 噪音的集合可以成为模型所看到的。 团队构建 多语种评价集 运行到相同的不对称:从吵吵的源文本中提取的基准测量噪音,而不是模型质量.
网络上多语言数据到底有多糟糕?
比大多数团队所假设的还要糟糕,证据自2022年起便公开.
Kreutzer和同事手动审计了205种特定语文 公司 公司 ——收集为单一语言收集的文本,并发往他人进行培训——来自五个主要公共数据集:CCAconition, ParaCrawl,WikiMatrix,OSCAR和mC4. 调查结果很重要,因为这些数据集支撑了大量多语种模式培训,包括背后的工作. 高资源与低资源语言 比较。
至少15种公司在审计样本中根本没有可用的文字,这意味着没有一句正确的句子。 87种语言的可用数据低于50%。 在CCAReaction中,65种审计语言中有44种的正确句子低于50%,在20种的维基百科中,有19种。 对于维基百科,大约三分之二的已审计样本平均误配,句子对看起来结构相似,同时描述了不同的事实.
单独地,82corpora被错误地贴上标签或使用了非标准或模棱两可的语言代码,这意味着数据集对于它所声称的语言并不可靠.
作者们补充了一个应该令人鼓舞的观点:这些问题很容易发现,即使是不通晓语言的人也是如此。 没有人检查过。
声音到底由什么组成?
四个反复出现的类别,每个类别都需要不同的固定.
重复。 重复数据很广泛: Indic公司的工作报告, 大约70%的页, 葡萄牙管道从中移除了40%左右的剩余页。 脱落 ——在单一的爬行中去掉几乎相同的重复案文。 清理和复制培训前的教程.
错误或错误标记的语言。 内容用不同的语言, 以所主张语言的罗马化变体, 或者用模棱两可的代码。 失败使得数据集产生误导, 而不是仅仅瘦小 。
错配。 在平行的corpora中, 句子对非相互翻译。 接受过这些培训的模型会自信地学习假等效。
非语言内容。 使用波勒普拉特、 导航、 自动生成文本、 代码碎片和垃圾邮件, 都以重要的速度出现在被审计的低资源公司。 测量一个实体有多少真正多样, 有用的内容是其中的一部分 。 数据集多样性 分析是用来分析的。
一个反直觉的发现值得知道:消除重叠的爬行可以降低性能,因为它优先保留高直觉的噪音页. 清扫是一组判断,而不是切换.
团队应该做什么?
在培训前先审计,先严格过滤,然后购买核查而不是数量。
检查每个语言的样本,一百句的演讲者会告诉你比体积还要多。它便宜,几乎没有人会这样做。
将过滤作为性能杠杆,而不仅仅是清理. 基于模型的过滤 使用受过训练的分类员来评分,只保留质量较高的文件,其基准结果几乎达到15%。
使用扬声器验证语言身份,而不是仅自动识别语言,因为最弱的正是错误集群。 多语种 LLM 培训数据质量 方案依靠母语审查,而不是单独工具。
设定每个语言的可用音量地板, 以便无法使用的数量停止计算目标。
更喜欢生成数据,而所获取的数据却比较薄。在某一点之下,委托使用经核实的语文数据比清理一个从未使用过的数据库便宜得多,而这是大多数数据背后的逻辑。 多种语文数据收集 方案及后方 数据验证 步骤,在数据集到达培训前对其进行检查。
最后一点是业务伙伴的重要性。 Lifewood的多语种工作位于这一行的制作和验证一边:用100+语言的土著演讲者筛选收集和检查演讲和文字,并用元数据和质量历史来提供,从而使得审计成为可能。 带证据的数据集 包含着不同的资产 与只带一个符号的数据集 不同的资产