简短回答： AI培训数据是用于教学或测试模型的任何材料——预训公司、书面演示、偏好比较、附加说明的任务数据和评价集,这些是不同的产品,其生产者、成本和质量测试各不相同。 质量不是一种财产,而是相互交易的七种财产:正确性、一致性、覆盖面、相关性、新鲜性、多样性和来源。 决定性的问题是数据是否代表了实际部署条件,而不是数据存在多少。
核心要点
- AI培训数据至少涵盖五个不同的产品——预先训练公司,监督示范,偏好比较,附加说明的任务数据和评价集——每个产品都从不同的供应商购买,通过不同的测试判断.
- 数据质量有七个独立的维度:正确性,一致性,覆盖面,相关性,新鲜性,多样性和来源;没有单一的配置可以同时将所有七个都最大化.
- 更多的数据只有在增加可用信号时才有帮助;超过这一点,就会增加重复,加强现有的skew,增加权利暴露,而不移动总的度量。
- 一项七步数据集审计——从记下预期行为到对一片数据进行试点试验——经常改变培训开始前买到的东西。
- Lifewood 对照 95%+ 准确度 SLA 记录出处 50+ 语文和 40+ 分娩中心 30+ 国家。
AI培训数据是什么?
这句话至少涵盖五个不同的产品,它们从不同的供应商购买,由不同的人生产,通过不同的测试来判断——这就是为什么预算单列的"训练数据"一行通常会隐藏一个排序错误的原因.
培训数据 用于教学或评价模型的任何材料,下面的五种产品都位于管道的不同位置,而不是可互换的细列项目。
| 产品 | 教它什么,教它什么 | 是谁制造的? | 如何判断质量 |
|---|---|---|---|
| 培训前文书 | 通用语言、世界知识、格式 | 来源或许可证规模; | 分层计划覆盖;分层;权利地位 |
| 监督示威 | 反应好极了 | 能够产生目标质量的作家 | Rubric 符合性;专家审查;作者之间的差异 |
| 优先比较 | 两种答复中哪一种更好 | 受过培训的多语种工作评分员 | 独立计费人之间可能修正的协议 |
| 附加说明的任务数据 | 信号在哪里,它意味着什么 | 对照版本准则训练的注释员 | 通知人之间的协议;裁决工作量 |
| 评价和安全装置 | 没什么,它们能测量 | 独立于培训单元之外建造 | 污染检查;覆盖硬尾巴 |
两种观点改变了预算。 首先,评价数据是最经常被忽略的项目,也是回报率最高的项目,因为没有这种数据,就无法测试对其他四种数据的说法。 第二,困难贯穿中间一栏:写作比判断更难,判断比来源更难——因此来源率永远不应该用来解释演示成本.
数据集也不仅仅是其记录。它包含上下文:来源、同意或许可依据、应用的转换、有效的注释指南版本以及检查运行。上下文使得数据集在模型的行为受到质疑时可以审计、更新和辩驳,并且不能在之后重建。 数据集从一般用途转向专门用途后,相关的区分见 水平对垂直 LLM 培训数据.
数据质量的维度是什么?
“ 高质量” 不是数据集拥有的属性。 它有7个属性, 每一个属性都有不同的测试和不同的失败模式 。
| 维度 | 答案是: 问题 | 如何测试 | 失踪时你付出的代价 |
|---|---|---|---|
| 正确性 | 标签对吗? | 评断金币 注释者无法识别 | 直接错误, 以真理得知 |
| 一致性 | 两位注释员是否同样适用准则? | 重叠项目可能纠正的协议 | 类别边缘的不稳定决定边界 |
| 覆盖范围 | 部署条件是否具有代表性? | 对照书面覆盖计划进行分级计算 | 总计测量中看不见的盲点 |
| 相关性 | 这些材料是否与任务有关? | 根据任务规格进行的抽样审查 | 浪费计算; 稀释信号 |
| 新鲜度 | 它是否反映了目前的做法、产品和语言? | 日期抽样;每个领域审查cadence | 自信、流利的老旧 |
| 多样性 | 沿着轴线有不同吗? | 按轴向分配报告,不为总体 | 仅对多数案件有效的模式 |
| 来源追溯 | 你能说说每件物品的来源吗? | 原产地记录,可出口 | 权利曝光;以后再也无法过滤 |
来源追溯 数据项的来源、权利基础和在达到模型之前对其所做的一切。
维度互换。 缩小分类法可以提高一致性, 并失去边界。 丢弃旧材料可以增加新鲜度和减少体积。 更广义地进行测量可以提高多样性, 并降低正确度, 直到准则赶上为止。 没有一个配置能将所有七个方面最大化,这就是为什么每个项目都应加以规定,而不是作为一般标准。 数据集多样性 如何解释 标注员间一致性 分数。
NIST的(美国国家卫生局) AI 风险管理框架 (AI RMF 1.0,2023年1月)在方案层面提出同样的论点:可信赖性在生命周期中管理,而不是在基准中认证一次。 数据质量是决定价格低廉的生命周期中最早的点。 数据质量是数据质量。
更多的培训数据是否总更好?
不,相信它会驱动这个市场的大部分浪费。
补充数据有助于增加覆盖面,因为模型在模型薄弱的区域没有或减少不确定性。
- 重复扭曲评价。 几乎复制品分散在列车/测试的裂缝中,在不改进模型的情况下测量了性能,除非你 切换到分块处 而不是在它内部。
- 平均藏段. 大型数据集可以产生令人印象深刻的集合数字,而稀有但重要的部分则性能差。 集合随体积而上升; 部分则不上升。
- 滑动化合物. 量通常是从最容易来源的任何地方获得的,这意味着每批增加的量一般会加强现有的分布,而不是填补其差距。
- 权利曝光量与量。 来源不明的材料是随每批吞食量而增加的赔偿责任,如果从未记录来源,则不能在以后清除。
更好的问题是,批量的信号是否增加可用信号——这实际上意味着收集针对代表不足的情况、困难的例子、新市场和模型本身观察到的故障,而不是它已经处理的更多问题。
覆盖率 是指收集的物品与覆盖最深层的物品之间的比率,而不是所有阶层的平均比率。
Coverage floor = min over strata of (items in stratum ÷ target for stratum)
报告地板,绝不是刻薄。 刻薄的号码让一个完全空洞的层层的体表看起来覆盖得很好, 而这是供应商和内部团队都默认的。
在培训之前,你如何审核数据集?
数据集审计需要几天时间, 并例行更改购买内容。 按此顺序运行, 因为每个步骤都会让下一个步骤更便宜 。
- 先记下意图的行为 任务、 用户、 语言、 操作环境、 每个失败类的成本以及模型的标准将被判断。 以后的每一个问题都会被问到。 数据集不能抽象地评估 。
- 检查分层,不是大小。 从第1步开始,向计划询问每个层次的计数——语言,区域,设备,情景,类,难度——与计划相对应,未分级的计数是文件大小.
- 样本分层,不是全球 全球通关率以最大和最简单的段为主。从每个层抽取,并分别报告。
- 猎杀渗漏。 检查列车的近似重复、验证和测试分区,以及评估集中任何可能合理出现在预培训程序中的物品。 该模型所记述的基准比没有基准更糟糕,因为它产生了自信的错误决定。
- 手持诵百种. 并不是关于它们的报告——项目。这是步骤小组跳过和找到没有标准名称的小组:短写记录、锅炉板、机器翻译文本作为原生文字呈现、说明符合准则并忽略了准则的意图。
- 追踪十条记录到最后 随机选择, 并要求供应商显示每个源、 权利基础、 收集方法、 转换和注释历史。 答案是一小时后到还是两周后到来, 告诉你出处记录是什么呢 。
- 运行飞行员实验. 对数据集的唯一可靠判断是它是在重要条件下改进目标模型或评价。在承诺量之前先切片。
标注员间一致性 是一个偶然修正的衡量标准,衡量两个或两个以上独立的注释者如何一致地对同一项目适用同一准则。对于主观任务,请再增加一个步骤:重合一个项目份额,计算机会修正协议,并对照一个命名的尺度来解释。Landis和Koch波段(生物计量, 1977) — 0.61–0.80 实务,以上 0.80 几乎完美——是共同的参考,作者将其称为任意的基准而不是统计阈值。 黄金套、审计抽样和共识 有三个具体的方法来运行这个 附加说明的数据。
数据集记录应包含哪些内容?
将文件与数据一起版本。每个版本的可行记录包括:
- 用途 ——数据集的建立目的,用途不适宜.
- 组成 ——按层数,类数平衡,语言和方言分解,模式组合.
- 收藏和权利 每一种来源是如何获得的,在什么时期,在什么许可或同意的基础上获得的。
- 注释 ——准则版本,注释员资格,重叠率,协议数字,裁定规则. 如何编写注释指南 说明员们其实是跟随的
- 已知的限制 ——你已经知道的漏洞。一个没有限制的数据集卡是营销。
- 更改日志 ——自上版以来,什么动了,以及之前的哪些作品因此被重新判定.
记录的要点是不符合要求,是半年后当模型在一个市场中表现奇怪时,记录是唯一让任何人发现原因的东西.
怎么样 Lifewood 培训数据质量?
Lifewood 将培训数据视为控制下管道而不是一次性交付,在收集开始前就规定覆盖面,并根据整个过程中而不是仅在移交时评估的固定阈值跟踪质量。
收集开始前就规定了覆盖范围,取样分层进行,而不是作为全球通过率报告,编制注释准则,每个物品通过双重层次的人类审查,然后进行“全球通过率” 95%+ 准确度 证据在每件物品的摄入时记录,而不是在之后重建,因为移交时的重建不可能在规模上实现。
全球方案质量的制约因素在于谁可以对市场数据作出判断。 Lifewood 工作过关 100+ 语言 结束 40+ 跨省服务中心 30+ 国家 与 56,000+ 登记缴款人因此,材料是在市场上制作和审查的,而不是在现场翻译的,而这正是在覆盖率最低的阶层中,这一点最为重要。 AI 数据验证 和 企业 LLM 培训数据 如何适用于具体的交付模式,以及 多语种 LLM 培训数据质量 用于控制同一控制如何在语言之间运行。