简短回答： 多种语言的LLM培训数据由三种供应商提供——大型一般注释供应商、专业语言数据公司和有市场交付中心的管理下的多语言供应商——并且通过四种机制而不是任何单一的检查来确保质量:收集前设计的覆盖面(语言、方言、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、域、 人口统计,有分层分类的,当地语言制作和审查市场中,按语言而不是按总数衡量的机会校正协议,以及按项目记录的来源和同意。 综合质量数字是弱多语言公司隐藏其弱点的主要方法:一个以英语为主的平均数对你的模型实际上会失败的语言没有任何说明。
基金会模式越来越多地被看做是支持最差的语言,而不是最好的语言。 这正是投诉的来源,监管者看的地方,以及有效模式和让所有者难堪的模式之间的差距最大。 这些语言背后的数据通常是最薄的元件部分和最不经过审查的采购部分。
该指南涵盖哪些内容使多语种实体良好、如何实际核实质量以及供应商应提供哪些要求。
核心要点
- 多语种培训数据来自大型一般注释销售商、专业语言数据公司和在市场上提供中心的多语种供应商。
- 5种失败模式驱动最糟糕的多语言corpora: 翻译英语,方言和注册崩溃,域名skew,脚本和标语化盲点,以及汇总质量报告.
- 质量必须按语言进行衡量——科恩的kappa或克里彭多夫的α用于判断任务,字错误率用于抄写,因为一个全球平均值隐藏了实际会失败的语言.
- 覆盖是收集开始前作出的设计决定,涉及四个轴心:语言、一种语言内的品种、域和讲者人口统计。
- 证明、同意、许可证和污染控制是LLM数据的采购门,而不是可选的额外数据。
为何多语种的蝎子失败?
5种失败模式占了大部分,没有任何一种是异国情调——所有模式都便宜地防止,训练后修复费用也很高。
翻译英语. 由机器翻译的英语数据所构建的体裁将英语话语结构,英语文化假设和英语形的问题都包含在每种语言中,为此而培训的模型用另一种语言回答英语问题,它速度快,价格低廉,并且能产生出当地人立即发现的流利但外语的品质。
拨号与登记崩溃。 “阿拉伯语”并非一种类型,完全由现代标准阿拉伯语构建的体裁在大多数用户实际写作的口语形式上都会失败。 同样的,中国地区品种、美洲西班牙语以及任何形式上或非正式上分化广泛的语言都一样。
域名 skew. 星洲网. 网络拼贴多语言数据过多地呈现新闻、百科全书和论坛文本。如果您的模型服务于医疗保健、金融或工业支持,那么它所需要的词汇是容易拼贴尾巴中最不存在的词汇。
脚本和标志性盲点。 语言具有丰富的形态学,非拉丁文字,或者没有白空间字边界,每个意义单位消耗更多的符号,并且对正常化错误更敏感。 以英语构建和测试的管道会默默地操控其中一些符号。 语言中,语言中包含的语句是“语言 ” 。
质量报告汇总。 隐藏其他四种模式的失败模式。 报告40种语言质量97%的主体可以包含60%的语言, 并且直到用户看到, 才会看到。 共享模式中选择供应商的读物包含在 9 AI注释服务的选择标准.
在收集数据之前,应如何设计覆盖范围?
覆盖是收集开始前作出的设计决定,而不是事后衡量的结果,四轴是明确决定的.
| 轴 | 具体内容 | 何必这么重要 |
|---|---|---|
| 语言 | 按商业优先等级划分,每级目标数量 | 防止长尾巴成为容易找到的东西 |
| 一种语言中的品种 | 语言、区域形式、正式和非正式登记 | 最常见的差距,以及语言层次计划中的隐形 |
| 域 域 | 模式服务的主题领域分布情况 | 网络搜索数据扭曲到新闻和百科全书文本 |
| 议长和作者人口统计 | 年龄、性别、地区、教育组合与使用情况相适应 | 确定模式为谁工作不好 |
收集过程中按语文而不是按全球计算的一种有用的检查:
Coverage ratio = Items collected in stratum ÷ Items targeted in stratum
报告 最小值 覆盖率与平均值并列。 平均值告诉你, 节目按计划进行; 最小值告诉你哪些语言或方言将失败评估。 团队将首次对此进行范围界定。 如何为地方政府管理课程建立多语种评价集 与覆盖计划同时进行,因为两者应一起设计.
四个质量机制如何运作?
四种机制相互配合,而不是相互取代:覆盖决定收集什么,市场生产决定谁生产,每种语言的协议决定是否诚实地衡量,来源决定是否能够合法使用.
1. 本地、市场生产和审查
供应商通常模糊两个区别。 本地语言 是一个从童年时期就掌握语言的人, 并且可靠地捕捉到注册, 平庸和“这里没有人会说”的错误类别—— 一个流利的演说者, 在许多任务中有用, 市场 指审查员目前每天生活和使用语言,跟踪当前使用,管理和文化参考;散居地审查员擅长许多任务,但随时间推移,所有三个都漂浮.
问每个语言的人均人数,包括位置,而不是支持语言的计算。 语言和对话数据,问每种语言的品种的涵盖范围,因为完全来自一个城市的越南能力不是越南的普通涵盖范围。
2. 按语文衡量的协议
质量数字是独立注释者之间按语言计算的机会修正协议:
Cohen's kappa = (Observed agreement − Expected agreement) ÷ (1 − Expected agreement)
科恩的卡帕(英语: 原始协议会误导不平衡的任务 — — 两个注释者可以同意95%的时间,而几乎什么也别开一分 — — 而全球平均水平则会完全隐藏你需要看到的语言。 要求使用每种语言的表格,并将只报告在总数内的任何语言视为未计量语言;更充分地处理数字的含义 说明人之间的协议:科恩的卡帕,克里彭多夫的α,以及数字的实际含义.
对于抄写工作,每语种的等值数字是字差率,而公约则明确设定:什么算作差错,数字,代码切换和适当的名词,供应商之间是不同的,没有说明公约的WER数字不能与任何东西相提并论.
3. 每种语言建造的黄金套件
黄金套 是一个正确标签项的参考集合, 以目标语言建构, 用来对照已知的正确答案检查正在进行的生产。 用英语建构并翻译的金集合不是目标语言的金集合 。 每个人需要自己的参考品,由讲母语的人建造,定期刷新,并以已知的速度投入现场工作,因此,质量是连续的而不是在分娩时衡量的。
问三个问题:谁建造黄金套装,多久刷新一次,生产工作是黄金插装的,没有黄金套装协议的供应商正在检查产出而不是测量产出。
4. 每一物品的证明、同意和许可证发放
具体来说,LLM数据是一个采购门,而不是一个优美的:
- 每一物品的来源和许可证,有权用于明确确定的而不是假定的示范培训。
- 同意收集的演讲、图像和文字资料,包括供今后使用。
- PII处理——检测,必要时进行编辑,以及可以执行和确认的删除路径.
- 污染控制——在人体内部分解,并在可能的情况下,对照公共评价组进行筛选,因此,你的基准衡量能力而不是记忆。
- 以此种标签标注的合成数据。模型生成的培训数据有合理用途和不同风险,在以下条目中涵盖更深入: 训练安全吗? AI 模型打开 AI-生成的数据 ? ——这种混合起来而不加标签的物剂使得这些风险无法管理.
如何在训练前评估一个尸体?
5项检查都进行这项评估,在投入量之前,所有检查都可在样本上进行。
- 由没有参与制作的母语人所阅读的每个语言样本。 问一个简单的判断:当地有才能的作家会制作吗?
- 翻译检测。 样本和请审查人员猜出源语言。 如果可以, 程序是翻译而不是本地语言 。
- 与设计目标相对的对齐并进行记录分发,而不是与总量相对的对齐。
- 域分布与模型的预期用途相对,而不是与最容易收集的.
- 复制率和近复制率,每种语言。高复制率在资源少的语文中很常见,因为可用的原始材料很少,而且同一文本广泛流通。
在投入数量之前先用付费的飞行员来操作这些。每个优先语言,包括最难的语句,有几千个项目比任何建议都更能说明问题。
你该向供应商要求什么?
供应商应能够提供不利于上述各种机制的证据,而不只是在销售甲板上描述这一机制。
| 要求 | 所需证明材料 |
|---|---|
| 本地、市场生产 | 按语文分列的人数,地点 |
| 每种语文的质量报告 | 上季度按语言分列的Kappa或WER表 |
| 黄金套装协议 | 谁造的, 刷新卡登斯, 注射率 |
| 覆盖范围设计 | 每层最低覆盖率的分级计划 |
| 低资源来源方法 | 他们如何以他们尚未覆盖的语言招募和验证发言者,以及需要多长时间 |
| 证明和同意 | 逐项记录;示范培训许可证位置 |
| 污染控制 | 重复方法;评价设置筛选 |
| 安全和居住 | 存储和处理数据的地方; 命名的子处理器 |
红旗:一个单一的总质量数字; 语言覆盖以支持语言计算; 翻译金色套; 没有回答新低资源语言是如何来源的; “ 我们可以支持任何语言” 而不支持它, 后面没有来源方法 。 买家可以比较这些点上的多个供应商 。 顶端多语种 AI 培训数据公司 和 高级LLM培训数据公司然后从任何幸存的短名单中要求上述证据。
怎么样 Lifewood 采用多语文培训数据质量的方法?
Lifewood 通过在自有的交付中心管理的工作人员队伍而不是开放的人群来提供多语种培训数据,这是使每个语文的问责制成为可能的模式。
同样的审查人员使用的语言足够长,可以使用金牌组合和一个协议数字来表示某种意思。 100+ 语言, 40+ 跨省服务中心 30+ 国家,和 56,000+ 登记缴款人,有区域本土的注释者而不是远距离近似,以及资源匮乏的语言和区域方言的特殊性——一个体的一部分最有可能通过其他地方的翻译获得。 LLM 工作,包括: RLHF, SFT数据蒸馏和答复评价 50+ 公司成立于2002年,主要有:语言、多语种语音记录和语音标签,以及跨地域和人口阶层的现场语音收集。 200420年来,送货模式逐渐成熟, 并且,在前沿模型实验室,语音上,AI 开发者, AI 计算供应商、计算机视像供应商和自主移动程序,客户身份通过协议予以扣压。 企业 LLM 培训数据 和 多种语文数据收集.