简短回答： 困难在于操作,而不是语言。 多语言AI数据项目在五个实际方面有所突破:寻找没有专业人才库的语文的合格演讲者,以数量尺度保持稳定的质量,工具处理不当非拉丁文字,同意和数据居住法在每个国家都不同,同时管理许多语文的协调费用。 每个系统都可以溶解,但只有项目开始前建造基础设施——这就是为什么时间表通常通过征聘和试点迭代而不是收集来确定。
机器学习 铅标志关闭在计划上: 12 语言, 400 四个月后,每篇谈话发言的小时数,经过转录和审查,在纸上是一个项目。 12 招募活动; 12 一套准则, 12 QA 管道、若干法律制度、至少四个时区和十几种方法使同一指示被误解。
6周后,模式很熟悉,三种语言比预定时间提前,两种语言的语音都不够,一种是制作了90小时的音频,由于撰稿人读"对话"是"大声读这段",所以所有音频都必须被拒绝,法律团队刚刚发现,来自一个市场的录音不能由另一个市场的工作人员审查。
没人误解语言 每个人都低估了行动
核心要点
- 多语种数据项目通常在操作上失败,而不是语言难度:招聘,工具化,法律审查和协调比语言学成本更高.
- 对于前20名以外的大多数语言来说,没有受过培训的注释员的市场,因此,采购必须通过当地提供网络、社区组织和散居群体进行。
- 规模质量问题几乎总是追溯到模范性能下降之前,模糊的准则,而不是贡献者无动于衷,并默默地浮出水面.
- 录音可以属于特殊类别生物鉴别数据,根据以下规定。 GDPR 第 条 9,而跨境审查者访问即使存储从未移动,也可能触发传输规则.
- 当地执行的中央规格——各地相同的门槛、市场拥有的方言和征聘决定——是让方案增加语言而不增加比例协调费用的办法。
语言没有专业人才库,哪里能找到扬声器?.
并不是通过工作委员会,对于20岁以上大多数语言,必须通过当地服务网络、社区组织、学术伙伴关系和侨民社区向贡献者提供帮助。
对于英语、西班牙语或普通话来说,采购是一种采购工作。对于许多其他语言来说,它是实地工作。 世界上只有少数语言在语言学领域从事专业工作。 没有任何市场可以向人们寄送,也没有一批受过培训的注解员等待,也没有预建的数据集可以重新使用。
接下来是三个实际行动。
- 筛选的重要性大于量。 声称流利的申请人和能够制作自然、适合地区的演讲的申请人是截然不同的人口。 严肃的节目仔细筛选,并接受大多数申请人不会通过,因为收集阶段的一位不合格的撰稿人在整个管道中产生重工。
- 招聘必须在当地进行。 与地区方言的讲者接触通常意味着在该地区实际存在,或者与组织合作。 在沙巴、喀拉拉邦和埃塞俄比亚东部的招聘不是一个三次过程;而是三个不同的过程。
- 保留是能力的一部分。 以罕见的语言培训贡献者是一种投资,失去他们意味着重新开始。 公平报酬、稳定的工作和明确的进步道路不仅仅是道德承诺 — — 在业务上,他们就是团队如何保持以该语言交付的能力。
为何项目规模扩大后质量会崩溃?
因为准则中的模糊性在数量上是小的,在数量上是灾难性的。 10,000 每周的工程可以产生严重不一致的工作 100,000,而失败通常没有声响:第一批看起来棒极了,第十批却悄悄地充满了不一致,没有人注意到直到模特儿的表演几周后才受苦.
根本原因几乎总是指导性模糊而不是贡献者无心。 如果一个指令可以读得有两种方式,那么在小尺度上,两个人读得有两种方式,有人就发现了它。 在大尺度上,数百人分裂成营地,数据集最终编译出一种矛盾。
三项控制主要用于: 缩放前的飞行员 每种语文,在实际卷数开始前进行有文件记录的审查并更新准则; 每一捐助者而不是每个项目的抽样,因为审查总产出的固定百分比,使弱贡献者躲藏在强产出的批量内; 裁定而不是平均因此,高级土著发言人作出决定,并将决定写回准则。 金标准参考集 预先裁定的一小批案件,以便每个审查员的产出都能够对照已知的正确答案加以检查,正是这些判决才值得审计,而不是意见。 人文在线审查如何提高多语文数据质量.
工具的什么断层?
几乎每件都是为英语设计的。这是吃日程表的不光彩的类别。
| 何谓断裂 | 看起来像什么 |
|---|---|
| 脚本和渲染 | 右到左语言,复杂的结扎,堆叠的二极论和脚本如奥尔奇基,格泽斯或蒂菲纳格等,被注释平台处理得很差. 在一个工具中正确显示的文本在下一阶段被默默地粘贴. |
| 输入方法 | 贡献者需要能够输入语言。 标准键盘布局可能无法使用、 有争议的, 或者根本不安装在实际拥有的设备上 。 |
| 矫正不稳定 | 几个相互竞争的拼写公约和没有普遍接受的标准. 项目必须选择一个并记录下来,或者“不一致”是由准则本身制造的. |
| 实地情况 | 工作室外的语音收集是指半途失败的可变设备、背景噪音、间歇连接和上传。假设稳定连接的工作流程会丢失数据,具体发生在最需要数据的区域。 |
这一切都需要时间才能发现,如果小组之前没有遇到过,这是与已经用这些特定语言打过墙的人合作的主要论点,而这种挑战正是我们面对的挑战。 收集右到左和复杂脚本的文本数据 自己的纪律
哪些是法定义务和同意义务?
超乎大多数球队所期望的,尤其是对于演讲来说,三个领域造成的麻烦最大.
语音可以是生物鉴别数据 ——可用于识别特定扬声器的音频,在以下 GDPR 第 条 9 将它列入一个特殊类别,其法律要求比普通个人资料更为严格。 GDPR 第 条 9在美国,伊利诺伊州等州生物鉴别法通常都是可靠的法律依据。 BIPA 德克萨斯州 CUBI 符合一种制度的同意表可能不能满足另一种制度。
跨界进入算作转移。 这条船多次捕捉队伍 如果... EU 居民的音频文件是由在另一国的一位审查者打开的,访问可以构成跨界数据传输,并具有所有隐含的保障措施。光是考虑数据储存地点是不够的;你必须思考谁能看到,从何处可以看到。对于一个全球传输网络来说,这是一个设计限制,这就是为什么将工作转移到某个特定中心而不是下一个可用的中心成为业务要求的原因。
文件现在可以交付。 电话 EU AI 法案对高风险系统的数据治理义务已经从良好做法转向了合规证据。 培训数据的购买者越来越多地必须证明数据是如何生成的、由谁生成的、在何种同意下产生的。 数据集没有文件记录的同意链,无论质量如何,都是一项责任。
实际后果是,随着工作的进展,需要掌握同意、赔偿记录、贡献者身份、任务分配和质量决定,随后的重建几乎是不可能的,这里没有什么是法律咨询,而且情况因法域和数据生成方式而异。
你怎么让十几种语言步入正轨?
协调成本比语言计数增长得更快,添加一种语言不会增加一个工作单位——它会增加一个招聘流,一个审查流,一个法律检查,一套工具化的怪胎和一个通信通道,每个都可能在交付日期固定时独立出错.
多语言方案是统一必须完全相同的东西的标准化和必须本地的东西的分权。 规格、质量阈值、文件格式和同意标准应该在所有地方都一样。 语言方案必须统一,并且必须统一。 地方上应当由讲语言的人来作辨别决定、招聘办法、教学措辞和升级,他们可以打电话,而不必等待一个时区醒来。
黄金标准参考集是上述另一个基本机制:每种语言中一个小的、经过仔细判断的集,可以客观地衡量产出是否漂移,并使客户与交付团队之间的分歧可以用证据而不是意见来解决。
这也是为什么"我们支持50+语言"本身意义很小,并且已经对这些区域的人进行了核实,已经登机,工作在一个标准上,这才是实际决定一个语言是否是"一个语言". 全球多语种语音数据收集服务 能够如期交付。
第一次录音之前你应该问什么?
问题在于,伙伴是否已经核实了人、经过测试的试点过程和有文件证明的同意,而不是他们是否声称有广泛的语言覆盖面。
- 究竟是谁提供这些数据,现在在哪里? 与目标地区现有经核实的派遣国的伙伴处于不同的地位,与签字后开始招募的伙伴不同。
- 飞行员怎么了? 每种语文应各有一个,在比例尺上应有一个有文件记录的审查和准则的更新。
- 如何衡量质量,以及多久一次? 寻找每个贡献者的抽样、跟踪审查者协议、争端裁决和黄金标准参考数据集,而不是交付时引用的单一准确数字。 多种语文数据收集服务实际上包括什么? 完整清单。
- 数据将在哪里生活,谁能访问? 数据居住、审查员所在地和同意范围应一并答复,然后才收集,而不应事后重新谈判。
- 数据集有什么文件? 同意记录、贡献者人口统计、质量统计、准则版本和所作决定的书面说明。
- 由谁决定何时一个母语和自动检查有分歧? 答案应该始终是母语,并记录决定。
怎么样 Lifewood 采用多语种数据收集方法?
Lifewood 将多语种收藏视为一种分布式操作,而不是一个中心操作,因为这项工作的瓶颈很少知道一种语言——它已经在项目开始时,在正确的地点核查了人们。
40+ 跨省服务中心 30+ 国家, 100+ 语言 包括代表性不足的方言,以及 56,000+ 注册缴款人是在三个无关地区征聘人员,因此,在三个地区征聘人员是平行的,而不是连续三个。 抽样按贡献者进行,而不是按批次进行,争端由特定种类的资深演讲人进行,裁决被写回准则,这样同样的模糊性下个月就不会再次出现。 95%+ 准确率 SLA,每种语言报告。
同意记录、贡献者元数据、任务分配和质量决定都随着工作发生而不是在结束时组装而得到,工作可以被送到一个特定中心,因为该项目的居住和审查人员地点限制需要它。 Lifewood 创建于 2004 ——大部分是20年的学习时间,它打破了哪里。这是后面的操作模式。 管理企业多语种数据收集方案 财务报告和已审计财务报表 Lifewood的,因为 管理多语种数据收集 服务,它同样适用于相邻的工作,例如: 低资源语音数据收集.