低资源语言语音数据是如何收集的

高资源语言有几十年的广播、字幕媒体和公共公司可以借鉴,低资源语言往往没有可用的数量。 低资源语言 即收集必须取代完全的刮除。

整形术也可能不稳定:一些语言有相互竞争的拼写惯例,最近的标准化,或者主要使用口头,在选择和写入一个惯例之前,无法开始抄写——这一决定影响到下游的每一个质量度量. 隔音距离往往比高资源语言要大,因此,一种语言级别的计划可能把一种不同的东西视为一种不同的东西,一种语言上训练的模型在另一种语言上表现不佳。 代码切换在许多多语种地区,演讲者将语言混为一谈是正常的,而不是例外的,而且排除了人们实际说话方式的一套。 造成所有这些情况的一个根本问题是征聘问题:一个小组目前没有用某种语言找到、核实、留住和公平支付发言者薪酬的是实地工作,这是决定方案是否交付的唯一最大决定因素,而当一个小组没有使用某一语言时,就更深入地涵盖这一挑战。 征聘非洲语言数据的当地撰稿人.

覆盖率是按一个层次收集的小时数除以该层次目标小时数。 不同层次的最低时数应与总数一并跟踪和报告,因为一个总时数的90%的方案仍能占市场三分之一的方言的20%。 AI培训中使用的高资源语言和低资源语言 说明为什么这一规划步骤对语言的影响越大,就越是来自这一类的高资源端。

阅读演讲,演讲者读到准备好的句子,是最便宜和最可控的选择,并且能提供干净的语音报道,但听起来不像是对话。 以利煽动的自发演讲——用演讲者自己的话来说是迅速的或场景——对翻译成本更高,更接近部署现实。 谈话,有两或两个以上的演讲者,重叠,中断和修理,最难被翻译,对于处理真正对话的任何事物来说都是必不可少的. 提示应以文化上的目标语言而不是英文翻译,因为翻译提示产生句子,当地人不会说,在由此产生的数据中,这种提示是可听的,令人尴尬的。 还应明确检查这套即时节目的语音报道,包括罕见但又很独特的声音,因为用一种没有现有公司语言的语言,没有其他东西能够显示这一差距。

校验语言的多样性,而不是仅仅语言的重要性,因为说自己会说语言的发言者可能使用与目标不同的区域多样性,而跳过短片会悄悄地腐蚀分层。 散居国外者演讲者一般都是有价值的贡献者,但他们的演讲随着时间推移——词汇、借阅和登记从市场中目前的使用方式转变——因此,在市场上也部署人员时,更倾向于在市场中招聘人员,在设计时需要每名发言者重复录音,就需规划多场会议。 以适合当地市场的价格支付公平、透明的薪金,加上发言者能够用自己的语言阅读的词汇,既符合道德要求,也符合实际要求:低薪的收集会产生匆忙的会话、退学和不返回下一个方案的演讲者集合,这一点在下文中得到了进一步发展。 如何同意数据贡献者并支付其费用.

完全接受过静室录音培训的模型在它实际运行的环境中会降解,因此,一个程序应当包括使用案例的噪音条件——街道、市场、车辆、有背景声音的家庭——以及人们在该市场上实际使用的装置,这些装置可能与项目小组使用的装置不同。 如果模型能满足,应该包括电传波段音频,因为带宽的减少并不是默认的宽带训练模型处理方式。元数据应该记录每个会话——设备、环境、演讲者层层、会话条件——因为缺失元数据是一个实体不能在以后重新平衡的原因。 有关在录音室外录制的言论的考虑,见以下表1。 收集重音和非本地语音,以发出强烈的声音 AI.

公约需要说明适用哪一种拼写标准,没有标准拼写的词会发生什么,数字和日期是用口头写成还是用数字写成,以及填充的暂停,虚假的开始和重复是如何处理的——转写,标记,或丢弃. 它应具体说明混合语言的跨度如何标注,笑语、噪音和重叠发言如何记录,以及多方音频如何标注发言者。 公约还需要一种定义的方法,让一个转写器标记无法理解的音频而不是猜测,因为一个无法说"我听不到这个"的公约会产生自信的错误的抄录——比空白更有害,因为这样它们就用发明的文本来训练模型. 多种语言音频的字号和时间戳惯例在以下章节中作了更详细的介绍: 语音和音频注释:转录、分音和加时标.

WER是按替代加插入加删除来计算,除以参考词数. 报告每个方言和每个声学条件事项,因为一个集合,语言层次的数字以最简单的层为主,隐藏了其他地方的弱性能. 衡量关于一个子集的跨译协议,即每个子集独立地进行两个转录,可以发出最早和最廉价的信号,即公约是模糊的,需要修改。 保持持续而不是只在交付时衡量质量,本地审查人员应倾听音频而不是只阅读记录,因为错误的方言、非自然读物或非母语的扬声器在页面上是无法听懂的,在录音中是显而易见的。 语音数据收集方案的实际运行情况.

同意必须涵盖记录将用于什么——包括继续和商业用途——以及保留多长时间,而只有在能够追踪到具体文件并实际执行的情况下,撤回权才是真实的。 发言者的自发发言通常都包括姓名、地址和个人细节,他不打算永久化,因此,需要将侦测和编辑工作放在管道内,而不是作为后来的清理步骤,每个文件都应保留项目出处——会议、演讲者层层、同意记录、翻译和审查员。 如果某一语言属于一个小社区或边缘化社区,公平补偿、使用透明度,以及酌情让社区自己获得由此获得的资源,是负责任地开展工作的一部分。

操作模型取决于物理足迹 40+ 跨省服务中心 30+ 国家,包括中国、菲律宾、马来西亚、印度和孟加拉国,以及非洲、欧洲和北美,支持 100+ 语言 与 56,000+ 登记缴款人。这个足迹使得市场内部的招聘和核查成为可能,而不是名义上的,这是决定计划中的方言分层是否在开始录制后才真正存在的一步。 Lifewood自创建以来就一直在运行多种语言的数据操作。 2004,在语音和语言方面,由AI开发者参与;买方为此专门评价一个合作伙伴,也应审查 多种语文数据收集 更广阔 AI 数据服务 与演讲特异性本身的结合。