从本地语言到全球AI模式

开始一句话。一个60多岁的女性,在孟加拉国东北部的锡尔赫特外的厨房里,被问到她会如何告诉别人最近的药房。她在锡尔赫蒂语中回答,她一生讲的语言,大约在8秒内,中间有一个小笑声,因为问题很奇怪。

片段是8秒的片段 片段是... AI 培训数据实际上已经开始,值得怀疑的是,为什么它不能来自其他地方。

希尔赫蒂大概有 11 孟加拉东北部、印度巴拉克河谷和印度海外侨民社区 UK,则 US 语言学家认为它属于次要的、政治上不被承认的和研究不足的,尽管相互知性有限,但被广泛视为孟加拉语的一种方言,阻碍了记录和保护它的努力。 AI 区域品种再次进一步减少——比较时更深入地涵盖了这一模式。 AI培训中使用的高资源语言和低资源语言.

现有内容的规模很容易说明,一个出版的并行体,包括Sylheti、Chittagonian和Barisali,每方言约1,500个字、130个条款和980句,后来的一项研究工作将Sylheti和英文部分修改为1,500句,每句由讲母语的人翻译,并进行交叉核对。 与英语的数万兆物相比,情况是显而易见的。对于这种语言来说,互联网不是一个来源。人们就是这样。

在她被问到之前, 她已经决定了几个事情, 由她永远不会遇到的人。

有一种规格。有人确定该项目需要自发的演讲,而不是阅读句子,从一个特定年龄段的演讲者,在普通房间而不是工作室,用的是人们实际拥有的电话,覆盖方向、健康和金钱等日常话题。

她通过工作委员会而不是通过工作委员会找到和筛选,对于这种语言,通过当地网络、社区组织和已经在该区域的交付小组,向捐助者提供这种服务,这与《公约》所述征聘办法相同。 如何为低资源语言收集语音数据她被检查过是否品种合适,因为一个区的Sylheti与另一个区的Sylheti不同。

已经正确采纳了同意,并告诉她录音将用来做什么,谁将保存,以及如何撤走。 在这方面,知情同意是指在开始录音之前而不是录音之后,发言者被告知了预期用途、数据持有人和提取程序。 能够识别发言者的语音录音在几个制度中被视为生物鉴别数据,明确知情同意是使用该数据的唯一可靠基础——在《公约》中充分规定了这一标准。 AI数据提供者应如何同意和支付她的补偿是事先商定的。

提示已经设计好了。没有限制,所以她自然地说话,而不是一个能毫不犹豫地产生阅读演讲的脚本,没有笑容,也没有让录音有用的任何特性。

只有这样,才会有任何人按下记录。这是第一次损失发生的地方。门会关上,文件夹会下降。连接会降低中速。她会切换到孟加拉语,这完全是自然的,可能或可能不符合规格。

片段现在转到一个转写, 立即项目面对的东西 从来没有出现在英语。 拼写法是选用口语的写作惯例——语言的文字,拼写和标注规则是抄录笔录的,对于许多语言,不止一种语言正在积极使用.

大约 3,000 在世界任何地区人权和基本自由遭受侵犯的问题 7,000-plus语言有一个既定的书写系统,这意味着很多语言主要是口头的: 语音,几乎排除写作,已经携带了知识. Sylheti坐在这里一个不寻常的位置,它有自己的历史脚本Sylheti Nagri,可以追溯到几个世纪,它也用东那加里语写作,偶尔用拉丁字母写作. 三个选项,不同的社区倾向于不同的,没有单一的官方标准.

因此,在打出一个单词之前,项目必须决定它使用的是哪种常规,记录这个决定,并一致地应用它。 错误地理解这个错误,数据集制造了它自己的不一致之处:两个转写器拼写同一个词,两个词都不同,两个词都正确,模型学习噪音。

那么普通的判断呼叫就来了, 软件无法做出。 笑是不是被标记了? 假的开始是被转写还是被清理了? 当她换到孟加拉语三个字时, 被标记为密码切换还是默默的正常化? 代码切换是指一个演讲者在同一语句中在两种语言或品种之间移动,一个项目必须事先决定是标记还是使其正常化 —— 涉及的选择包括在 如何收集混合语言的语音和文本区域读音是作为标准形式还是按照她说的写?

每一个问题都是模型将学到什么。 在运行良好的项目中,答案是事先写下来的,困难案件会交给一位资深演讲人,而不是由十种不同的转录器单独解决。

记录稿现在去检讨,同种不同的演讲者会听音频并读读文本,有趣的部分是他们正在寻找的东西.

自动检查已经运行并获得通过。 文件是合适的长度、 正确的格式、 正确的样本率, 而不是重复的, 而不是沉默的。 没有任何文件告诉任何人记录是否正确 。

评论员正在检查只有演讲者才能听到的东西:一个词是否被正确听到,区域表是否被保留下来或被平整成标准孟加拉语,代码交换器是否按照准则处理,演讲者是否实际上来自她所招募的地区。 该领域的出版作品正是使用这个模式。 在前面提到的Sylheti基准中,翻译由讲母语的人制作,经过交叉验证,两名讲西班牙语的人在平均得分减少个人差异之前,独立地得分,这是在2001年讨论的共识评分。 黄金套、审计抽样和共识.

转录人和复录人有不同意见时,案件移送裁判,裁定书有正当理由记录在案. 判罚是高级审查员解决转写员和审查员之间的分歧,记录推理,以便裁决可以重复使用的步骤. 最后的细节是将一个改进的项目与一个重复的项目区分开来:裁决回溯到准则中,所以接下来的一百个转写者继承答案而不是重新定义答案.

我们的8秒剪辑就活了下来。很多没有。在记录失败、规格错配、同意差和审查失败之间,记录的每件事情中有意义的一部分从未达到数据集。这种减员是正常的,为它编制预算是交付项目和超支项目之间的区别。

到了我们包装的时候,它携带了音频本身,其技术属性被记录下来,经过核实的笔录被记录在了有记录的正字形中.

其还载有扬声器元数据:年龄波段,性别,区域和语言多样性,因此数据集可以在稍后进行平衡和审计. 记录条件也被记录:设备类型,环境,背景噪音级别. 同意记录将剪辑与有文件证明的许可和赔偿记录联系起来,其质量记录显示是谁转录的,谁审查的,是否裁定的,以及依据什么理由。

这包是使剪辑成为资产而不是负债的。 证明是将培训数据与同意、收集条件和回顾历史联系起来的有文件记载的链条培训数据购买者必须日益证明,而不仅仅是证明质量,没有文件记录的同意链的数据集无论音频有多好都会带来风险。 之后要重建任何数据几乎是不可能的,这就是为什么必须在工程进行时加以记录的原因。

这也是让数据集在以后被切开的原因。 当一个地区的老演讲者模型表现不佳时,人们可以发现,因为元数据使得问题答案可以回答。

在像希尔赫特这样的地方建立可靠地建立这种机构,是一个实际建议,而不是软件。 它需要地面上的人,受过训练、筛选和装备。 Lifewood从2021年起在孟加拉国建立了语音AI数据操作和额外的枢纽,原因正是因为:收集和核实区域语言的语音工作不能从其他地方远程运行,它坐落在更广泛的范围内. 多种语文数据收集 公司通过服务中心运作。

我们的剪辑现在加入了几百小时的类似录音并进入训练。光是它就改变不了任何可测量的东西。它与其他的剪辑一起,就做了三件事:它教声学规律——在这个时代,这些元音如何通过电话发出声音,一个风扇在播放; 它有助于模型对语言如何组合的感觉,包括标准孟加拉语数据永远不会提供的构造;它分量地转移了标语器将什么视为普通,这影响了语言如何有效地处理模型的生命.

两种因素决定了贡献是否重要。 第一种是数量:低于每个语言的某个符号或小时阈值,一个贡献太薄,无法移动任何东西,语言最终被列出为支持,无法使用。

第二个是质量,这里的研究令人鼓舞。 多语种预训研究发现,精密过滤的蝎子可以比对一小部分的标志物的基线性能,这意味着一个较小的,经过仔细核实的集合物可以比一个更大的粗心的集合物好。 对于一个每个小时都花费昂贵生产的语言,这是整个管道中最重要的经济事实.

这也是人类努力变得隐形的点。 使用完成的模型的人不会看到同意表、裁决说明或捕捉到平坦的区域元音的审查者。 作品消失在权重中。

两年后,另一个地区的女性在Sylheti的电话上询问一位医疗服务助理,她在哪里找到一家开着的药店。它回答问题。它不要求她重复自己,不带她去孟加拉,也不完全听错一个地区的话。

她不知道一个陌生人在厨房里呆了八秒, 成功看起来就是这样: 完全无法辨别, 从用户的角度来看。

值得精确地说明是什么使这个模式成为可能,因为很容易归属于模型。 建筑可能在国际上开放和共享。 计算法被租用了。 两者都不是限制。

限制在于有人去了Sylhet地区,找到了演讲者,获得了同意,选择了一种矫正图,记录、转录、核实、裁定和记录,超过几千次——这是Lifewood在更大范围内开展工作的基础。 低资源语音数据 和提供商的排名 互联网络中最顶尖的多语言AI数据收集公司.

这就是旅程。它从一个人说话开始,最后是一个人被理解,整个中间部分是其他人用互联网大多忽略的语言认真工作。