如何收集混合语言的语音和文字

问达卡的某人,他们的一天过得如何,你可能会得到一个句子,这句话从孟加拉语开始,中间带一个英文名词短语,最后用一个孟加拉语动词结束。 在谈话中没有人会注意到,这不是两种语言轮流使用,而是一种说法方式。 使用语言数据、语言边界误差率高达30%至50%, 标语器会发出未知的标记, 以及切换点的实时流滞。 世界上很大一部分人实际上如何说话, 和大多数系统能够处理的 两者之间的差距 是密码交换的数据收集作为一个学科存在, 而且它是一个很难收集到的东西, 因为与记录有关的原因 更多与你写下来的东西有关。

代码切换 (有时在语音文献中称为代码混合)是在同一语句或话语中使用来自多个语言的元素. 操作上重要的区别在于开关发生的地方,因为每种类型都打破了管道的不同部分.

间接性切换发生在句子之间——一个句子在马来语,另一个句子在英语中——是最简单的案例;一些管道处理得令人接受. 内感切换 在一个单语句中发生。这是实践中常见的情况,也是打破标准架构的:第一代系统将语言分类器运行在整个语句上,指定了一种语言标签,并被引导到一个单一语言模式,一旦一个语言包含两种语言,一个标签必须获胜,则该模式就完全失败。 插入切换将单词或短句从一种语言嵌入到另一种语言的矩阵中,是极为常见的,但容易误贴成噪音或口音动脉. 内词切换 语言的英文根部带有一个班图语的字母, 模糊了音素和词汇的界限, 因此这个词不能被干净地分配给任何一种语言。

如果收集规格不能区分这四种类型,那么所产生的数据集将包含所有标记不一致的数据集,这教导模型很少.

出版的资源和基准中很大一部分涉及普通话-英语、印地语-英语和阿拉伯语-英语,还有少量 低资源对数 包括弗里斯兰-荷兰语和马来语等. Scale甚至对于资源丰富的对子来说也是谦虚的: ASRU 2019 普通话-英语挑战发布500小时仅限普通话音频,200小时内发音密码开关音频,40小时开发数据. CS-Dialogue,一个较新的实体,包含104小时自发的普通话-英语对话. 对于南非语言,从肥皂剧音频中抽取的一个经常引用的教案提供了14.3个小时,跨越英语、isiZulu、isiXhosa、Setswana和Sesotho——14个小时,用于5种语言,这是地球上最密码化的语言环境之一。

文献直接讲述了为什么:现实世界代码交换是数据稀缺的,因为注释corpora仍然很少,而且收集起来也非常昂贵,一个具体的原因很容易错过——代码交换主要是一种口语的,非文学的现象,所以刮掉文本不会产生. 书面记录不完全代表它所居住的登记册,这意味着对于大多数语言来说,这种数据不存在,必须制作。

阅读演讲不会产生自然的代码切换——将双语演讲者手拿一个脚本,他们读了脚本. ASRU 挑战数据是通过智能手机在静室收集的,发言者来自 30 省,它能产生干净的音频和受控制的条件,但能限制自发性。自发的对话能产生真正的切换和更硬的音频: CS-对话体是作为自发对话而建立,并附有完整的文字记录,南非广播体使用广播材料恰恰是因为剧本引领不会产生这种现象,大多数节目所接触的切实解决办法是按主题进行的对话——让参与者讨论而不是句子来阅读,让转换自然发生。

发言人人口统计需要谨慎的传播, 以他们同样的方式 重音和非本地语音集ASRU的数据报告,30个省的发言者,70%在30岁以下,没有明显的性别不平衡——值得注意的是,这是一个局限性而不是模式,因为不同年龄、教育和社会环境的转换模式差别很大。 记录条件应该与部署相符:如果产品在吵闹的环境中在手机上运行,可控录音室音频就会产生一种只工作在录音室的模型. 域覆盖也比单语集更重要,因为切换行为依赖域——技术词汇触发一些社区切换,而日常对话并不如此.

核心要求是文字层次的语言标记. MUSCAT基准团队在进行多语言科学对话时,指示注释者在每次发生代码切换时,都要标记属于嵌入语言的所有单词——最低可行的常规不仅仅是说到的,而是每个符号属于哪一种语言. 没有它,一个记录片就是一个单一语言的模型会错误读取,一个代码切换模型无法学习切换点.

还需要预先确定几项决定。 嵌入式语言的脚本选择:当一个印地语者使用英语单词时,它是用拉丁文写成还是用文译成德瓦纳加里? 两种公约都存在,并且将两者混合在一个语体内是失败模式。 词中处理:对于带有班图语fix的英语根,是标为一种语言的单词,两者兼有,或单独分类——没有默认的答案,注释指南必须说明一个. 命名实体和借词:一个作为借词输入矩阵语言的单词不是一个代码交换,而线条位于一个既定的借词和一个真切换之间需要一个有文件记载的规则,有实例或两个注释者会用不同的方式绘制. 语言对称化 与谁在何时发言这一单独问题一起,回答使用哪种语言的问题是一个独特的层次,是范围界定中最常被遗忘的层次; DISPLACE 挑战将它视为其本身的注释任务,与 语音分化工作 更广义地说。 南非教案的从业人员使用ELAN对单一语言和混合语言部分进行人工说明,收集每种语言的时间统计以核实代表性——知道密码转换教案内每种语言存在多少小时不同于了解总时数,只有第一个教案告诉你是否可以使用平衡。

孟加拉语的流利但英语不流利的语句会错写英语部分。 一种流利但不熟悉本地混合模式的流利语句会使切换正常化,用一种语言写出扬声器“意义”而不是他们用两种语言实际说的话。 MUSCAT团队打击了与此相关的版本:无法找到既能语言流利又熟悉技术科学论述的外部注释员,他们使用自动抄录作为第一通行证,并且让原演讲者修正自己的录音,保证语言和域的准确性. 这种具体做法并不普遍地涉及每个项目,但基本原则确实如此——核查层需要与发言者语言相同的人,而不仅仅是两个语言各自具备的能力。

这也是一个原因 管理多语种数据收集 方案预算中分别编列了代码交换语言对,而不是将其折叠成标准的单一语言范围。 Lifewood 运行收藏通过 40+ 跨省服务中心 30+ 而在地区内存在是要求而不是偏好。 邦格拉-英语在达卡,马来-英语在吉隆坡,斯瓦希里-英语在内罗毕:每个地方都有自己的切换点,有自己的固定借款,以及自己对混合物的自然而不是性能的感觉。 从同一社区征聘土著贡献者 这里具体是指核查是指来自该社区的第二位发言者,而不是来自其他地方的双语审查员,而这正是支持核查的同一原则。 运行语音数据收集程序 更广义地说。

级联方法 — — 分类,然后是路由 — — 增加了复合性,并切换中节切词。 端到端多语言架构现在在本地处理内感开关,而无需LID路由管理,据报道,在语言边界上,字数错误率会降低高达55%。 框架级语言识别, 运行在 10 至 25 毫秒的声学切片上, 而不是整个语音上, 直接解决一个标签- must- win 的问题。 收集的含意是, 仅标注在语音级别上的数据的价值低于它; 词级和帧相匹配的标签已成为有用的格式 。

由单一语言的文字记录产生的合成密码交换数据正被用来补充真实数据,最近的工作框架明确以此为手段减少对昂贵的实时世界收集的依赖。 警告与这个领域的其他任何地方相同:合成切换反映了谁设计生成过程的切换模式,而不是社区的规律,所以即使它补充培训的地方也需要真正的数据作为评价的主锚. 还有一个值得注意的测量变化——标准字误差率平均是整个语句的性能,它淡化了实际重要的事物. 专门为这一问题提出的点点差错率,测量开关点本身的准确性,因此,在假设可接受的集合WER表示可接受的开关点性能之前,项目委托编码切换数据应询问评价将使用何种度量.

• 语言对称和方向——印地语-马特里语配音与英语插入的动作与反面不同.
• 范围上的转换类型,明确包括是否包括词内的情况以及如何标记。
• 以利法,以及自发性或音频质量在两种冲突时优先.
• 议长人口统计,年龄和设定的分布是具体而非假设的,因为两者的转换行为都大不相同。
• 完全转写常规,有工作实例:字级语言标记,嵌入语言的脚本,词内规则,借边,和对位化层.
• 每个人的语言持续时间指标在诉讼官署, 不只是总的时数。
• 评估的尺度,所以收集是最佳的,如果这很重要的话,用于切换点的性能。
• 语言语言者与语言者来自同一社区的验证,而不仅仅是双语审查。

正确理解会议,而一个适度的体格是有用的。 错误理解它,一个大体格是四种注释风格的混合,没有模型能够从中学习一致的规则。