简短回答： 语音注释标签音频,使AI模型能够从中学习,它不是一个任务,但至少是四个:抄写,对号,时间戳和非语事件注释. 每一个都有自己的规格和失败模式,在一层中错误地作出的决定——例如选择逐字记录而不是干净的抄录——使上面所建的工作失效。
核心要点
- 语音注释是四个不同的任务: 抄写,对号,时间戳和非语音事件标签,每个都产生不同的输出.
- 逐字记录保留了犹豫和修补; 干净的抄录消除了犹豫和修补; 智能的逐字记录坐落在两者之间。 选择在收集之前就设定了, 之后不能在不重新说明整个内容的情况下更改。
- 双音化指定扬声器标签转弯,并因语音重叠,单声道录音,密码切换和扬声器重入而退化;自动化工具需要人对音频进行复核.
- 时间戳分为三个颗粒级——语音、文字和电话级别,以及用一种语言为另一种语言错配时间戳训练的强迫对齐工具。
- 完整的注释说明说明在收集开始前,记录了抄写公约、演讲者标签办法、时间戳颗粒性、非言论事件清单、代码交换协议和重叠公约。
每项注释任务会产生什么?
四个不同的产出,每个产出都为不同的下游培训任务所必需。
转写、分化、时间戳和非语事件标签经常被作为单一的工作对待,并经常相互混淆,它们彼此相关但又不同,各自都有自己的失败模式和质量标准。
译名 将口语字转换成书面文字,生成文本文件或附在音频上的文本层。它是其他所有东西所基于的基础,因为无法验证数字化,而且无法为没有被先转录的字指定时间戳。
线性 回答者说:它确定发言者转动并给每个部分指定一个发言者标签——通常为发言者1、发言人2或身份已知时的指定个人——生成一个发言者属性部分的时间表,而不是一个平坦的文本文件。
时间戳 。这可以在语音级别上发生,在语音段开始和结束时记录;在单词级别上,记录每个词的确切开始和结束;或在电话级别上,记录构成每个声音的声响事件。所需的颗粒度完全取决于培训任务,在其中进一步涵盖区分。 多语种语音数据收集服务.
非言论事件注释 标记音频中所有非文字的:沉默、笑声、咳嗽、呼吸、背景噪音、音乐或无法理解的语音。当一个模型需要理解完整的音响环境时,这些标签就很重要,而不仅仅是单词。
逐字记录和干净的抄本有什么区别?
区别在于发言者制作的材料与记录稿中的内容之间有什么关系,两者都是合法的公约,它们服务于不同的模式。
这一决定是演讲注释项目中最导致的结果之一,而且常常被描述不足. 逐字记录记录了一切:犹豫,填充的暂停,如"um"和"uh",虚假的开始,重复,自我纠正和演讲中的非言论事件. 逐字记录可能会写成:“嗯,所以,实际上,送货是相当晚的。” 当模型需要学习自然语音模式、不确定的声学关联或非语调所携带的社会信号时,这个惯例是必要的。
清洁或正常的抄录可以消除犹豫和修补,将所出现的言语如编辑的散文所示:"送时相当晚",这在模型需要学习意义和语法结构而不是语音特征时是恰当的.
智能逐字记录在他们之间坐着: 犹豫不决被移除了,但措辞保留了下来,而不是被编辑成正式的散文——"所以送来相当晚",是商业会议和客户服务抄写最常用的格式.
选择错误的后果是重大的。 受过清洁记录片培训的语音识别模型学习期望干净输入,在自发的语音上表现不佳。 受过逐字记录片培训的语言模型继承了它从未打算复制的犹豫模式。 选择在收藏开始前属于规格, 详细描述于 语音数据收集方案的实际运行情况;在交货后改变它意味着重新说明整个诉讼案。
分化是什么,为什么很难?
分化是确定谁何时发言,技术上很困难,因为人类的注释者和自动化工具都与同样的边缘案例——边缘案例是多语种公司中通常而非例外的案例——斗争.
标准的自动对称化使用变声器检测,然后将声音类似同一人的片段分组。在变声器很少、条件受控、一次有一人说话的情况下,准确性是合理的。有四种情况使其退化。
- 重叠的演讲。 两人同时发言是正常的谈话,打破了大多数自动发言的分区模式,即每个分区都有一个发言者。 一个明确区分的任务明显地与区域重叠,而不是任意地将区域分配给一个发言者。
- 海峡报. 多频道录音,每名发言者都单独用麦克风进行录音,使得数字化变得相当容易,也更加准确. 单频道录音,在现场收集中更为常见,需要声学建模来将录音声分开,并用录音机记录.
- 密码交换器 在多语种演讲中,发言者可在句子内在各种语文之间移动,而经过单一语言数据培训的声学模型会错误地分配这些部分——这是在下文中审查的一种模式。 收集混合语言的语音和文本需要在这些方面流利地使用两种语言的人类注释员。
- 扬声器复入. 发言者在长时间停顿后离开谈话返回时,可能无法用自动工具正确匹配到其先前的段,特别是在较长的录音中。
自动分化是有效的第一通道,而不是一个完整的解决方案。 议长的任务应由听音响的注释员核查,而注释员之间的分歧是一个值得跟踪的信号,正如在《评论》中所讨论的那样。 通知人之间的协议措施.
时间戳用来做什么?
时间戳列车强制对齐模型,字幕生成器,以及任何应用中口头语和时间之间的关系是训练信号本身.
Utterance-level时间戳记录每个语音段开始和结束的时间,Word-level时间戳记录每个单个单词的开始和结束时间,这是实时字幕和词-错误率计算所需的,Phoneme-level时间戳服务于声学建模和文本对语音培训.
强制校正工具通过将记录稿映射到使用电话me模型的音频中,自动生成文字级别时间戳,但它们是语言特有的。将英语训练的校正符应用到低资源语言中,会产生错误的时间戳,向任何受过结果培训的模型传播——一个原因的语音集合 低资源语言 依靠本土语言模型或人工验证,而不是单一的现成对齐器.
为什么对多语种AI来说,这个问题是什么,一个分类应该包括什么?
这一点很重要,因为英文标准化的注解决定微不足道,而其他许多语文确实存在争议,在收集开始之前不能解决的字典则制造了规模上的不一致。
三个问题又重现。
- 笔录开始前的整形决定. 有些语言有不止一个书写系统或相互竞争的拼写惯例。 不承诺一个语言的语句会产生一个分体,即不同注释者对同一个词的拼写不同,模型学习噪音。
- 密码交换标签。 当一个演讲者从印地语到英语的中句时,需要事先决定抄写惯例、语言识别标签和对号标签。 把这些内容留给个别注释者,会产生不一致。 语言识别标签和对号标签的标语必须被删除。
- 非言论事件清单。 标记的一组事件应该明确列出. 标记非言论事件的开放式指令产生两个注释器的非常不同的数据集,因为一个可能标记呼吸,另一个可能不标记呼吸.
可行的注释说明至少说明:抄写公约;演讲者标签办法;时间戳颗粒度;非语音事件清单;代码交换处理;无法理解的分块协议;如何处理重叠的语音。 为文字对语音制作的语音数据集载有一层额外的铸造和工作室要求,涵盖在以下几方面: TTS语音数据的工作室标准和扬声器的铸造.
Lifewood语音收集方案是按这种特殊性制定的,由经过培训的讲母语者进行语言收集、抄录和审查,他们从事有文件记载的计划,这是更广泛的计划的一部分。 多种语文数据收集 跨度能力 50+ 下游效应是数据集,其组成可以审计,这也是企业买主也评价供应商的原因之一。 低资源语音数据 能力在承诺体积之前。