TTS语音数据的工作室标准和发言人制作

在研究这个题目时发现的最好的一句话是生产要求,而不是技术规格:"第1和第40场会议需要声学和表演上不可分",这就是整个学科. 文本对语音的开发需要记录在相同条件下的时数, 并且同样来源也明确说明了原因: 众包录音和自导自演的家庭工作室会话引入了房间声学差异,麦克风位置,声热和表演记录,模型与预期的语音特征一起学习了这种差异. 你的不一致性成为语音的一部分——这就是TTS收集与几乎每一种其他语音数据工作之间的区别.

旧问题很简单:你有多少小时的单语音频?标准答案是大约24小时的LJSpeech式读音,它产生了一个模型,从一位从业者的判断中可以接受但平坦。那个时代已经结束,其原因是建筑。 现代系统一次对许多发言者进行一个模式的培训,每个发言者被概括为 扬声器嵌入 ——一个长几百个数字的矢量,它捕捉到一个声音本身,与它所讲的语言内容分开。这个点击的设定:模型是仪器,嵌入体告诉它该是哪个人,或者,如一个来源所言,一个磁带档案和一个有天赋的印象家的区别。 存档只能重播所记录的内容;印象派拥有一个声道和无限数量的身份,因为身份证明是问题的小部分.

商业上,有两个后果。一个声音可以说出其演员从未学过的语言,因为语言和身份都生活在模型的不同部分。 声音可以混合,因为任何两种嵌入物之间的某个地方坐落着一个从未存在过的第三个声音。

那么,你到底需要多少音频?这完全取决于方法, 出版范围很广。 零镜头克隆 ——从一个非常短的参考片段产生新的声音,没有专门的微调——从几秒钟的音频工作,在强大的多语种基模型上进行微调一般需要1-5小时. Flagship预设的声音仍然使用20-40个工作室小时,值得引用的理由:数据中的每一漏洞都成为语音的一个漏洞. 数据供应商在100至300小时或以上时引用广覆盖基础模型,实际理解是,时间问题现在在建筑问题的下游——在询问记录多少之前询问正在培训什么。 低资源语言 发言人人数较少,缩小了哪些方法是现实的,因此,应该期望这个问题更加重要。

背景噪音是最清楚的例子:对ASR来说,是训练信号,教模型应付真实情况。对于TTS来说,模型会复制是污染。TTS还需要文本和相应的语音录音,与不同演讲者和演讲风格的多样和有代表性的样本保持一致。 带有近似记录的ASR程序可以识别,而不能用于综合。 对有语音档案的任何人来说,其实际含义是它可能不是一个TTS数据集,而是把它当作一个能了解录音问题而不是演讲者问题的声音。

格式是WAV,无损失。推理是,压缩格式如MP3的带状细微的融合,暂停和情绪语气,报告的结果是机器人或较少的表达输出。 样本率是48 kHz, 被描述为TTS数据集的公认标准,认为它能捕捉人类语音的全部频谱,并留下处理后的头室。 这里值得注意,因为公布的corpora各不相同: LibrittS-R, 一种广泛使用的多语言英语体,大约585小时,是24 kHz。 因此48kHz是新委托收集的目标,而不是TTS数据的普世属性,将委托音频与现有的corpora合并通常意味着重新复制某种东西.

元数据与音频一起发送,一般作为JSON侧车. 出版的节目计划值得全文复制:演讲者简介(年龄、性别、口音、声频范围)、会话元数据(录制会话日期)、信号链(使用的麦克风和预标链)、房间声波简介、语句和词级的时间对齐的抄录以及语音说明。 信号链和房间配置是最常省略的条目,而那些使数据集可以复制的条目——如果第四十场需要匹配第一场,就必须有关于实际是哪一场的的记录.

在哪里,我们在哪里 电话覆盖 ——在足够适合对每种语言进行可靠训练的情况下,脚本包含每种语言使用的音效和音序——对要求进行了界定,在开始录音前,应当对照覆盖目标对脚本进行审查. 这也是语言特有专长变得不可谈判的地方:为孟加拉语、约鲁巴语或越南语设计一个口语平衡的脚本需要知道语言的电话盘及其允许的序列。 从英语口语平衡的脚本翻译为英语,而不是目标语言。 值得采用的一个实际做法是:在短暂签字后5至7个工作日内交付5至10个完成小时的试点,这是合理的预期,在承诺实施全面方案之前先进行试点是最廉价的质量控制。

出版的做法是从名册上提供试音样本,这样客户就选择语音,可以使用特定的人口、口音或声优来进行投影,可以使用品牌简介。然后将人才承包到整个节目期间——一个在25小时无法使用的声音演员将项目留下未完成的声音,而不是部分数据集,因为不同的发言者不能被替换为同一身份。 制作还必须考虑到耐力,而不仅仅是语气:40个录音室小时是一个相当长的声荷,一个声音在2小时之内就非常美,一个轮胎在6小时之后就产生了一个带有可调弧度的数据集。如果目标是一个表达性合成,那么情感范围必须在投影时决定,而不是在之后推断出来,一个商业数据集被描述为: 1,000 小时数 8 语文和 43 情绪状态,来源于 150 专业语音艺术家,以情感和语气标记来表达。无论特定应用程序的状态数量如何,都是在第一场会议之前作出的铸造和脚本决定,与 对话与同意设计 指导如何更广泛地对待贡献者。

漂流 ——表演者的能量,节奏或表达在录音日之间逐渐发生,往往不被注意的变化——在每场会议开始时都要以回放的参考方式管理,因此表演者重新进入同一个收录器,而不是从记忆中接近它. 音频制作人负责监听,他们监测能量的漂移、速度和在录音日的表达,这些记录日被描述为造成合成输出中人工制品的微妙不一致。 物理设置——麦克风位置,距离,房间处理和信号链——固定和记录,而不是每场会议重新组装,交付前的结构化QA包括音频质量检查,记录和标签审查,以及对照技术规格进行验证. 还需要数字化或时间标记的录音记录与语音数据同时使用的程序可使用同一数据。 语音和音频注释 标签方面对QA的纪律。

商业文献中将拼音描述为风险,不一致和法律上的不确定性,其替代方案是明确的: 获取真实的语音演员,并明确同意使用AI培训. 一个有用的区别是将语音工作与语音数据分开——为语音工作制作的录音只用于此目的,通过专门同意的收集单独提供语音数据。 分离很重要,因为录制广告的表演者不同意模仿其声音,而将两者混为一谈是争议的最快途径。 同意应明确涵盖为AI培训目的的记录、使用和许可,这与记录的同意完全不同。

Lifewood 已运行语音 AI 数据收集工作自建立专门的语音中心以来,并跨区域开展工作 100+ 语言两种观点不论供应商如何都适用。第一,录音室一致性是一个后勤问题,而先是音频问题:在专业录音室存在的情况下,为同一房间预订、连锁和表演者6周的时间是直接的,但对Sylheti或Wolof语音来说,可能需要将会议室和表演者组装起来,而不是雇用他们。 装配是项目中晚期的部分 同样的制约 形成了更广泛的 资源不足的语言语音集第二,语音文字设计是多语种TTS项目最常少说明的地方:客户简介通常说明时间、语音特征和交付格式,很少说明语音报道。 对于一种现有平衡体的文字,即遗漏是可以存活的;对于一种没有这种实体体的文字,必须有人从电话盘点中建立覆盖目标,或者只有在合成声音发出共同构象时才发现空白。 两者都指向在预订工作室之前对语言学进行范围界定——这些节目通常如何规划的反向,以及一种横跨整个工作室的图案. 管理语音数据方案 包括涉及工作范围 重音和非母语的语音 协调的 多语种语音集 买方权衡TTS与更广泛的注释或 AI 数据服务 范围应把语音当作自己的规格,而不是一般发言简报中的一行项目。

• 架构第一:零射,微调或基础模型先决定时数要求,再决定其他任何条件.
• WAV格式,有说明的样本率——48kHz作为新采集的目标,如果与现有的公司合并,则有重新取样计划.
• 假名覆盖目标由目标语言自己的库存建立,在录制前对照其对脚本进行审查.
• 包括信号链和房间简介在内的完整的元数据计划,而不仅仅是演讲人口统计学.
• 调和和字位时间对调加上语音注释.
• 人才签约参加全程节目,参赛者可回放,指导课程可监测漂移情况.
• 如果表现合成是目标,则指定了情感范围。
• 涵盖范围的同意 AI 培训的使用明确,与任何语音交流活动分开,在全面方案之前,还要有一个5至10小时的试点。