简短回答： 作为管理下的管道,而不是众包式漏斗:我们为目标模型设计提示和脚本,通过我们的交付中心招募和核实本地的演讲者,在控制条件下记录会话检查,并在交付前通过我们双层人文审查的每批次. 外地本身的审计解释了原因:松散控制的社区收藏显示,数据最重要的正是资源低的语言存在严重的质量问题。
核心要点
- 参考公司像AfriVoices -KE (略数) 3,000 小时, 4,777 讲均衡的当地人)和奈哈·沃伊斯(Naija Voices)1,800 小时)发布他们的演讲者混合和审查过程,而审计则称松散控制的社区收藏的可靠性"大为未知".
- 网络小量低廉且损失惨重:大约四分之一的百万小时人民演说书在验证时掉出,这就是为什么管理下的收藏仍然是训练级音频的路径.
- 设计完成大部分质量工作——即时集,脚本对自发比例,方言和人口配额,书面通过标准在开始录制前全部固定.
- 每批货物都经过一个双重层面的人力审查,并有独立的二等通过权拒绝,交付包括一致的记录、元数据、同意记录和审查来源。
- 规格是质量系统,演讲者供应设定时间表,自发的演讲是讲当地语言者在规模上判断自己能保持的。
市场现在对语音学有什么期望?
核查规模:过去两年的参考项目与有名的演讲者、人口平衡和有文件记录的审查相配合,共数千小时。
酒吧移动得很快,非洲佬...KE,其中一个 2026标志性收藏,目标大致 3,000 5个肯尼亚语的小时 750 脚本和脚本的小时数 2,250 自动发言小时——从 4,777 土著语使用者有意在各地区和人口分布。 1,800 马里的Bambara案从一个单一的 30- 小时收集到 612 小时——20x跳跃——在记录在记录抄录前的有一致质量控制的控制环境中. 另一端的频谱坐落着发现数据: MLCommons的无监督人民演说 集成超过100万小时的跨度 89+ 使用语言,通过浏览网络,其中涉及 736,000 几个小时后,验证工作得以进行。
脚本化的演讲 可从固定的、为语音覆盖和方便核查而建造的速报上大声读出; 自发语音 用于记录差异和速度的真实用户生产的无文字对话。管理的数据和布雷数据之间的差距是我们存在类似方案的原因:对广泛使用的多语言语音数据集进行的2025年审计发现,严重的质量问题完全集中在资源少、机构化程度低的语言中。 并指出,即使是旗舰社区驱动平台,对其原始文本和录音也没有良好的质量控制——使可靠性“大为未知”。 资源不足的语言收集 正在买买 与这一差距。
参考级的收藏看起来像什么?KE 捐款 2,250 自动发言小时, 750 脚本演讲小时 4,777 以地名命名,人口平衡的土著语言; 1,800 穿越伊格博、豪萨和约鲁巴的小时;班巴拉的面积 30 小时至 612 小时之间 2022 财务报告和已审计财务报表 2025相对而言,大致 26% 审计认为无证社区藏书的可靠性只是“未知的”,最糟糕的是,使用低资源语言。KE、Bambara和MLCommons出版物和 2025 多种语言的语音质量审计,下文引用。
现在,数量是便宜的;经过核实的时数、平衡的演讲者和记录式的审查是训练队实际购买的东西,这是我们方案所根据的规格。
收藏品在别人录制之前怎么设计?
规格主要做质量工作:模型需要什么决定提示,扬声器混合和环境——在麦克风开机前.
从模型的饮食开始,而不是语言的词典. 醒字模型,呼叫中心ASR系统和表达语音合成模型需要不同的语音:脚本的提示来进行语音报道,自发的对话来进行真实世界ASR,表达读来进行合成. 参考项目将这个编码在它们的比例上——非洲语音系统-KE的750个脚本,而2,250个自发的小时;印度的国家TTS框架将每个演讲者10个小时分为9个中性读音和1个表达式讲故事。 我们的设计阶段将每个项目决定相同的:即时集和情景, 方言覆盖(肯尼亚最近一个项目明确涵盖卡伦金语内的南迪语和基普西吉语——这是先行的方言决定)、人口配额和记录环境,从静室捕捉到模型必须经受背景噪音时的故意自然环境。 多种语文数据收集方案 更广义地说。
将检讨标准写成提示。 由于我们的双层检讨会后来判断每张录音,设计阶段也定义了"通过"的含义——如剪辑,截断,错误的方言或密码切换等不要求的可听性标准,所以检讨者应用书面标准而不是品味. 文化层也是在这里设计的:我们30种语言的文化语音综合工作告诉我们,速度、登记和仪表是语言特定审查标准,而不是通用标准,每种语言的准则都是与将适用这些标准的区域本土小组一起起草的,我们使用的方法与我们使用的方法相同。 征聘本地语言数据撰稿人 更一般的说
在记录和审查阶段会发生什么?
以会话级别检查控制捕获,然后是双路人审查,有权拒绝——最强的公共项目所描述的同一学科.
录音就像一个制作,因为它是一个。 专业的游戏本在有最佳记录的节目中可见:印度每场课前22种语言的TTS努力检查设备,必要时用重新录制的录音后审计音频,每45分钟录制一次规定休息15分钟——疲劳症被视为音频质量变量. 我们的会议通过交付中心网络进行,方式相同:经核实的本地发言者、会场一级的技术检查(级别、噪音层、抽样完整性)以及发言者仍然可用时的故障即刻标记,因为当天的重新记录需要几分钟时间,在交付后重新记录需要一个征聘周期。 同意也在这个阶段,遵循下列条款所涵盖的相同原则: 如何同意数据贡献者并支付其费用.
双重层次的人文审查 是指每个数据单位通过两次独立的检查——一次是违反书面标准的第一通行证,然后是第二次有拒绝权限的单独通行证——而不是一个审查员的判断. 每批都通过同样的两条通道审查,我们在整个数据工作中适用:根据书面标准——音频质量、迅速忠诚、发言者资格——对每一段进行第一次通行证检查,并对结果进行独立的第二次通行证审计,并有权拒绝和记录决定。 记录和元数据通过同一门:记录有错误的记录是缺陷,外地审计显示记录-自动错配恰恰是无控制的收藏衰败之处——我们也为这种失败模式所掩盖。 分号与时间标记工作25. Bambara项目自己的措辞——控制环境、在转录前的一贯质量控制——描述了同样的模式;我们运行时是固定的基础设施,而不是每个项目的脚手架。
运送的是什么船? 运行这台飞机教我们什么?
音频加上其纸质线索:记录誊本、演讲者元数据、同意记录和审查来源——以及该方案继续重新教学的三门课。
可交付文件是一个有文件记录的数据集,而不是音频文件夹。程序留下的是一个记录集,其中包含对齐的文字记录、每克的元数据(语音人口、方言、环境、设备), 同意记录 每一个声音背后——记录录音、录音用途和元数据的记录、知情协议——和审查来源:检查的内容、由谁检查、被拒绝的内容。 这套软件包让客户端的ML团队信任该程序单而不重新审计它,它反映了目前最强的公共数据集所公布的关于自己的内容。 无论目标是否是醒字模型,都适用同样的学科。 演播室播放的 TTS 语音数据.
运行它有三个教训。 首先,规格是质量系统:几乎所有在审查时被拒绝的缺陷都追溯到一个更尖锐的即时集或准则本会阻止的东西。 第二,提供发言人是时间表:寻找合格的声音,特别是针对较小语言和双语要求的声音,比录制这些声音需要更长的时间,这就是为什么在许多国家建立常设捐款网络是该方案的实际资产——我们背后的网络。 全球多语种语音数据收集服务第三,自发的演讲是节目能保持的:脚本录音很容易与其迅速对照,但自然的对话需要用母语对各种语言的每个片段进行大规模判断——确切地说,管理下的节目是用来提供什么的。
管道分四个阶段运作:具体(即时、演讲者配额、方言、环境和书面通过标准,根据模型的需要设计);征聘和核实(由母语演讲者来源并通过交付中心审查,并记录在案);记录和检查(有技术检查和同一天重新记录的有控制的讲座); 使用疲劳和噪音作为变量管理); 审查和交付(双层人审查,有权拒绝,音频随笔录、元数据和来源一起发送)。 用于注释和AIGC工作的双层学科是相同的,指向音频,因为语音数据集是数据集的首要内容。
请注意数字:上面提到的文件和组织所公布的体积和项目细节;我们自己的方案细节是我们公布的一级对我们工作方式的第一方面描述,这个领域的数据集尺度迅速移动——在引用这些图表之前对照原始来源核实当前数字。