简短回答： 为对话AI收集多语种语音数据,首先界定预定的对话,在所需语言品种中招聘经同意的本地或熟练的讲者,在受控和自然条件下记录现实的演讲,并使用人-在-在-在-在-在-在-的抄录和审查。 文件贡献者和限制,然后按语言,口音,噪声条件,和任务分别测试结果.
核心要点
- 多语言对话AI需要能够反映命令,问题,转机,修复,代码切换等真实互动的数据,不仅读取句子.
- 语言应在语言或种类一级加以规定,如es-MX和es-ES,而不是将西班牙语作为一个统一类别。
- 录音是敏感的个人数据,因此收集需要知情同意,最低限度的元数据,限制访问,以及定义的保留和删除规则.
- 质量和模型性能应该用语言,口音,条件来衡量,因为一个整体的准确分数可以隐藏一个重要市场的差的结果.
谈话AI系统需要什么语音数据?
一个对话AI系统需要配对足够上下文的音频,以有用:一个记录记录、语言或语言标签、记录条件,以及适当收集的同意和扬声器元数据。它可能还需要意向标签、对话转盘、实体标记、中断标记和结果标签。
语音数据 由发言者录音,并配对记录和元数据,以便模型能够学会识别、解释或生成口语。
所需配方取决于产品:
| 产品能力 | 需要优先处理的数据 |
|---|---|
| 发言对文字 | 自然语音、准确的文字记录、口音、背景噪音、设备变化 |
| 语音助理 | 命令、问题、后续请求、中断、醒字条件 |
| 客户服务机器人 | 域名词汇,数字,账户参考,修补短语,情感和快速的语音 |
| 语音翻译 | 相通源和目标的语音和文本,加上特定语言的术语 |
| 文字对语音 | 同意的录音、发音覆盖、风格和音标 |
公共数据集可以是一个有用的基线,但它们很少匹配企业的域名,声学环境,或同意要求. Mozilla的"共同之声18"发布,例如包含20,789个社区验证小时,跨越129种语言. 这是多语种规模的宝贵证据,但不能取代围绕特定产品和用户行程设计的数据(莫兹拉基金会。关于管理服务方面,见 全球多语种语音数据收集服务.
招募演讲者之前,你应该如何计划收集?
从数据规格开始,而不是从征聘目标开始,例如: 10,000 规格应确定哪些语言和品种很重要,用户将处于何种情况,模型必须理解何种语言行为,质量栏是什么,数据将用于哪些,将不用于哪些。
数据规格 即任何发言者在被录用之前确定语言、条件、行为、接受规则和允许用途的集合的书面合同。
哪些语言和品种很重要?
列出语言、国家或地区、相关时的脚本、预期重音和常见的混合模式。 比如,马来西亚英语客户支持助理可能需要英语与马来语、普通话、泰米尔语、产品名称和当地地名混合。 将所有这些作为通用英语处理会产生可预测的盲点。 收集密码切换的语音和文本指南更深入地涵盖了这一点.
用户将处于何种状况?
定义麦克风、设备、噪音水平、网络条件、发言距离,以及人们是步行、开车还是使用扬声器。 如果制作音频吵闹,但培训数据是录音室清洁的,则性能估计会过于乐观。
模型必须理解何种语言行为?
包含您产品所期望的规律: 短指令、 完整问题、 后续、 自修正、 中断、 数字、 日期、 拼写、 名称、 代码交换。 读语音比较容易收集, 但不能完全代表直播 。
质量栏是什么?
设置接受规则以进行实地工作。 例子包括最低音频质量、 可允许剪辑、 记录、 所需的元数据, 以及必须拒绝或升级剪辑时。 明确的协议会防止不同的团队在稍后应用不同的标准 。
数据将用于什么,并被排除在数据之外?
说明录音支持模式培训、测试、语音克隆、评价或研究。数据集文件也应记录限制和被禁止的用途。广泛使用的数据集框架数据表建议记录数据集的创建、组成、预期用途、维护以及法律或道德考虑(第1段)。格布鲁等人.).
如何招募演讲者来报道而不是量?
以覆盖矩阵而不是人口统计为对象进行招募,目标不是收集人口数据,而是代表系统所要服务的人和条件的数据集。
覆盖矩阵 是一个发言、语言、设备以及环境变量的表格,这些变量会影响使用大小写,用来检查每个组合是否都得到了实际代表。
包含对使用情况有重大影响的变量:
- 语言、语言、方言和口音
- 第一语言和多语言或代码交换模式
- 合法和相关的年龄段和性别代表
- 设备类型和记录环境
- 说话风格:小心、自发、快速、柔软、情绪或中断
- 领域熟悉,特别是专家词汇
大演讲者计数不会自动解析表示,因为一个数据集可以很大,同时集中在一个城市,设备类型,或语音风格上. 多语种声学建模的研究指出,有用的多样性包括独特的扬声器,录音硬件,以及录音条件,而不仅仅是录音的小时(process of audio).普通Phone 软件具体关于口音的覆盖,见 收集重音和非本地语言.
对于资源较少的语言,他们可以及早与当地社区、语言组织和本地语言审查者合作。 他们可以帮助创建文化上合适的提示,识别借来的词和区域术语,防止收集过程给语言多样性打上错误的标签。 Lifewood's 低资源语音数据 服务是围绕这种本地来源而建立的。
如何记录与真实用途相符的演讲?
使用收集模式的混合,因为每个模式都回答不同的建模需求. 脚本提示覆盖关键短语和稀有词,基于情景的演讲覆盖任务语言,自然对话覆盖对话行为,产品内选入样本捕获真实的设备和声学.
| 收藏模式 | 最适合 | 主要限制 |
|---|---|---|
| 脚本提示 | 关键词、稀有词、数字和发音指标的涵盖范围 | 自然节奏和对话行为较少 |
| 基于情景的演讲 | 客户服务请求、任务说明和域语言 | 需要谨慎的迅速设计和同意处理 |
| 自然对话 | 转动、中断、修理和密码交换 | 更难去名和注释 |
| 产品选择进入样本 | 真正的装置和声学条件 | 绝不能成为明确同意和治理的捷径 |
构建本地提示而不是将英文脚本逐字翻译。 本地审查人员应该检查该短语是否自然、文化上合适,以及人们如何实际请求任务的代表性。 他们也应该验证发音敏感材料, 如姓名、地址、价格、日期和字母字符串。
记录技术元数据并列每个片段:采样率、麦克风或设备类、记录环境、语言、即时或情景标识符、以及收集版本。这使得以后的分析成为可能,而无需披露比必要的更多个人信息。正在逐步操作视图中。 运行语音数据收集程序.
人入录抄录和注释如何用?
人文的"在野"抄写结合了自动检查和翻译,审查和判断语音的本地语言人. 自动化可以加速收集,但人们对于方言问题,重叠的语音,敏感的内容等判断调用仍然是必不可少的.
人行道(HITL) 是一个工作流程,在工作流程中,受训人员在定义的点上审查、纠正或决定机器处理的数据,这样质量就不仅仅取决于自动化。
实用的HITL工作流程
- 自动接收检查 旗下沉默,剪辑,复制文件,时间长度错误,音频损坏.
- 土著语言的转录 使用有文件记载的拼写和密码交换规则制作记录誊本。
- 独立审查 检查样本或所有高风险剪辑,视质量目标而定。
- 裁决 解决分歧、语言不清、方言问题和敏感内容。
- 反馈环 当同样的错误反复出现时,更新提示和引导。
注释准则应该定义填充器、虚假的起步、笑声、重叠、背景发言、亵渎、个人识别信息以及无法可靠听到的词语应如何处理。 没有这些规则,注释者可能个人准确,但作为一个群体不一致。
有用的质量衡量标准包括:记录协议、被搁置的被审计样本上的文字或字符错误率、按收集渠道的拒绝率和按语言的分歧率。 不仅按全球平均值,还按地方进行跟踪。 Lifewood 将这个模式应用到整个 100+ 两种独立审查语言通过 多种语文数据收集 服务,以及更广泛的讨论是在 人文- " loop " 多语种数据质量.
如何将隐私、同意和治理 纳入演讲集?
将隐私视为项目设计的一部分,而不是最后的法律审查。 语音录音可以包含个人信息,在某些情况下,也可以包含生物鉴别或其他敏感信号,因此在开始录音前必须设定同意、最小化、访问控制和删除规则。
起码:
- 明确解释记录的内容,为什么,谁可以访问,保留多长时间,以及是否可以用于培训或合成语音开发.
- 取得与目的和管辖权相适应的同意,并使退出和删除程序可行。
- 收集质量和公平分析所需的最低元数据。
- 在可能的情况下,从音频和操作标签中分离出身份和联系信息。
- 应用访问控制,加密,审计线索,供应商义务.
- 定义录音包括意外个人数据或敏感披露时会发生什么.
该 NIST 隐私框架 这是一种自愿的企业风险管理资源,用于识别和管理隐私风险。这是一个有用的起点,但小组也应获得针对具体法域的法律咨询,以了解其收集地点和预期用途。 同意和支付数据贡献者.
数据集和部署的经验如何验证?
使用独立于培训数据的评价集进行验证,这些评价集有意涵盖语言、口音、任务、装置和噪音条件等最重要的组合。不要等到模型启动时才发现缺口。
报告结果为片段,例如:
- 语言和声学环境的语音识别错误
- 按语言和代码交换条件分列的意图精确度
- 名称、数字、日期和域名的失败率和倒置率
- 人文审查优先于和未决的说明案件
- 发射后的投诉、更正或放弃率
这种方法将真正广泛的模型改进与最有代表性的语言所驱动的结果区分开来。它也给产品、数据和本地化团队一个共享的方法,来优先安排下一轮收集工作。如果您正在比较外部提供者,则排名列表列出 顶级多语种数据收集公司 是一个有用的开始短名单。
语音收集清单应包括哪些内容?
语音收集核对表应确认范围、同意、提示、质量标准、审查者和评价数据在第一次记录之前都已经确定。在开始实地工作之前,请将其作为一个门。
在开始收藏前,确认您有:
- 定义产品任务和所支持的本地化
- 建立针对发言者、条件和语言行为的覆盖矩阵
- 书面同意、保留、撤回和数据获取程序
- 本地化和审查有本地语言者参与的提示
- 设定音频、元数据、抄录和拒绝标准
- 使用同一准则版本的经过培训的注释员和审查员
- 造成分歧和升级进程
- 保留一套经同意的具有代表性的评价
- 编制数据集数据表和版本控制程序
- 部署后监测的选定分组衡量标准
强大的多语言对话AI从尊重真实用户的收集计划开始。 规模是有价值的,但具有代表性的、有文件记载的数据才是能够依赖规模的原因。