简短回答： 细微调小和Wav2Vec2XLSR-53 说到南非话...200 切除每个模型的平均值差值率很大,与重音有关的差异上升。平均误差下降和差异上升是一个真实和可重复的结果,这就是为什么目标衡量尺度应该是重音之间的差值,而不是整个重音之间的差值。对于比例:变压器 ASR 大约达到 3.0–5.0% WER 讲清英语,而重音的语音通常要高2到4倍。
核心要点
- 精细微调Whisper小调和AfriSpeech-200上的Wav2Vec2-XLSR-53,大大降低了所有型号的平均值字误差率,但与重音相关的性能差距往往会因各口音的增益不均而增加.
- 变形器ASR在干净的本土英语上实现了约3.0至5.0%的字错误率;重音通常会使错误率提高2至4倍.
- 错误可追溯到L1的prosody和元音目录,系统替代如/θ/到/t/,/v/和/w/混淆,元音长度差异和语音发声时间班.
- 自动语音的性能一直比读音的性能更差,这意味着最容易收集的数据会掩盖实际问题.
- 记录一个发言者的第一语言而不是宽重音标签是必要的,因为一个重音标签可以崩溃几个有不同系统替代的第一语言.
如何收集 受激励和非本国 发言为强声AI?
仅靠更突出的数据并不能消除语音识别中的重音偏差;2026年的一项研究说明了原因。
字错误率( WER) 自动语音识别的标准精确度测量标准,计算将记录稿转换成正确文本所需的替换、插入和删除。研究人员在AfriSpeech-200上微调了Whisper小写和Wav2Vec2-XLSR-53,使用两种适应策略,涵盖英语的约鲁巴语、伊格博语、斯瓦希里语和豪萨语口音。 这两种方法都大大降低了所有模型的平均值错误率。 大多数项目都会报告为成功。
然后,他们审视了口音之间的差距。 与重音有关的绩效差距 ——系统内最优和最差口音的误差率差异,在一般和临床子集中分别分析,差距往往增加,因为不同口音的增益不均.
平均误差。 差错。 这是应该进行形状收集设计, 因为目标不是更重重的。 它是平衡的重音数据, 以每重音量为标准, 公平性作为与准确性分开的衡量标准跟踪 。 管理多语种数据收集 用于任何代表不足的语言或口音组。
百分点业绩差距有多大 ASR?
差距很大,有详细记载,而且由于绝对准确性提高,尚未弥合。
当前变压器 ASR 模型在干净的本地英语基准上实现了大约3.0%至5.0%的字错误率。 发音通常会使错误率提高2到4倍。 差异在多个轴上都有记录 。
原生与非原生:Graham and Roll在JASA Express Letters中2024年对Whisper的评价发现原生口音总体上优于非原生口音,美语和加拿大语的准确度高于英语和澳大利亚语的准确度——因此这不仅仅是原生与留声的分化,因为两个原生品种也分离了.
单一语言组:2025年的一项临床研究报告称,在德国境外出生的讲者误差率较高,这是同一国家同一种语言讲者之间重音不平等的现象。
种族差异:被广泛引用的2020年PNAS作品发现,主要的商用ASR系统,与白人发言者相比,非洲裔美国人的误差率几乎是美国的两倍.
在目前的模型中:npj数字医学2026年临床研究发现,Whisper和WhisperX对非本地语者的表现都严重恶化,Whisper的影响更大. 2020年以来绝对错误率大幅下降;问题形状没有改变. 最近一篇评论的诚实总结:改善是真实的,而平等却不在这里。 对于团队将认知建设成必须跨口音的产品, 低资源语音数据收集 小型时,面临同样的测量问题。
何因在提示演讲上出现 ASR 错误 ?
原因很具体,了解这些原因会改变收集方案应优先注意的事项。
L1 ——演说者第一语言或本土语言——决定他们中和的英语音区分,以及他们所承载的节奏规律,格雷厄姆和罗尔将错误直接链接到演说者的L1亲音和元音系统. 临床文献将典型的L2现象命名为: /θ/到/t/替代,/v/和/w/混淆,元音长度差异,语音发端时间变化。这些是系统性的,而不是随机的,这意味着它们可以学习,这意味着有针对性的数据帮助。
语音类型是最适合收藏设计,而且最经常被忽略的。 自发语音 ——无文字,自然对话 — — 比阅读演说,格雷厄姆和罗尔以及随后的作品都证实了这一点。 这产生了一种不适的暗示:最容易收集的重音语音是阅读演说,阅读演说是差异最小的条件。 优化吞吐量的方案将收集问题未得到充分反映的材料,进一步概述于 语音数据收集方案的实际运行情况.
关于多浓度研究体的研究发现,无论识别器具有何种基本的词汇知识,其识别器都无法识别出不寻常的电话序列和重音转换,在具体域的词汇、重音混合和语音率变化方面尤其困难。 一个实用的提示值得传递给任何设计提示或指示的人:说慢语和过度通融的共同建议往往使结果恶化,因为它使发言者更远离了该模式所训练的自然语音模式。
已经存在什么激励性演讲Corpora?
现有的公共公司虽然有用,但规模很小,有一个公司展示了值得复制的元数据计划.
L2-ARCTIC包含24个非本地英语的讲音者,分布在6个口音之间,其中第一语言包括阿拉伯语,汉语,印地语,韩语,西班牙语和越南语,每口音有4个讲音者——使用最广泛的基准,而一个小的. AccentDB覆盖印度英语口音,母语包括孟加拉语,马来亚拉姆语,奥迪亚语和泰卢固语,总长度只有9小时.
电话 NPTEL-衍生物是尺度的外值: 8,740 从发言小时 332 超过1 000名印度语的讲者 20 真正有用的是元数据:每个文件附有演讲者的教学经验、性别、种姓和土著区域,加上演讲率、学科和专题。 L1 完全无法分析百分率的性能,没有语音率和域位,就不可能将重音效应和错音区分开来.
AfriSpeech-200, EdAcc(Edinburgh International Accents of English Corpus,明确被设定为致力于使英语ASR民主化)和Speech Accent Archive 环绕常用的套装,同时不断增长的体型包括: 用于训练更好的 LLMS 的多语言文本数据 面临平行的覆盖面差距。
您应该如何设计收藏来减少差异?
设计平衡和失败模式,不单是量.
平衡口音,而不仅仅是音量,都很重要,因为不同口音的增益不均匀是调整非洲荷兰语研究中增加差距的机制。 一套400小时一个口音和40小时另一个口音的数据集将产生准确的这种模式,因此设定了百分率目标并报告相应的情况。
故意收集自发的语音,尽管它更难,更慢,产生更糟糕的音频,因为差异是实际存在的地方;读取90%的语音的体会会低于失败模式. 唱片L1明确,而不仅仅是"accent"——像"印度英语"这样的口音标签会崩溃的扬声器,其第一语言是孟加拉语,马来亚拉姆语,泰卢固语和奥迪亚语,这些L1产生不同的系统替代. Accent标签是一个代词;L1是因果变量.
使用 NPTEL 模型获取支持每个组分析的演讲者元数据: L1, 本地区域、 年龄、 性别以及与部署相关的任何角色或设置变量。 包含语音率变化, 将语音率变化与重音并列, 并列为一个特殊困难, 如果所有录音都来自同一调试格式, 则容易被采样。 覆盖域词汇 in-accent,因为域名特定术语与重音转换结合被确定为复合故障——用中性重音收集普通对话和域词汇,使得交叉口未经过测试. 将目标度量设定为差距,而不是平均值:如果接受标准是平均字数错误率,则项目可以在使差距更严重的同时通过它。每个组的纪律都相同。 TTS语音数据的工作室标准和扬声器的铸造 和 语音和音频注释、抄写、对号和时间戳 更广义地说。
还有什么帮助 超越更好的数据收集?
两种缓解作用在边际作用,两者都解决症状而不是声学模型本身.
微调甚至对有限数据的工作:关于多分元元的著作发现,微调微调有限数据集的Whisper,与儿童语音识别等其他专业低资源领域的调查结果一致,取得了相当大的性能改进,因此,一个适度的,目标明确的书目具有真正的价值。 后处理和偏差帮助也——npj数字医学团队建立了一个研究团队。 LLM-处理后处理管道,发现与口音有关的错误大大减少,据报告,迅速出现偏差 30.7% 改为: 43.3% 与不偏袒的解码相比,实体字错误率相对减少,对于适当的名词和技术术语而言,这种解码是相当可观的。
这两种说法的告诫是:正如一项评论所说,差异表现在系统如何听到而不是被要求理解。 后处理值得做,不能取代有代表性的培训数据,无论这些数据涵盖口音,还是代号交换的语音和文字。 收集混合语言的语音和文本.
怎么样 Lifewood 接近Acented 语音集?
英文的发音不是一个收集问题;它与第一语言一样多的问题。
Lifewood 收集跨处的语音数据 100+ 语言 通过其 40+ 跨省服务中心 30+ 国家,而重音英语是比较常见的简讯之一. "cented English"的简讯同样没有用同样的方式对"Kikuyu"的简讯进行描述:有用的版本命名L1s,因为L1决定了替代,因此模型需要学习什么. 收集Yoruba-acented和Hausa-acented英文是不同的项目,尽管两者都是尼日利亚英语,这是在以下两个方面更深入的区别: 全球顶级多语言AI数据收集公司 以及他们如何将这种工作范围扩大。
演讲者生活和工作的地方必须收集自发的重音讲话。 阅读演讲几乎可以在任何地方用电话和脚本收集;以特定口音、自然的演讲率、现实的条件、有域名词汇的自发演讲要求在那里的人进行真正的对话。 这是证据所说的最重要的收集类型,它不能远程运行。