簡短回答： 細微調小和Wav2Vec2XLSR-53 說到南非話...200 切除每個模型的平均值差值率很大,與重音有關的差異上升。平均誤差下降和差異上升是一個真實和可重複的結果,這就是爲什麼目標衡量尺度應該是重音之間的差值,而不是整個重音之間的差值。對於比例:變壓器 ASR 大約達到 3.0–5.0% WER 講清英語,而重音的語音通常要高2到4倍。
核心重點
- 精細微調Whisper小調和AfriSpeech-200上的Wav2Vec2-XLSR-53,大大降低了所有型號的平均值字誤差率,但與重音相關的性能差距往往會因各口音的增益不均而增加.
- 變形器ASR在乾淨的本土英語上實現了約3.0至5.0%的字錯誤率;重音通常會使錯誤率提高2至4倍.
- 錯誤可追溯到L1的prosody和元音目錄,系統替代如/θ/到/t/,/v/和/w/混淆,元音長度差異和語音發聲時間班.
- 自動語音的性能一直比讀音的性能更差,這意味着最容易收集的數據會掩蓋實際問題.
- 記錄一個發言者的第一語言而不是寬重音標籤是必要的,因爲一個重音標籤可以崩潰幾個有不同系統替代的第一語言.
如何收集 受激勵和非本國 發言爲強聲AI?
僅靠更突出的數據並不能消除語音識別中的重音偏差;2026年的一項研究說明了原因。
字錯誤率( WER) 自動語音識別的標準精確度測量標準,計算將記錄稿轉換成正確文本所需的替換、插入和刪除。研究人員在AfriSpeech-200上微調了Whisper小寫和Wav2Vec2-XLSR-53,使用兩種適應策略,涵蓋英語的約魯巴語、伊格博語、斯瓦希里語和豪薩語口音。 這兩種方法都大大降低了所有模型的平均值錯誤率。 大多數項目都會報告爲成功。
然後,他們審視了口音之間的差距。 與重音有關的績效差距 ——系統內最優和最差口音的誤差率差異,在一般和臨牀子集中分別分析,差距往往增加,因爲不同口音的增益不均.
平均誤差。 差錯。 這是應該進行形狀收集設計, 因爲目標不是更重重的。 它是平衡的重音數據, 以每重音量爲標準, 公平性作爲與準確性分開的衡量標準跟蹤 。 管理多語種數據收集 用於任何代表不足的語言或口音組。
百分點業績差距有多大 ASR?
差距很大,有詳細記載,而且由於絕對準確性提高,尚未彌合。
當前變壓器 ASR 模型在乾淨的本地英語基準上實現了大約3.0%至5.0%的字錯誤率。 發音通常會使錯誤率提高2到4倍。 差異在多個軸上都有記錄 。
原生與非原生:Graham and Roll在JASA Express Letters中2024年對Whisper的評價發現原生口音總體上優於非原生口音,美語和加拿大語的準確度高於英語和澳大利亞語的準確度——因此這不僅僅是原生與留聲的分化,因爲兩個原生品種也分離了.
單一語言組:2025年的一項臨牀研究報告稱,在德國境外出生的講者誤差率較高,這是同一國家同一種語言講者之間重音不平等的現象。
種族差異:被廣泛引用的2020年PNAS作品發現,主要的商用ASR系統,與白人發言者相比,非洲裔美國人的誤差率幾乎是美國的兩倍.
在目前的模型中:npj數字醫學2026年臨牀研究發現,Whisper和WhisperX對非本地語者的表現都嚴重惡化,Whisper的影響更大. 2020年以來絕對錯誤率大幅下降;問題形狀沒有改變. 最近一篇評論的誠實總結:改善是真實的,而平等卻不在這裏。 對於團隊將認知建設成必須跨口音的產品, 低資源語音數據收集 小型時,面臨同樣的測量問題。
何因在提示演講上出現 ASR 錯誤 ?
原因很具體,瞭解這些原因會改變收集方案應優先注意的事項。
L1 ——演說者第一語言或本土語言——決定他們中和的英語音區分,以及他們所承載的節奏規律,格雷厄姆和羅爾將錯誤直接鏈接到演說者的L1親音和元音系統. 臨牀文獻將典型的L2現象命名爲: /θ/到/t/替代,/v/和/w/混淆,元音長度差異,語音發端時間變化。這些是系統性的,而不是隨機的,這意味着它們可以學習,這意味着有針對性的數據幫助。
語音類型是最適合收藏設計,而且最經常被忽略的。 自發語音 ——無文字,自然對話 — — 比閱讀演說,格雷厄姆和羅爾以及隨後的作品都證實了這一點。 這產生了一種不適的暗示:最容易收集的重音語音是閱讀演說,閱讀演說是差異最小的條件。 優化吞吐量的方案將收集問題未得到充分反映的材料,進一步概述於 語音數據收集方案的實際運行情況.
關於多濃度研究體的研究發現,無論識別器具有何種基本的詞彙知識,其識別器都無法識別出不尋常的電話序列和重音轉換,在具體域的詞彙、重音混合和語音率變化方面尤其困難。 一個實用的提示值得傳遞給任何設計提示或指示的人:說慢語和過度通融的共同建議往往使結果惡化,因爲它使發言者更遠離了該模式所訓練的自然語音模式。
已經存在什麼激勵性演講Corpora?
現有的公共公司雖然有用,但規模很小,有一個公司展示了值得複製的元數據計劃.
L2-ARCTIC包含24個非本地英語的講音者,分佈在6個口音之間,其中第一語言包括阿拉伯語,漢語,印地語,韓語,西班牙語和越南語,每口音有4個講音者——使用最廣泛的基準,而一個小的. AccentDB覆蓋印度英語口音,母語包括孟加拉語,馬來亞拉姆語,奧迪亞語和泰盧固語,總長度只有9小時.
電話 NPTEL-衍生物是尺度的外值: 8,740 從發言小時 332 超過1 000名印度語的講者 20 真正有用的是元數據:每個文件附有演講者的教學經驗、性別、種姓和土著區域,加上演講率、學科和專題。 L1 完全無法分析百分率的性能,沒有語音率和域位,就不可能將重音效應和錯音區分開來.
AfriSpeech-200, EdAcc(Edinburgh International Accents of English Corpus,明確被設定爲致力於使英語ASR民主化)和Speech Accent Archive 環繞常用的套裝,同時不斷增長的體型包括: 用於訓練更好的 LLMS 的多語言文本數據 面臨平行的覆蓋面差距。
您應該如何設計收藏來減少差異?
設計平衡和失敗模式,不單是量.
平衡口音,而不僅僅是音量,都很重要,因爲不同口音的增益不均勻是調整非洲荷蘭語研究中增加差距的機制。 一套400小時一個口音和40小時另一個口音的數據集將產生準確的這種模式,因此設定了百分率目標並報告相應的情況。
故意收集自發的語音,儘管它更難,更慢,產生更糟糕的音頻,因爲差異是實際存在的地方;讀取90%的語音的體會會低於失敗模式. 唱片L1明確,而不僅僅是"accent"——像"印度英語"這樣的口音標籤會崩潰的揚聲器,其第一語言是孟加拉語,馬來亞拉姆語,泰盧固語和奧迪亞語,這些L1產生不同的系統替代. Accent標籤是一個代詞;L1是因果變量.
使用 NPTEL 模型獲取支持每個組分析的演講者元數據: L1, 本地區域、 年齡、 性別以及與部署相關的任何角色或設置變量。 包含語音率變化, 將語音率變化與重音並列, 並列爲一個特殊困難, 如果所有錄音都來自同一調試格式, 則容易被採樣。 覆蓋域詞彙 in-accent,因爲域名特定術語與重音轉換結合被確定爲複合故障——用中性重音收集普通對話和域詞彙,使得交叉口未經過測試. 將目標度量設定爲差距,而不是平均值:如果接受標準是平均字數錯誤率,則項目可以在使差距更嚴重的同時通過它。每個組的紀律都相同。 TTS語音數據的工作室標準和揚聲器的鑄造 和 語音和音頻註釋、抄寫、對號和時間戳 更廣義地說。
還有什麼幫助 超越更好的數據收集?
兩種緩解作用在邊際作用,兩者都解決症狀而不是聲學模型本身.
微調甚至對有限數據的工作:關於多分元元的著作發現,微調微調有限數據集的Whisper,與兒童語音識別等其他專業低資源領域的調查結果一致,取得了相當大的性能改進,因此,一個適度的,目標明確的書目具有真正的價值。 後處理和偏差幫助也——npj數字醫學團隊建立了一個研究團隊。 LLM-處理後處理管道,發現與口音有關的錯誤大大減少,據報告,迅速出現偏差 30.7% 改爲: 43.3% 與不偏袒的解碼相比,實體字錯誤率相對減少,對於適當的名詞和技術術語而言,這種解碼是相當可觀的。
這兩種說法的告誡是:正如一項評論所說,差異表現在系統如何聽到而不是被要求理解。 後處理值得做,不能取代有代表性的培訓數據,無論這些數據涵蓋口音,還是代號交換的語音和文字。 收集混合語言的語音和文本.
怎麼樣 Lifewood 接近Acented 語音集?
英文的發音不是一個收集問題;它與第一語言一樣多的問題。
Lifewood 收集跨處的語音數據 100+ 語言 通過其 40+ 跨省服務中心 30+ 國家,而重音英語是比較常見的簡訊之一. "cented English"的簡訊同樣沒有用同樣的方式對"Kikuyu"的簡訊進行描述:有用的版本命名L1s,因爲L1決定了替代,因此模型需要學習什麼. 收集Yoruba-acented和Hausa-acented英文是不同的項目,儘管兩者都是尼日利亞英語,這是在以下兩個方面更深入的區別: 全球頂級多語言AI數據收集公司 以及他們如何將這種工作範圍擴大。
演講者生活和工作的地方必須收集自發的重音講話。 閱讀演講幾乎可以在任何地方用電話和腳本收集;以特定口音、自然的演講率、現實的條件、有域名詞彙的自發演講要求在那裏的人進行真正的對話。 這是證據所說的最重要的收集類型,它不能遠程運行。