簡短回答： 作爲管理下的管道,而不是衆包式漏斗:我們爲目標模型設計提示和腳本,通過我們的交付中心招募和核實本地的演講者,在控制條件下記錄會話檢查,並在交付前通過我們雙層人文審查的每批次. 外地本身的審計解釋了原因:鬆散控制的社區收藏顯示,數據最重要的正是資源低的語言存在嚴重的質量問題。
核心重點
- 參考公司像AfriVoices -KE (略數) 3,000 小時, 4,777 講均衡的當地人)和奈哈·沃伊斯(Naija Voices)1,800 小時)發佈他們的演講者混合和審查過程,而審計則稱鬆散控制的社區收藏的可靠性"大爲未知".
- 網絡小量低廉且損失慘重:大約四分之一的百萬小時人民演說書在驗證時掉出,這就是爲什麼管理下的收藏仍然是訓練級音頻的路徑.
- 設計完成大部分質量工作——即時集,腳本對自發比例,方言和人口配額,書面通過標準在開始錄製前全部固定.
- 每批貨物都經過一個雙重層面的人力審查,並有獨立的二等通過權拒絕,交付包括一致的記錄、元數據、同意記錄和審查來源。
- 規格是質量系統,演講者供應設定時間表,自發的演講是講當地語言者在規模上判斷自己能保持的。
市場現在對語音學有什麼期望?
覈查規模:過去兩年的參考項目與有名的演講者、人口平衡和有文件記錄的審查相配合,共數千小時。
酒吧移動得很快,非洲佬...KE,其中一個 2026標誌性收藏,目標大致 3,000 5個肯尼亞語的小時 750 腳本和腳本的小時數 2,250 自動發言小時——從 4,777 土著語使用者有意在各地區和人口分佈。 1,800 馬裏的Bambara案從一個單一的 30- 小時收集到 612 小時——20x跳躍——在記錄在記錄抄錄前的有一致質量控制的控制環境中. 另一端的頻譜坐落着發現數據: MLCommons的無監督人民演說 集成超過100萬小時的跨度 89+ 使用語言,通過瀏覽網絡,其中涉及 736,000 幾個小時後,驗證工作得以進行。
腳本化的演講 可從固定的、爲語音覆蓋和方便覈查而建造的速報上大聲讀出; 自發語音 用於記錄差異和速度的真實用戶生產的無文字對話。管理的數據和佈雷數據之間的差距是我們存在類似方案的原因:對廣泛使用的多語言語音數據集進行的2025年審計發現,嚴重的質量問題完全集中在資源少、機構化程度低的語言中。 並指出,即使是旗艦社區驅動平臺,對其原始文本和錄音也沒有良好的質量控制——使可靠性“大爲未知”。 資源不足的語言收集 正在買買 與這一差距。
參考級的收藏看起來像什麼?KE 捐款 2,250 自動發言小時, 750 腳本演講小時 4,777 以地名命名,人口平衡的土著語言; 1,800 穿越伊格博、豪薩和約魯巴的小時;班巴拉的面積 30 小時至 612 小時之間 2022 財務報告和已審計財務報表 2025相對而言,大致 26% 審計認爲無證社區藏書的可靠性只是“未知的”,最糟糕的是,使用低資源語言。KE、Bambara和MLCommons出版物和 2025 多種語言的語音質量審計,下文引用。
現在,數量是便宜的;經過覈實的時數、平衡的演講者和記錄式的審查是訓練隊實際購買的東西,這是我們方案所根據的規格。
收藏品在別人錄製之前怎麼設計?
規格主要做質量工作:模型需要什麼決定提示,揚聲器混合和環境——在麥克風開機前.
從模型的飲食開始,而不是語言的詞典. 醒字模型,呼叫中心ASR系統和表達語音合成模型需要不同的語音:腳本的提示來進行語音報道,自發的對話來進行真實世界ASR,表達讀來進行合成. 參考項目將這個編碼在它們的比例上——非洲語音系統-KE的750個腳本,而2,250個自發的小時;印度的國家TTS框架將每個演講者10個小時分爲9箇中性讀音和1個表達式講故事。 我們的設計階段將每個項目決定相同的:即時集和情景, 方言覆蓋(肯尼亞最近一個項目明確涵蓋卡倫金語內的南迪語和基普西吉語——這是先行的方言決定)、人口配額和記錄環境,從靜室捕捉到模型必須經受背景噪音時的故意自然環境。 多種語文數據收集方案 更廣義地說。
將檢討標準寫成提示。 由於我們的雙層檢討會後來判斷每張錄音,設計階段也定義了"通過"的含義——如剪輯,截斷,錯誤的方言或密碼切換等不要求的可聽性標準,所以檢討者應用書面標準而不是品味. 文化層也是在這裏設計的:我們30種語言的文化語音綜合工作告訴我們,速度、登記和儀表是語言特定審查標準,而不是通用標準,每種語言的準則都是與將適用這些標準的區域本土小組一起起草的,我們使用的方法與我們使用的方法相同。 徵聘本地語言數據撰稿人 更一般的說
在記錄和審查階段會發生什麼?
以會話級別檢查控制捕獲,然後是雙路人審查,有權拒絕——最強的公共項目所描述的同一學科.
錄音就像一個製作,因爲它是一個。 專業的遊戲本在有最佳記錄的節目中可見:印度每場課前22種語言的TTS努力檢查設備,必要時用重新錄製的錄音後審計音頻,每45分鐘錄製一次規定休息15分鐘——疲勞症被視爲音頻質量變量. 我們的會議通過交付中心網絡進行,方式相同:經覈實的本地發言者、會場一級的技術檢查(級別、噪音層、抽樣完整性)以及發言者仍然可用時的故障即刻標記,因爲當天的重新記錄需要幾分鐘時間,在交付後重新記錄需要一個徵聘週期。 同意也在這個階段,遵循下列條款所涵蓋的相同原則: 如何同意數據貢獻者並支付其費用.
雙重層次的人文審查 是指每個數據單位通過兩次獨立的檢查——一次是違反書面標準的第一通行證,然後是第二次有拒絕權限的單獨通行證——而不是一個審查員的判斷. 每批都通過同樣的兩條通道審查,我們在整個數據工作中適用:根據書面標準——音頻質量、迅速忠誠、發言者資格——對每一段進行第一次通行證檢查,並對結果進行獨立的第二次通行證審計,並有權拒絕和記錄決定。 記錄和元數據通過同一門:記錄有錯誤的記錄是缺陷,外地審計顯示記錄-自動錯配恰恰是無控制的收藏衰敗之處——我們也爲這種失敗模式所掩蓋。 分號與時間標記工作25. Bambara項目自己的措辭——控制環境、在轉錄前的一貫質量控制——描述了同樣的模式;我們運行時是固定的基礎設施,而不是每個項目的腳手架。
運送的是什麼船? 運行這臺飛機教我們什麼?
音頻加上其紙質線索:記錄謄本、演講者元數據、同意記錄和審查來源——以及該方案繼續重新教學的三門課。
可交付文件是一個有文件記錄的數據集,而不是音頻文件夾。程序留下的是一個記錄集,其中包含對齊的文字記錄、每克的元數據(語音人口、方言、環境、設備), 同意記錄 每一個聲音背後——記錄錄音、錄音用途和元數據的記錄、知情協議——和審查來源:檢查的內容、由誰檢查、被拒絕的內容。 這套軟件包讓客戶端的ML團隊信任該程序單而不重新審計它,它反映了目前最強的公共數據集所公佈的關於自己的內容。 無論目標是否是醒字模型,都適用同樣的學科。 演播室播放的 TTS 語音數據.
運行它有三個教訓。 首先,規格是質量系統:幾乎所有在審查時被拒絕的缺陷都追溯到一個更尖銳的即時集或準則本會阻止的東西。 第二,提供發言人是時間表:尋找合格的聲音,特別是針對較小語言和雙語要求的聲音,比錄製這些聲音需要更長的時間,這就是爲什麼在許多國家建立常設捐款網絡是該方案的實際資產——我們背後的網絡。 全球多語種語音數據收集服務第三,自發的演講是節目能保持的:腳本錄音很容易與其迅速對照,但自然的對話需要用母語對各種語言的每個片段進行大規模判斷——確切地說,管理下的節目是用來提供什麼的。
管道分四個階段運作:具體(即時、演講者配額、方言、環境和書面通過標準,根據模型的需要設計);徵聘和核實(由母語演講者來源並通過交付中心審查,並記錄在案);記錄和檢查(有技術檢查和同一天重新記錄的有控制的講座); 使用疲勞和噪音作爲變量管理); 審查和交付(雙層人審查,有權拒絕,音頻隨筆錄、元數據和來源一起發送)。 用於註釋和AIGC工作的雙層學科是相同的,指向音頻,因爲語音數據集是數據集的首要內容。
請注意數字:上面提到的文件和組織所公佈的體積和項目細節;我們自己的方案細節是我們公佈的一級對我們工作方式的第一方面描述,這個領域的數據集尺度迅速移動——在引用這些圖表之前對照原始來源覈實當前數字。