簡短回答： 爲對話AI收集多語種語音數據,首先界定預定的對話,在所需語言品種中招聘經同意的本地或熟練的講者,在受控和自然條件下記錄現實的演講,並使用人-在-在-在-在-在-在-的抄錄和審查。 文件貢獻者和限制,然後按語言,口音,噪聲條件,和任務分別測試結果.
核心重點
- 多語言對話AI需要能夠反映命令,問題,轉機,修復,代碼切換等真實互動的數據,不僅讀取句子.
- 語言應在語言或種類一級加以規定,如es-MX和es-ES,而不是將西班牙語作爲一個統一類別。
- 錄音是敏感的個人數據,因此收集需要知情同意,最低限度的元數據,限制訪問,以及定義的保留和刪除規則.
- 質量和模型性能應該用語言,口音,條件來衡量,因爲一個整體的準確分數可以隱藏一個重要市場的差的結果.
談話AI系統需要什麼語音數據?
一個對話AI系統需要配對足夠上下文的音頻,以有用:一個記錄記錄、語言或語言標籤、記錄條件,以及適當收集的同意和揚聲器元數據。它可能還需要意向標籤、對話轉盤、實體標記、中斷標記和結果標籤。
語音數據 由發言者錄音,並配對記錄和元數據,以便模型能夠學會識別、解釋或生成口語。
所需配方取決於產品:
| 產品能力 | 需要優先處理的數據 |
|---|---|
| 發言對文字 | 自然語音、準確的文字記錄、口音、背景噪音、設備變化 |
| 語音助理 | 命令、問題、後續請求、中斷、醒字條件 |
| 客戶服務機器人 | 域名詞彙,數字,賬戶參考,修補短語,情感和快速的語音 |
| 語音翻譯 | 相通源和目標的語音和文本,加上特定語言的術語 |
| 文字對語音 | 同意的錄音、發音覆蓋、風格和音標 |
公共數據集可以是一個有用的基線,但它們很少匹配企業的域名,聲學環境,或同意要求. Mozilla的"共同之聲18"發佈,例如包含20,789個社區驗證小時,跨越129種語言. 這是多語種規模的寶貴證據,但不能取代圍繞特定產品和用戶行程設計的數據(莫茲拉基金會。關於管理服務方面,見 全球多語種語音數據收集服務.
招募演講者之前,你應該如何計劃收集?
從數據規格開始,而不是從徵聘目標開始,例如: 10,000 規格應確定哪些語言和品種很重要,用戶將處於何種情況,模型必須理解何種語言行爲,質量欄是什麼,數據將用於哪些,將不用於哪些。
數據規格 即任何發言者在被錄用之前確定語言、條件、行爲、接受規則和允許用途的集合的書面合同。
哪些語言和品種很重要?
列出語言、國家或地區、相關時的腳本、預期重音和常見的混合模式。 比如,馬來西亞英語客戶支持助理可能需要英語與馬來語、普通話、泰米爾語、產品名稱和當地地名混合。 將所有這些作爲通用英語處理會產生可預測的盲點。 收集密碼切換的語音和文本指南更深入地涵蓋了這一點.
用戶將處於何種狀況?
定義麥克風、設備、噪音水平、網絡條件、發言距離,以及人們是步行、開車還是使用揚聲器。 如果製作音頻吵鬧,但培訓數據是錄音室清潔的,則性能估計會過於樂觀。
模型必須理解何種語言行爲?
包含您產品所期望的規律: 短指令、 完整問題、 後續、 自修正、 中斷、 數字、 日期、 拼寫、 名稱、 代碼交換。 讀語音比較容易收集, 但不能完全代表直播 。
質量欄是什麼?
設置接受規則以進行實地工作。 例子包括最低音頻質量、 可允許剪輯、 記錄、 所需的元數據, 以及必須拒絕或升級剪輯時。 明確的協議會防止不同的團隊在稍後應用不同的標準 。
數據將用於什麼,並被排除在數據之外?
說明錄音支持模式培訓、測試、語音克隆、評價或研究。數據集文件也應記錄限制和被禁止的用途。廣泛使用的數據集框架數據表建議記錄數據集的創建、組成、預期用途、維護以及法律或道德考慮(第1段)。格布魯等人.).
如何招募演講者來報道而不是量?
以覆蓋矩陣而不是人口統計爲對象進行招募,目標不是收集人口數據,而是代表系統所要服務的人和條件的數據集。
覆蓋矩陣 是一個發言、語言、設備以及環境變量的表格,這些變量會影響使用大小寫,用來檢查每個組合是否都得到了實際代表。
包含對使用情況有重大影響的變量:
- 語言、語言、方言和口音
- 第一語言和多語言或代碼交換模式
- 合法和相關的年齡段和性別代表
- 設備類型和記錄環境
- 說話風格:小心、自發、快速、柔軟、情緒或中斷
- 領域熟悉,特別是專家詞彙
大演講者計數不會自動解析表示,因爲一個數據集可以很大,同時集中在一個城市,設備類型,或語音風格上. 多語種聲學建模的研究指出,有用的多樣性包括獨特的揚聲器,錄音硬件,以及錄音條件,而不僅僅是錄音的小時(process of audio).普通Phone 軟件具體關於口音的覆蓋,見 收集重音和非本地語言.
對於資源較少的語言,他們可以及早與當地社區、語言組織和本地語言審查者合作。 他們可以幫助創建文化上合適的提示,識別借來的詞和區域術語,防止收集過程給語言多樣性打上錯誤的標籤。 Lifewood's 低資源語音數據 服務是圍繞這種本地來源而建立的。
如何記錄與真實用途相符的演講?
使用收集模式的混合,因爲每個模式都回答不同的建模需求. 腳本提示覆蓋關鍵短語和稀有詞,基於情景的演講覆蓋任務語言,自然對話覆蓋對話行爲,產品內選入樣本捕獲真實的設備和聲學.
| 收藏模式 | 最適合 | 主要限制 |
|---|---|---|
| 腳本提示 | 關鍵詞、稀有詞、數字和發音指標的涵蓋範圍 | 自然節奏和對話行爲較少 |
| 基於情景的演講 | 客戶服務請求、任務說明和域語言 | 需要謹慎的迅速設計和同意處理 |
| 自然對話 | 轉動、中斷、修理和密碼交換 | 更難去名和註釋 |
| 產品選擇進入樣本 | 真正的裝置和聲學條件 | 絕不能成爲明確同意和治理的捷徑 |
構建本地提示而不是將英文腳本逐字翻譯。 本地審查人員應該檢查該短語是否自然、文化上合適,以及人們如何實際請求任務的代表性。 他們也應該驗證發音敏感材料, 如姓名、地址、價格、日期和字母字符串。
記錄技術元數據並列每個片段:採樣率、麥克風或設備類、記錄環境、語言、即時或情景標識符、以及收集版本。這使得以後的分析成爲可能,而無需披露比必要的更多個人信息。正在逐步操作視圖中。 運行語音數據收集程序.
人入錄抄錄和註釋如何用?
人文的"在野"抄寫結合了自動檢查和翻譯,審查和判斷語音的本地語言人. 自動化可以加速收集,但人們對於方言問題,重疊的語音,敏感的內容等判斷調用仍然是必不可少的.
人行道(HITL) 是一個工作流程,在工作流程中,受訓人員在定義的點上審查、糾正或決定機器處理的數據,這樣質量就不僅僅取決於自動化。
實用的HITL工作流程
- 自動接收檢查 旗下沉默,剪輯,複製文件,時間長度錯誤,音頻損壞.
- 土著語言的轉錄 使用有文件記載的拼寫和密碼交換規則製作記錄謄本。
- 獨立審查 檢查樣本或所有高風險剪輯,視質量目標而定。
- 裁決 解決分歧、語言不清、方言問題和敏感內容。
- 反饋環 當同樣的錯誤反覆出現時,更新提示和引導。
註釋準則應該定義填充器、虛假的起步、笑聲、重疊、背景發言、褻瀆、個人識別信息以及無法可靠聽到的詞語應如何處理。 沒有這些規則,註釋者可能個人準確,但作爲一個羣體不一致。
有用的質量衡量標準包括:記錄協議、被擱置的被審計樣本上的文字或字符錯誤率、按收集渠道的拒絕率和按語言的分歧率。 不僅按全球平均值,還按地方進行跟蹤。 Lifewood 將這個模式應用到整個 100+ 兩種獨立審查語言通過 多種語文數據收集 服務,以及更廣泛的討論是在 人文- " loop " 多語種數據質量.
如何將隱私、同意和治理 納入演講集?
將隱私視爲項目設計的一部分,而不是最後的法律審查。 語音錄音可以包含個人信息,在某些情況下,也可以包含生物鑑別或其他敏感信號,因此在開始錄音前必須設定同意、最小化、訪問控制和刪除規則。
起碼:
- 明確解釋記錄的內容,爲什麼,誰可以訪問,保留多長時間,以及是否可以用於培訓或合成語音開發.
- 取得與目的和管轄權相適應的同意,並使退出和刪除程序可行。
- 收集質量和公平分析所需的最低元數據。
- 在可能的情況下,從音頻和操作標籤中分離出身份和聯繫信息。
- 應用訪問控制,加密,審計線索,供應商義務.
- 定義錄音包括意外個人數據或敏感披露時會發生什麼.
該 NIST 隱私框架 這是一種自願的企業風險管理資源,用於識別和管理隱私風險。這是一個有用的起點,但小組也應獲得針對具體法域的法律諮詢,以瞭解其收集地點和預期用途。 同意和支付數據貢獻者.
數據集和部署的經驗如何驗證?
使用獨立於培訓數據的評價集進行驗證,這些評價集有意涵蓋語言、口音、任務、裝置和噪音條件等最重要的組合。不要等到模型啓動時才發現缺口。
報告結果爲片段,例如:
- 語言和聲學環境的語音識別錯誤
- 按語言和代碼交換條件分列的意圖精確度
- 名稱、數字、日期和域名的失敗率和倒置率
- 人文審查優先於和未決的說明案件
- 發射後的投訴、更正或放棄率
這種方法將真正廣泛的模型改進與最有代表性的語言所驅動的結果區分開來。它也給產品、數據和本地化團隊一個共享的方法,來優先安排下一輪收集工作。如果您正在比較外部提供者,則排名列表列出 頂級多語種數據收集公司 是一個有用的開始短名單。
語音收集清單應包括哪些內容?
語音收集覈對表應確認範圍、同意、提示、質量標準、審查者和評價數據在第一次記錄之前都已經確定。在開始實地工作之前,請將其作爲一個門。
在開始收藏前,確認您有:
- 定義產品任務和所支持的本地化
- 建立針對發言者、條件和語言行爲的覆蓋矩陣
- 書面同意、保留、撤回和數據獲取程序
- 本地化和審查有本地語言者參與的提示
- 設定音頻、元數據、抄錄和拒絕標準
- 使用同一準則版本的經過培訓的註釋員和審查員
- 造成分歧和升級進程
- 保留一套經同意的具有代表性的評價
- 編制數據集數據表和版本控制程序
- 部署後監測的選定分組衡量標準
強大的多語言對話AI從尊重真實用戶的收集計劃開始。 規模是有價值的,但具有代表性的、有文件記載的數據纔是能夠依賴規模的原因。