簡短回答： 收集了低資源語言的語音數據,而不是找到這些數據,因爲沒有大型公共體能來颳去。 這項工作是實地業務:徵聘和核實按方言、年齡、性別和地區分列的講母語者;設計提示,以引起閱讀和自發的言論;記錄真實的裝置和聲學條件;對照事先商定的書面公約進行翻譯;與當地審查人員覈實每個方言的誤差率和協議。 同意和公平報酬是方法的一部分,不是事後考慮。
核心重點
- 低資源演講公司不能從網絡上颳去;每個可用小時都是通過外地徵聘和錄音故意製作的。
- 應在開始錄製之前,規劃涵蓋五軸——方言、講詞人口、語音類型、聲響條件和裝置。
- 文字錯誤率和跨譯協議應當按方言和聲學條件報送,不得作爲單語級平均值報送.
- 筆錄必須先書面商定,內容包括整形、差異、密碼抽取和不確定標記。
- 知情同意、可追蹤的退出路徑以及PII編輯程序是自發發言的必要條件,而這種發言通常包含姓名和個人細節發言者,但無意永久化。
爲什麼資源低的語音數據收集與資源高的語言不同?
很少或根本沒有可刮的,方言的變異往往更大,而正字法可能仍然不穩定——因此,每套體型都必須刻意製作,而不是從現有媒體組裝.
高資源語言有幾十年的廣播、字幕媒體和公共公司可以借鑑,低資源語言往往沒有可用的數量。 低資源語言 即收集必須取代完全的刮除。
整形術也可能不穩定:一些語言有相互競爭的拼寫慣例,最近的標準化,或者主要使用口頭,在選擇和寫入一個慣例之前,無法開始抄寫——這一決定影響到下游的每一個質量度量. 隔音距離往往比高資源語言要大,因此,一種語言級別的計劃可能把一種不同的東西視爲一種不同的東西,一種語言上訓練的模型在另一種語言上表現不佳。 代碼切換在許多多語種地區,演講者將語言混爲一談是正常的,而不是例外的,而且排除了人們實際說話方式的一套。 造成所有這些情況的一個根本問題是徵聘問題:一個小組目前沒有用某種語言找到、覈實、留住和公平支付發言者薪酬的是實地工作,這是決定方案是否交付的唯一最大決定因素,而當一個小組沒有使用某一語言時,就更深入地涵蓋這一挑戰。 徵聘非洲語言數據的當地撰稿人.
如何在錄音開始前設計覆蓋?
計劃預先覆蓋五個分層軸,每個軸上都有數字目標,而不是留給任何偶然被記錄的人。
| 軸 | 指定 | 為什麼 |
|---|---|---|
| 語言和區域多樣性 | 命名的品種,每個品種都有目標份額 | 最常見的差距; 語言級別計劃中的隱形 |
| 議長人口統計 | 年齡、性別、城市/農村、教育組合 | 確定模式爲誰工作不好 |
| 語音類型 | 閱讀、腳本、自發、對話 | 只讀的 corpora 生成的模型 自然語音失敗 |
| 聲學狀況 | 安靜、環境噪音、室外、車輛、電話 | 必須與部署條件相符 |
| 設備 | 市場上常見的電話模型,耳機,遠野 | 微聲器特性在物質上塑造信號 |
覆蓋率是按一個層次收集的小時數除以該層次目標小時數。 不同層次的最低時數應與總數一併跟蹤和報告,因爲一個總時數的90%的方案仍能佔市場三分之一的方言的20%。 AI培訓中使用的高資源語言和低資源語言 說明爲什麼這一規劃步驟對語言的影響越大,就越是來自這一類的高資源端。
收集語音的提示和腳本是用什麼來收集的?
通常,一個實體需要三種物質類型,每一種物質都無法提供其他物質:讀演說以獲得乾淨的語音報道,自然自發地演講,以及對話演講以獲得真正的對話動力。
閱讀演講,演講者讀到準備好的句子,是最便宜和最可控的選擇,並且能提供乾淨的語音報道,但聽起來不像是對話。 以利煽動的自發演講——用演講者自己的話來說是迅速的或場景——對翻譯成本更高,更接近部署現實。 談話,有兩或兩個以上的演講者,重疊,中斷和修理,最難被翻譯,對於處理真正對話的任何事物來說都是必不可少的. 提示應以文化上的目標語言而不是英文翻譯,因爲翻譯提示產生句子,當地人不會說,在由此產生的數據中,這種提示是可聽的,令人尷尬的。 還應明確檢查這套即時節目的語音報道,包括罕見但又很獨特的聲音,因爲用一種沒有現有公司語言的語言,沒有其他東西能夠顯示這一差距。
如何徵聘和核實講當地語言的人?
發言者在市場上招聘,由本地發言者進行篩選,確認他們使用項目所需的特定區域語言,而不僅僅是一般語言。
校驗語言的多樣性,而不是僅僅語言的重要性,因爲說自己會說語言的發言者可能使用與目標不同的區域多樣性,而跳過短片會悄悄地腐蝕分層。 散居國外者演講者一般都是有價值的貢獻者,但他們的演講隨着時間推移——詞彙、借閱和登記從市場中目前的使用方式轉變——因此,在市場上也部署人員時,更傾向於在市場中招聘人員,在設計時需要每名發言者重複錄音,就需規劃多場會議。 以適合當地市場的價格支付公平、透明的薪金,加上發言者能夠用自己的語言閱讀的詞彙,既符合道德要求,也符合實際要求:低薪的收集會產生匆忙的會話、退學和不返回下一個方案的演講者集合,這一點在下文中得到了進一步發展。 如何同意數據貢獻者並支付其費用.
低資源言論資料庫應包含哪些記錄條件?
錄音需要匹配部署環境的噪音,裝置和音頻帶寬,而不是記錄最容易的靜室.
完全接受過靜室錄音培訓的模型在它實際運行的環境中會降解,因此,一個程序應當包括使用案例的噪音條件——街道、市場、車輛、有背景聲音的家庭——以及人們在該市場上實際使用的裝置,這些裝置可能與項目小組使用的裝置不同。 如果模型能滿足,應該包括電傳波段音頻,因爲帶寬的減少並不是默認的寬帶訓練模型處理方式。元數據應該記錄每個會話——設備、環境、演講者層層、會話條件——因爲缺失元數據是一個實體不能在以後重新平衡的原因。 有關在錄音室外錄製的言論的考慮,見以下表1。 收集重音和非本地語音,以發出強烈的聲音 AI.
在開始工作之前,需要商定哪些抄錄公約?
書面的抄寫慣例——涵蓋正字印刷,數字,不規則,密碼切換,非語音事件,揚聲器標籤和不確定標記——必須在第一個文件被抄寫之前固定下來,因爲它規範了之後產生的每一個質量數字.
公約需要說明適用哪一種拼寫標準,沒有標準拼寫的詞會發生什麼,數字和日期是用口頭寫成還是用數字寫成,以及填充的暫停,虛假的開始和重複是如何處理的——轉寫,標記,或丟棄. 它應具體說明混合語言的跨度如何標註,笑語、噪音和重疊發言如何記錄,以及多方音頻如何標註發言者。 公約還需要一種定義的方法,讓一個轉寫器標記無法理解的音頻而不是猜測,因爲一個無法說"我聽不到這個"的公約會產生自信的錯誤的抄錄——比空白更有害,因爲這樣它們就用發明的文本來訓練模型. 多種語言音頻的字號和時間戳慣例在以下章節中作了更詳細的介紹: 語音和音頻註釋:轉錄、分音和加時標.
如何覈實抄錄質量?
質量的衡量是用字誤差率(WER)——相對於參考記錄的替換,插入和刪除的字數的比例——報告每個方言和聲調條件,同時對雙曲譜子集的跨譯協議.
WER是按替代加插入加刪除來計算,除以參考詞數. 報告每個方言和每個聲學條件事項,因爲一個集合,語言層次的數字以最簡單的層爲主,隱藏了其他地方的弱性能. 衡量關於一個子集的跨譯協議,即每個子集獨立地進行兩個轉錄,可以發出最早和最廉價的信號,即公約是模糊的,需要修改。 保持持續而不是隻在交付時衡量質量,本地審查人員應傾聽音頻而不是隻閱讀記錄,因爲錯誤的方言、非自然讀物或非母語的揚聲器在頁面上是無法聽懂的,在錄音中是顯而易見的。 語音數據收集方案的實際運行情況.
語言數據收集適用何種同意和道德要求?
需要用發言者自己的語言獲得知情同意,找到可追蹤的退出途徑,以及PII的檢測和編輯,因爲對於收集的演講來說,這些決定了一項犯罪要件是資產還是責任。
同意必須涵蓋記錄將用於什麼——包括繼續和商業用途——以及保留多長時間,而只有在能夠追蹤到具體文件並實際執行的情況下,撤回權纔是真實的。 發言者的自發發言通常都包括姓名、地址和個人細節,他不打算永久化,因此,需要將偵測和編輯工作放在管道內,而不是作爲後來的清理步驟,每個文件都應保留項目出處——會議、演講者層層、同意記錄、翻譯和審查員。 如果某一語言屬於一個小社區或邊緣化社區,公平補償、使用透明度,以及酌情讓社區自己獲得由此獲得的資源,是負責任地開展工作的一部分。
怎麼樣 Lifewood 接近資源匱乏的語言語音集合?
Lifewood 將低資源語言語音視爲通過市場實地業務提供的一種專門性,而不是一般語音工作的延伸,將聲調錄音與多語種的錄音和語音標籤結合起來。