簡短回答： 語音註釋標籤音頻,使AI模型能夠從中學習,它不是一個任務,但至少是四個:抄寫,對號,時間戳和非語事件註釋. 每一個都有自己的規格和失敗模式,在一層中錯誤地作出的決定——例如選擇逐字記錄而不是乾淨的抄錄——使上面所建的工作失效。
核心重點
- 語音註釋是四個不同的任務: 抄寫,對號,時間戳和非語音事件標籤,每個都產生不同的輸出.
- 逐字記錄保留了猶豫和修補; 乾淨的抄錄消除了猶豫和修補; 智能的逐字記錄坐落在兩者之間。 選擇在收集之前就設定了, 之後不能在不重新說明整個內容的情況下更改。
- 雙音化指定揚聲器標籤轉彎,並因語音重疊,單聲道錄音,密碼切換和揚聲器重入而退化;自動化工具需要人對音頻進行復核.
- 時間戳分爲三個顆粒級——語音、文字和電話級別,以及用一種語言爲另一種語言錯配時間戳訓練的強迫對齊工具。
- 完整的註釋說明說明在收集開始前,記錄了抄寫公約、演講者標籤辦法、時間戳顆粒性、非言論事件清單、代碼交換協議和重疊公約。
每項註釋任務會產生什麼?
四個不同的產出,每個產出都爲不同的下游培訓任務所必需。
轉寫、分化、時間戳和非語事件標籤經常被作爲單一的工作對待,並經常相互混淆,它們彼此相關但又不同,各自都有自己的失敗模式和質量標準。
譯名 將口語字轉換成書面文字,生成文本文件或附在音頻上的文本層。它是其他所有東西所基於的基礎,因爲無法驗證數字化,而且無法爲沒有被先轉錄的字指定時間戳。
線性 回答者說:它確定發言者轉動並給每個部分指定一個發言者標籤——通常爲發言者1、發言人2或身份已知時的指定個人——生成一個發言者屬性部分的時間表,而不是一個平坦的文本文件。
時間戳 。這可以在語音級別上發生,在語音段開始和結束時記錄;在單詞級別上,記錄每個詞的確切開始和結束;或在電話級別上,記錄構成每個聲音的聲響事件。所需的顆粒度完全取決於培訓任務,在其中進一步涵蓋區分。 多語種語音數據收集服務.
非言論事件註釋 標記音頻中所有非文字的:沉默、笑聲、咳嗽、呼吸、背景噪音、音樂或無法理解的語音。當一個模型需要理解完整的音響環境時,這些標籤就很重要,而不僅僅是單詞。
逐字記錄和乾淨的抄本有什麼區別?
區別在於發言者製作的材料與記錄稿中的內容之間有什麼關係,兩者都是合法的公約,它們服務於不同的模式。
這一決定是演講註釋項目中最導致的結果之一,而且常常被描述不足. 逐字記錄記錄了一切:猶豫,填充的暫停,如"um"和"uh",虛假的開始,重複,自我糾正和演講中的非言論事件. 逐字記錄可能會寫成:“嗯,所以,實際上,送貨是相當晚的。” 當模型需要學習自然語音模式、不確定的聲學關聯或非語調所攜帶的社會信號時,這個慣例是必要的。
清潔或正常的抄錄可以消除猶豫和修補,將所出現的言語如編輯的散文所示:"送時相當晚",這在模型需要學習意義和語法結構而不是語音特徵時是恰當的.
智能逐字記錄在他們之間坐着: 猶豫不決被移除了,但措辭保留了下來,而不是被編輯成正式的散文——"所以送來相當晚",是商業會議和客戶服務抄寫最常用的格式.
選擇錯誤的後果是重大的。 受過清潔記錄片培訓的語音識別模型學習期望乾淨輸入,在自發的語音上表現不佳。 受過逐字記錄片培訓的語言模型繼承了它從未打算複製的猶豫模式。 選擇在收藏開始前屬於規格, 詳細描述於 語音數據收集方案的實際運行情況;在交貨後改變它意味着重新說明整個訴訟案。
分化是什麼,爲什麼很難?
分化是確定誰何時發言,技術上很困難,因爲人類的註釋者和自動化工具都與同樣的邊緣案例——邊緣案例是多語種公司中通常而非例外的案例——鬥爭.
標準的自動對稱化使用變聲器檢測,然後將聲音類似同一人的片段分組。在變聲器很少、條件受控、一次有一人說話的情況下,準確性是合理的。有四種情況使其退化。
- 重疊的演講。 兩人同時發言是正常的談話,打破了大多數自動發言的分區模式,即每個分區都有一個發言者。 一個明確區分的任務明顯地與區域重疊,而不是任意地將區域分配給一個發言者。
- 海峽報. 多頻道錄音,每名發言者都單獨用麥克風進行錄音,使得數字化變得相當容易,也更加準確. 單頻道錄音,在現場收集中更爲常見,需要聲學建模來將錄音聲分開,並用錄音機記錄.
- 密碼交換器 在多語種演講中,發言者可在句子內在各種語文之間移動,而經過單一語言數據培訓的聲學模型會錯誤地分配這些部分——這是在下文中審查的一種模式。 收集混合語言的語音和文本需要在這些方面流利地使用兩種語言的人類註釋員。
- 揚聲器復入. 發言者在長時間停頓後離開談話返回時,可能無法用自動工具正確匹配到其先前的段,特別是在較長的錄音中。
自動分化是有效的第一通道,而不是一個完整的解決方案。 議長的任務應由聽音響的註釋員覈查,而註釋員之間的分歧是一個值得跟蹤的信號,正如在《評論》中所討論的那樣。 通知人之間的協議措施.
時間戳用來做什麼?
時間戳列車強制對齊模型,字幕生成器,以及任何應用中口頭語和時間之間的關係是訓練信號本身.
Utterance-level時間戳記錄每個語音段開始和結束的時間,Word-level時間戳記錄每個單個單詞的開始和結束時間,這是實時字幕和詞-錯誤率計算所需的,Phoneme-level時間戳服務於聲學建模和文本對語音培訓.
強制校正工具通過將記錄稿映射到使用電話me模型的音頻中,自動生成文字級別時間戳,但它們是語言特有的。將英語訓練的校正符應用到低資源語言中,會產生錯誤的時間戳,向任何受過結果培訓的模型傳播——一個原因的語音集合 低資源語言 依靠本土語言模型或人工驗證,而不是單一的現成對齊器.
爲什麼對多語種AI來說,這個問題是什麼,一個分類應該包括什麼?
這一點很重要,因爲英文標準化的註解決定微不足道,而其他許多語文確實存在爭議,在收集開始之前不能解決的字典則製造了規模上的不一致。
三個問題又重現。
- 筆錄開始前的整形決定. 有些語言有不止一個書寫系統或相互競爭的拼寫慣例。 不承諾一個語言的語句會產生一個分體,即不同註釋者對同一個詞的拼寫不同,模型學習噪音。
- 密碼交換標籤。 當一個演講者從印地語到英語的中句時,需要事先決定抄寫慣例、語言識別標籤和對號標籤。 把這些內容留給個別註釋者,會產生不一致。 語言識別標籤和對號標籤的標語必須被刪除。
- 非言論事件清單。 標記的一組事件應該明確列出. 標記非言論事件的開放式指令產生兩個註釋器的非常不同的數據集,因爲一個可能標記呼吸,另一個可能不標記呼吸.
可行的註釋說明至少說明:抄寫公約;演講者標籤辦法;時間戳顆粒度;非語音事件清單;代碼交換處理;無法理解的分塊協議;如何處理重疊的語音。 爲文字對語音製作的語音數據集載有一層額外的鑄造和工作室要求,涵蓋在以下幾方面: TTS語音數據的工作室標準和揚聲器的鑄造.
Lifewood語音收集方案是按這種特殊性制定的,由經過培訓的講母語者進行語言收集、抄錄和審查,他們從事有文件記載的計劃,這是更廣泛的計劃的一部分。 多種語文數據收集 跨度能力 50+ 下游效應是數據集,其組成可以審計,這也是企業買主也評價供應商的原因之一。 低資源語音數據 能力在承諾體積之前。