TTS語音數據的工作室標準和發言人製作

在研究這個題目時發現的最好的一句話是生產要求,而不是技術規格:"第1和第40場會議需要聲學和表演上不可分",這就是整個學科. 文本對語音的開發需要記錄在相同條件下的時數, 並且同樣來源也明確說明了原因: 衆包錄音和自導自演的家庭工作室會話引入了房間聲學差異,麥克風位置,聲熱和表演記錄,模型與預期的語音特徵一起學習了這種差異. 你的不一致性成爲語音的一部分——這就是TTS收集與幾乎每一種其他語音數據工作之間的區別.

舊問題很簡單:你有多少小時的單語音頻?標準答案是大約24小時的LJSpeech式讀音,它產生了一個模型,從一位從業者的判斷中可以接受但平坦。那個時代已經結束,其原因是建築。 現代系統一次對許多發言者進行一個模式的培訓,每個發言者被概括爲 揚聲器嵌入 ——一個長幾百個數字的矢量,它捕捉到一個聲音本身,與它所講的語言內容分開。這個點擊的設定:模型是儀器,嵌入體告訴它該是哪個人,或者,如一個來源所言,一個磁帶檔案和一個有天賦的印象家的區別。 存檔只能重播所記錄的內容;印象派擁有一個聲道和無限數量的身份,因爲身份證明是問題的小部分.

商業上,有兩個後果。一個聲音可以說出其演員從未學過的語言,因爲語言和身份都生活在模型的不同部分。 聲音可以混合,因爲任何兩種嵌入物之間的某個地方坐落着一個從未存在過的第三個聲音。

那麼,你到底需要多少音頻?這完全取決於方法, 出版範圍很廣。 零鏡頭克隆 ——從一個非常短的參考片段產生新的聲音,沒有專門的微調——從幾秒鐘的音頻工作,在強大的多語種基模型上進行微調一般需要1-5小時. Flagship預設的聲音仍然使用20-40個工作室小時,值得引用的理由:數據中的每一漏洞都成爲語音的一個漏洞. 數據供應商在100至300小時或以上時引用廣覆蓋基礎模型,實際理解是,時間問題現在在建築問題的下游——在詢問記錄多少之前詢問正在培訓什麼。 低資源語言 發言人人數較少,縮小了哪些方法是現實的,因此,應該期望這個問題更加重要。

背景噪音是最清楚的例子:對ASR來說,是訓練信號,教模型應付真實情況。對於TTS來說,模型會複製是污染。TTS還需要文本和相應的語音錄音,與不同演講者和演講風格的多樣和有代表性的樣本保持一致。 帶有近似記錄的ASR程序可以識別,而不能用於綜合。 對有語音檔案的任何人來說,其實際含義是它可能不是一個TTS數據集,而是把它當作一個能瞭解錄音問題而不是演講者問題的聲音。

格式是WAV,無損失。推理是,壓縮格式如MP3的帶狀細微的融合,暫停和情緒語氣,報告的結果是機器人或較少的表達輸出。 樣本率是48 kHz, 被描述爲TTS數據集的公認標準,認爲它能捕捉人類語音的全部頻譜,並留下處理後的頭室。 這裏值得注意,因爲公佈的corpora各不相同: LibrittS-R, 一種廣泛使用的多語言英語體,大約585小時,是24 kHz。 因此48kHz是新委託收集的目標,而不是TTS數據的普世屬性,將委託音頻與現有的corpora合併通常意味着重新複製某種東西.

元數據與音頻一起發送,一般作爲JSON側車. 出版的節目計劃值得全文複製:演講者簡介(年齡、性別、口音、聲頻範圍)、會話元數據(錄製會話日期)、信號鏈(使用的麥克風和預標鏈)、房間聲波簡介、語句和詞級的時間對齊的抄錄以及語音說明。 信號鏈和房間配置是最常省略的條目,而那些使數據集可以複製的條目——如果第四十場需要匹配第一場,就必須有關於實際是哪一場的的記錄.

在哪裏,我們在哪裏 電話覆蓋 ——在足夠適合對每種語言進行可靠訓練的情況下,腳本包含每種語言使用的音效和音序——對要求進行了界定,在開始錄音前,應當對照覆蓋目標對腳本進行審查. 這也是語言特有專長變得不可談判的地方:爲孟加拉語、約魯巴語或越南語設計一個口語平衡的腳本需要知道語言的電話盤及其允許的序列。 從英語口語平衡的腳本翻譯爲英語,而不是目標語言。 值得采用的一個實際做法是:在短暫簽字後5至7個工作日內交付5至10個完成小時的試點,這是合理的預期,在承諾實施全面方案之前先進行試點是最廉價的質量控制。

出版的做法是從名冊上提供試音樣本,這樣客戶就選擇語音,可以使用特定的人口、口音或聲優來進行投影,可以使用品牌簡介。然後將人才承包到整個節目期間——一個在25小時無法使用的聲音演員將項目留下未完成的聲音,而不是部分數據集,因爲不同的發言者不能被替換爲同一身份。 製作還必須考慮到耐力,而不僅僅是語氣:40個錄音室小時是一個相當長的聲荷,一個聲音在2小時之內就非常美,一個輪胎在6小時之後就產生了一個帶有可調弧度的數據集。如果目標是一個表達性合成,那麼情感範圍必須在投影時決定,而不是在之後推斷出來,一個商業數據集被描述爲: 1,000 小時數 8 語文和 43 情緒狀態,來源於 150 專業語音藝術家,以情感和語氣標記來表達。無論特定應用程序的狀態數量如何,都是在第一場會議之前作出的鑄造和腳本決定,與 對話與同意設計 指導如何更廣泛地對待貢獻者。

漂流 ——表演者的能量,節奏或表達在錄音日之間逐漸發生,往往不被注意的變化——在每場會議開始時都要以回放的參考方式管理,因此表演者重新進入同一個收錄器,而不是從記憶中接近它. 音頻製作人負責監聽,他們監測能量的漂移、速度和在錄音日的表達,這些記錄日被描述爲造成合成輸出中人工製品的微妙不一致。 物理設置——麥克風位置,距離,房間處理和信號鏈——固定和記錄,而不是每場會議重新組裝,交付前的結構化QA包括音頻質量檢查,記錄和標籤審查,以及對照技術規格進行驗證. 還需要數字化或時間標記的錄音記錄與語音數據同時使用的程序可使用同一數據。 語音和音頻註釋 標籤方面對QA的紀律。

商業文獻中將拼音描述爲風險,不一致和法律上的不確定性,其替代方案是明確的: 獲取真實的語音演員,並明確同意使用AI培訓. 一個有用的區別是將語音工作與語音數據分開——爲語音工作制作的錄音只用於此目的,通過專門同意的收集單獨提供語音數據。 分離很重要,因爲錄製廣告的表演者不同意模仿其聲音,而將兩者混爲一談是爭議的最快途徑。 同意應明確涵蓋爲AI培訓目的的記錄、使用和許可,這與記錄的同意完全不同。

Lifewood 已運行語音 AI 數據收集工作自建立專門的語音中心以來,並跨區域開展工作 100+ 語言兩種觀點不論供應商如何都適用。第一,錄音室一致性是一個後勤問題,而先是音頻問題:在專業錄音室存在的情況下,爲同一房間預訂、連鎖和表演者6周的時間是直接的,但對Sylheti或Wolof語音來說,可能需要將會議室和表演者組裝起來,而不是僱用他們。 裝配是項目中晚期的部分 同樣的制約 形成了更廣泛的 資源不足的語言語音集第二,語音文字設計是多語種TTS項目最常少說明的地方:客戶簡介通常說明時間、語音特徵和交付格式,很少說明語音報道。 對於一種現有平衡體的文字,即遺漏是可以存活的;對於一種沒有這種實體體的文字,必須有人從電話盤點中建立覆蓋目標,或者只有在合成聲音發出共同構象時才發現空白。 兩者都指向在預訂工作室之前對語言學進行範圍界定——這些節目通常如何規劃的反向,以及一種橫跨整個工作室的圖案. 管理語音數據方案 包括涉及工作範圍 重音和非母語的語音 協調的 多語種語音集 買方權衡TTS與更廣泛的註釋或 AI 數據服務 範圍應把語音當作自己的規格,而不是一般發言簡報中的一行項目。

• 架構第一:零射,微調或基礎模型先決定時數要求,再決定其他任何條件.
• WAV格式,有說明的樣本率——48kHz作爲新採集的目標,如果與現有的公司合併,則有重新取樣計劃.
• 假名覆蓋目標由目標語言自己的庫存建立,在錄製前對照其對腳本進行審查.
• 包括信號鏈和房間簡介在內的完整的元數據計劃,而不僅僅是演講人口統計學.
• 調和和字位時間對調加上語音註釋.
• 人才簽約參加全程節目,參賽者可回放,指導課程可監測漂移情況.
• 如果表現合成是目標,則指定了情感範圍。
• 涵蓋範圍的同意 AI 培訓的使用明確,與任何語音交流活動分開,在全面方案之前,還要有一個5至10小時的試點。