如何收集混合語言的語音和文字

問達卡的某人,他們的一天過得如何,你可能會得到一個句子,這句話從孟加拉語開始,中間帶一個英文名詞短語,最後用一個孟加拉語動詞結束。 在談話中沒有人會注意到,這不是兩種語言輪流使用,而是一種說法方式。 使用語言數據、語言邊界誤差率高達30%至50%, 標語器會發出未知的標記, 以及切換點的實時流滯。 世界上很大一部分人實際上如何說話, 和大多數系統能夠處理的 兩者之間的差距 是密碼交換的數據收集作爲一個學科存在, 而且它是一個很難收集到的東西, 因爲與記錄有關的原因 更多與你寫下來的東西有關。

代碼切換 (有時在語音文獻中稱爲代碼混合)是在同一語句或話語中使用來自多個語言的元素. 操作上重要的區別在於開關發生的地方,因爲每種類型都打破了管道的不同部分.

間接性切換髮生在句子之間——一個句子在馬來語,另一個句子在英語中——是最簡單的案例;一些管道處理得令人接受. 內感切換 在一個單語句中發生。這是實踐中常見的情況,也是打破標準架構的:第一代系統將語言分類器運行在整個語句上,指定了一種語言標籤,並被引導到一個單一語言模式,一旦一個語言包含兩種語言,一個標籤必須獲勝,則該模式就完全失敗。 插入切換將單詞或短句從一種語言嵌入到另一種語言的矩陣中,是極爲常見的,但容易誤貼成噪音或口音動脈. 內詞切換 語言的英文根部帶有一個班圖語的字母, 模糊了音素和詞彙的界限, 因此這個詞不能被幹淨地分配給任何一種語言。

如果收集規格不能區分這四種類型,那麼所產生的數據集將包含所有標記不一致的數據集,這教導模型很少.

出版的資源和基準中很大一部分涉及普通話-英語、印地語-英語和阿拉伯語-英語,還有少量 低資源對數 包括弗里斯蘭-荷蘭語和馬來語等. Scale甚至對於資源豐富的對子來說也是謙虛的: ASRU 2019 普通話-英語挑戰發佈500小時僅限普通話音頻,200小時內發音密碼開關音頻,40小時開發數據. CS-Dialogue,一個較新的實體,包含104小時自發的普通話-英語對話. 對於南非語言,從肥皂劇音頻中抽取的一個經常引用的教案提供了14.3個小時,跨越英語、isiZulu、isiXhosa、Setswana和Sesotho——14個小時,用於5種語言,這是地球上最密碼化的語言環境之一。

文獻直接講述了爲什麼:現實世界代碼交換是數據稀缺的,因爲註釋corpora仍然很少,而且收集起來也非常昂貴,一個具體的原因很容易錯過——代碼交換主要是一種口語的,非文學的現象,所以刮掉文本不會產生. 書面記錄不完全代表它所居住的登記冊,這意味着對於大多數語言來說,這種數據不存在,必須製作。

閱讀演講不會產生自然的代碼切換——將雙語演講者手拿一個腳本,他們讀了腳本. ASRU 挑戰數據是通過智能手機在靜室收集的,發言者來自 30 省,它能產生乾淨的音頻和受控制的條件,但能限制自發性。自發的對話能產生真正的切換和更硬的音頻: CS-對話體是作爲自發對話而建立,並附有完整的文字記錄,南非廣播體使用廣播材料恰恰是因爲劇本引領不會產生這種現象,大多數節目所接觸的切實解決辦法是按主題進行的對話——讓參與者討論而不是句子來閱讀,讓轉換自然發生。

發言人人口統計需要謹慎的傳播, 以他們同樣的方式 重音和非本地語音集ASRU的數據報告,30個省的發言者,70%在30歲以下,沒有明顯的性別不平衡——值得注意的是,這是一個侷限性而不是模式,因爲不同年齡、教育和社會環境的轉換模式差別很大。 記錄條件應該與部署相符:如果產品在吵鬧的環境中在手機上運行,可控錄音室音頻就會產生一種只工作在錄音室的模型. 域覆蓋也比單語集更重要,因爲切換行爲依賴域——技術詞彙觸發一些社區切換,而日常對話並不如此.

核心要求是文字層次的語言標記. MUSCAT基準團隊在進行多語言科學對話時,指示註釋者在每次發生代碼切換時,都要標記屬於嵌入語言的所有單詞——最低可行的常規不僅僅是說到的,而是每個符號屬於哪一種語言. 沒有它,一個記錄片就是一個單一語言的模型會錯誤讀取,一個代碼切換模型無法學習切換點.

還需要預先確定幾項決定。 嵌入式語言的腳本選擇:當一個印地語者使用英語單詞時,它是用拉丁文寫成還是用文譯成德瓦納加里? 兩種公約都存在,並且將兩者混合在一個語體內是失敗模式。 詞中處理:對於帶有班圖語fix的英語根,是標爲一種語言的單詞,兩者兼有,或單獨分類——沒有默認的答案,註釋指南必須說明一個. 命名實體和藉詞:一個作爲藉詞輸入矩陣語言的單詞不是一個代碼交換,而線條位於一個既定的藉詞和一個真切換之間需要一個有文件記載的規則,有實例或兩個註釋者會用不同的方式繪製. 語言對稱化 與誰在何時發言這一單獨問題一起,回答使用哪種語言的問題是一個獨特的層次,是範圍界定中最常被遺忘的層次; DISPLACE 挑戰將它視爲其本身的註釋任務,與 語音分化工作 更廣義地說。 南非教案的從業人員使用ELAN對單一語言和混合語言部分進行人工說明,收集每種語言的時間統計以覈實代表性——知道密碼轉換教案內每種語言存在多少小時不同於瞭解總時數,只有第一個教案告訴你是否可以使用平衡。

孟加拉語的流利但英語不流利的語句會錯寫英語部分。 一種流利但不熟悉本地混合模式的流利語句會使切換正常化,用一種語言寫出揚聲器“意義”而不是他們用兩種語言實際說的話。 MUSCAT團隊打擊了與此相關的版本:無法找到既能語言流利又熟悉技術科學論述的外部註釋員,他們使用自動抄錄作爲第一通行證,並且讓原演講者修正自己的錄音,保證語言和域的準確性. 這種具體做法並不普遍地涉及每個項目,但基本原則確實如此——覈查層需要與發言者語言相同的人,而不僅僅是兩個語言各自具備的能力。

這也是一個原因 管理多語種數據收集 方案預算中分別編列了代碼交換語言對,而不是將其摺疊成標準的單一語言範圍。 Lifewood 運行收藏通過 40+ 跨省服務中心 30+ 而在地區內存在是要求而不是偏好。 邦格拉-英語在達卡,馬來-英語在吉隆坡,斯瓦希里-英語在內羅畢:每個地方都有自己的切換點,有自己的固定借款,以及自己對混合物的自然而不是性能的感覺。 從同一社區徵聘土著貢獻者 這裏具體是指覈查是指來自該社區的第二位發言者,而不是來自其他地方的雙語審查員,而這正是支持覈查的同一原則。 運行語音數據收集程序 更廣義地說。

級聯方法 — — 分類,然後是路由 — — 增加了複合性,並切換中節切詞。 端到端多語言架構現在在本地處理內感開關,而無需LID路由管理,據報道,在語言邊界上,字數錯誤率會降低高達55%。 框架級語言識別, 運行在 10 至 25 毫秒的聲學切片上, 而不是整個語音上, 直接解決一個標籤- must- win 的問題。 收集的含意是, 僅標註在語音級別上的數據的價值低於它; 詞級和幀相匹配的標籤已成爲有用的格式 。

由單一語言的文字記錄產生的合成密碼交換數據正被用來補充真實數據,最近的工作框架明確以此爲手段減少對昂貴的實時世界收集的依賴。 警告與這個領域的其他任何地方相同:合成切換反映了誰設計生成過程的切換模式,而不是社區的規律,所以即使它補充培訓的地方也需要真正的數據作爲評價的主錨. 還有一個值得注意的測量變化——標準字誤差率平均是整個語句的性能,它淡化了實際重要的事物. 專門爲這一問題提出的點點差錯率,測量開關點本身的準確性,因此,在假設可接受的集合WER表示可接受的開關點性能之前,項目委託編碼切換數據應詢問評價將使用何種度量.

• 語言對稱和方向——印地語-馬特里語配音與英語插入的動作與反面不同.
• 範圍上的轉換類型,明確包括是否包括詞內的情況以及如何標記。
• 以利法,以及自發性或音頻質量在兩種衝突時優先.
• 議長人口統計,年齡和設定的分佈是具體而非假設的,因爲兩者的轉換行爲都大不相同。
• 完全轉寫常規,有工作實例:字級語言標記,嵌入語言的腳本,詞內規則,借邊,和對位化層.
• 每個人的語言持續時間指標在訴訟官署, 不只是總的時數。
• 評估的尺度,所以收集是最佳的,如果這很重要的話,用於切換點的性能。
• 語言語言者與語言者來自同一社區的驗證,而不僅僅是雙語審查。

正確理解會議,而一個適度的體格是有用的。 錯誤理解它,一個大體格是四種註釋風格的混合,沒有模型能夠從中學習一致的規則。