從本地語言到全球AI模式

開始一句話。一個60多歲的女性,在孟加拉國東北部的錫爾赫特外的廚房裏,被問到她會如何告訴別人最近的藥房。她在錫爾赫蒂語中回答,她一生講的語言,大約在8秒內,中間有一個小笑聲,因爲問題很奇怪。

片段是8秒的片段 片段是... AI 培訓數據實際上已經開始,值得懷疑的是,爲什麼它不能來自其他地方。

希爾赫蒂大概有 11 孟加拉東北部、印度巴拉克河谷和印度海外僑民社區 UK,則 US 語言學家認爲它屬於次要的、政治上不被承認的和研究不足的,儘管相互知性有限,但被廣泛視爲孟加拉語的一種方言,阻礙了記錄和保護它的努力。 AI 區域品種再次進一步減少——比較時更深入地涵蓋了這一模式。 AI培訓中使用的高資源語言和低資源語言.

現有內容的規模很容易說明,一個出版的並行體,包括Sylheti、Chittagonian和Barisali,每方言約1,500個字、130個條款和980句,後來的一項研究工作將Sylheti和英文部分修改爲1,500句,每句由講母語的人翻譯,並進行交叉覈對。 與英語的數萬兆物相比,情況是顯而易見的。對於這種語言來說,互聯網不是一個來源。人們就是這樣。

在她被問到之前, 她已經決定了幾個事情, 由她永遠不會遇到的人。

有一種規格。有人確定該項目需要自發的演講,而不是閱讀句子,從一個特定年齡段的演講者,在普通房間而不是工作室,用的是人們實際擁有的電話,覆蓋方向、健康和金錢等日常話題。

她通過工作委員會而不是通過工作委員會找到和篩選,對於這種語言,通過當地網絡、社區組織和已經在該區域的交付小組,向捐助者提供這種服務,這與《公約》所述徵聘辦法相同。 如何爲低資源語言收集語音數據她被檢查過是否品種合適,因爲一個區的Sylheti與另一個區的Sylheti不同。

已經正確採納了同意,並告訴她錄音將用來做什麼,誰將保存,以及如何撤走。 在這方面,知情同意是指在開始錄音之前而不是錄音之後,發言者被告知了預期用途、數據持有人和提取程序。 能夠識別發言者的語音錄音在幾個制度中被視爲生物鑑別數據,明確知情同意是使用該數據的唯一可靠基礎——在《公約》中充分規定了這一標準。 AI數據提供者應如何同意和支付她的補償是事先商定的。

提示已經設計好了。沒有限制,所以她自然地說話,而不是一個能毫不猶豫地產生閱讀演講的腳本,沒有笑容,也沒有讓錄音有用的任何特性。

只有這樣,纔會有任何人按下記錄。這是第一次損失發生的地方。門會關上,文件夾會下降。連接會降低中速。她會切換到孟加拉語,這完全是自然的,可能或可能不符合規格。

片段現在轉到一個轉寫, 立即項目面對的東西 從來沒有出現在英語。 拼寫法是選用口語的寫作慣例——語言的文字,拼寫和標註規則是抄錄筆錄的,對於許多語言,不止一種語言正在積極使用.

大約 3,000 在世界任何地區人權和基本自由遭受侵犯的問題 7,000-plus語言有一個既定的書寫系統,這意味着很多語言主要是口頭的: 語音,幾乎排除寫作,已經攜帶了知識. Sylheti坐在這裏一個不尋常的位置,它有自己的歷史腳本Sylheti Nagri,可以追溯到幾個世紀,它也用東那加里語寫作,偶爾用拉丁字母寫作. 三個選項,不同的社區傾向於不同的,沒有單一的官方標準.

因此,在打出一個單詞之前,項目必須決定它使用的是哪種常規,記錄這個決定,並一致地應用它。 錯誤地理解這個錯誤,數據集製造了它自己的不一致之處:兩個轉寫器拼寫同一個詞,兩個詞都不同,兩個詞都正確,模型學習噪音。

那麼普通的判斷呼叫就來了, 軟件無法做出。 笑是不是被標記了? 假的開始是被轉寫還是被清理了? 當她換到孟加拉語三個字時, 被標記爲密碼切換還是默默的正常化? 代碼切換是指一個演講者在同一語句中在兩種語言或品種之間移動,一個項目必須事先決定是標記還是使其正常化 —— 涉及的選擇包括在 如何收集混合語言的語音和文本區域讀音是作爲標準形式還是按照她說的寫?

每一個問題都是模型將學到什麼。 在運行良好的項目中,答案是事先寫下來的,困難案件會交給一位資深演講人,而不是由十種不同的轉錄器單獨解決。

記錄稿現在去檢討,同種不同的演講者會聽音頻並讀讀文本,有趣的部分是他們正在尋找的東西.

自動檢查已經運行並獲得通過。 文件是合適的長度、 正確的格式、 正確的樣本率, 而不是重複的, 而不是沉默的。 沒有任何文件告訴任何人記錄是否正確 。

評論員正在檢查只有演講者才能聽到的東西:一個詞是否被正確聽到,區域表是否被保留下來或被平整成標準孟加拉語,代碼交換器是否按照準則處理,演講者是否實際上來自她所招募的地區。 該領域的出版作品正是使用這個模式。 在前面提到的Sylheti基準中,翻譯由講母語的人制作,經過交叉驗證,兩名講西班牙語的人在平均得分減少個人差異之前,獨立地得分,這是在2001年討論的共識評分。 黃金套、審計抽樣和共識.

轉錄人和復錄人有不同意見時,案件移送裁判,裁定書有正當理由記錄在案. 判罰是高級審查員解決轉寫員和審查員之間的分歧,記錄推理,以便裁決可以重複使用的步驟. 最後的細節是將一個改進的項目與一個重複的項目區分開來:裁決回溯到準則中,所以接下來的一百個轉寫者繼承答案而不是重新定義答案.

我們的8秒剪輯就活了下來。很多沒有。在記錄失敗、規格錯配、同意差和審查失敗之間,記錄的每件事情中有意義的一部分從未達到數據集。這種減員是正常的,爲它編制預算是交付項目和超支項目之間的區別。

到了我們包裝的時候,它攜帶了音頻本身,其技術屬性被記錄下來,經過覈實的筆錄被記錄在了有記錄的正字形中.

其還載有揚聲器元數據:年齡波段,性別,區域和語言多樣性,因此數據集可以在稍後進行平衡和審計. 記錄條件也被記錄:設備類型,環境,背景噪音級別. 同意記錄將剪輯與有文件證明的許可和賠償記錄聯繫起來,其質量記錄顯示是誰轉錄的,誰審查的,是否裁定的,以及依據什麼理由。

這包是使剪輯成爲資產而不是負債的。 證明是將培訓數據與同意、收集條件和回顧歷史聯繫起來的有文件記載的鏈條培訓數據購買者必須日益證明,而不僅僅是證明質量,沒有文件記錄的同意鏈的數據集無論音頻有多好都會帶來風險。 之後要重建任何數據幾乎是不可能的,這就是爲什麼必須在工程進行時加以記錄的原因。

這也是讓數據集在以後被切開的原因。 當一個地區的老演講者模型表現不佳時,人們可以發現,因爲元數據使得問題答案可以回答。

在像希爾赫特這樣的地方建立可靠地建立這種機構,是一個實際建議,而不是軟件。 它需要地面上的人,受過訓練、篩選和裝備。 Lifewood從2021年起在孟加拉國建立了語音AI數據操作和額外的樞紐,原因正是因爲:收集和核實區域語言的語音工作不能從其他地方遠程運行,它坐落在更廣泛的範圍內. 多種語文數據收集 公司通過服務中心運作。

我們的剪輯現在加入了幾百小時的類似錄音並進入訓練。光是它就改變不了任何可測量的東西。它與其他的剪輯一起,就做了三件事:它教聲學規律——在這個時代,這些元音如何通過電話發出聲音,一個風扇在播放; 它有助於模型對語言如何組合的感覺,包括標準孟加拉語數據永遠不會提供的構造;它分量地轉移了標語器將什麼視爲普通,這影響了語言如何有效地處理模型的生命.

兩種因素決定了貢獻是否重要。 第一種是數量:低於每個語言的某個符號或小時閾值,一個貢獻太薄,無法移動任何東西,語言最終被列出爲支持,無法使用。

第二個是質量,這裏的研究令人鼓舞。 多語種預訓研究發現,精密過濾的蠍子可以比對一小部分的標誌物的基線性能,這意味着一個較小的,經過仔細覈實的集合物可以比一個更大的粗心的集合物好。 對於一個每個小時都花費昂貴生產的語言,這是整個管道中最重要的經濟事實.

這也是人類努力變得隱形的點。 使用完成的模型的人不會看到同意表、裁決說明或捕捉到平坦的區域元音的審查者。 作品消失在權重中。

兩年後,另一個地區的女性在Sylheti的電話上詢問一位醫療服務助理,她在哪裏找到一家開着的藥店。它回答問題。它不要求她重複自己,不帶她去孟加拉,也不完全聽錯一個地區的話。

她不知道一個陌生人在廚房裏呆了八秒, 成功看起來就是這樣: 完全無法辨別, 從用戶的角度來看。

值得精確地說明是什麼使這個模式成爲可能,因爲很容易歸屬於模型。 建築可能在國際上開放和共享。 計算法被租用了。 兩者都不是限制。

限制在於有人去了Sylhet地區,找到了演講者,獲得了同意,選擇了一種矯正圖,記錄、轉錄、覈實、裁定和記錄,超過幾千次——這是Lifewood在更大範圍內開展工作的基礎。 低資源語音數據 和提供商的排名 互聯網絡中最頂尖的多語言AI數據收集公司.

這就是旅程。它從一個人說話開始,最後是一個人被理解,整個中間部分是其他人用互聯網大多忽略的語言認真工作。