簡短回答： "我們覆蓋斯瓦希里"不是報道聲明,AfriVoices -KE 基庫尤語跨越5個方言——基安布、穆朗加、尼雷裏和基里尼亞加,基里尼亞加又細分爲基里尼亞加,卡倫真語跨越南迪和基普西吉斯兩個組別,加在一起估計佔了大約的比重。 60 改爲: 70% 語言名稱。 ISO 密碼把兩個都拼了
核心重點
- AfriVoices-KE爲Kikuyu(Kiambu, Murang'a, Nyeri, Kirinyaga分裂爲Käi-Ndia和Gächplangplá)使用了五聲框架,爲Kalenjin(南迪和基普西吉斯)使用了兩聲框架,估計佔到60%至70%的講音者。
- 歧義變異涉及詞典,音素,親聲和形態學差異;區域口音主要是在共用詞典和語法中具有口音差異.
- 標籤來源於地理或ISO代碼,將方言和口音拼湊在一起,這扭曲了集合決定,使模型錯誤更難診斷.
- 在方言連續語中,毗連的定居點是相互理解的,而遙遠的定居點則不是,因此,在品種之間劃定的任何邊界都是決定而不是發現。
- 覆蓋框架具有保存期:地理傳播分散特徵,方言平分逐漸侵蝕地方差異。
爲什麼一個語言名稱不足以定義覆蓋範圍?
單一語言名稱可以隱藏幾種不同的品種,因此,覆蓋說明必須說明所接觸的品種以及它們代表的發言者的大致比例,而不僅僅是語言。
有個客戶端要Kikuyu的語音數據 Kikuyu大概有 8.15 百萬發言者,a ISO 代碼和維基百科的頁面 採購是一回事
非洲志願行動隊-KE小組收集了這一資料,採用了涵蓋基安布、穆朗加、尼雷裏和基里尼亞加的五極框架,基里尼亞加本身又細分爲基希-恩迪亞和基希奇克韋爾特,以便捕捉區域語言和社會語言差異。
五個品種,從一個線項在範圍文件中.
和卡倫金,一個南方的尼羅特星團,大約 6.3 同一小組作出了相反的決定,他們集中關注兩個最廣的團體,即南迪和基普西吉斯,這兩個團體合在一起估計佔了大約59%。 60 改爲: 70% 說卡倫金語的人
大部分項目都暗中做出同樣的決定,在招聘最容易的地方招聘,而從未寫過最後的結果。
方言與地區口音有何區別?.
視差變化 涵蓋詞彙,語法,音響學和音韻學的不同——不同詞和語法的不同. 區域口音 兩者是互換的,這是後來推翻覆蓋計劃的錯誤。
爲什麼這很重要,用提出觀點的研究人員的話來說:從地理或ISO代碼中衍生出來的標籤可以將詞典和語法差異與發音差異相混淆,既影響集合決定,也影響模型錯誤的解釋.
讀兩次,因爲它解釋了項目失敗的類別。如果數據集將兩個品種單獨標出標籤,因爲它們聽起來不同,但它們共用一個詞彙,那麼你就會將本應集合的數據分割開來。 如果它標記爲兩個相同,因爲它們共享一個區域,但是在語法上卻有所不同,那麼你就可以集合本應被分割的數據。 不管怎樣,當模型運行不佳時,你無法分辨問題究竟是聲學還是語言學。
第三個有用的軸線與這些軸線並列。 語音體也因寄存器而異,即以活動或設置爲條件的語言,以及影響,即通過語音表達的情感。 數據集可以具有極好的地理覆蓋範圍,只覆蓋一個登記冊,它產生一個處理每個區域正式講話和無處對話講話的模式。
爲什麼ISO代碼不能只是定義方言邊界?
ISO代碼的建立是爲了識別語言,而不是捕捉分光分辨,因此將ISO代碼作爲覆蓋計劃來對待,就完全隱藏了覆蓋計劃需要描述的變異.
已公佈的公司名稱問題有詳細記載,使現有數據比表面更難再使用。 跨數據集的對角標籤由地緣政治邊界、粗糙的區域集團或按區域組合的不同定義。 ISO-樣式代碼,如 APc 或 ARY 。 研究人員認爲,其後果是,這妨礙了對低資源品種的數據進行原則性彙集和選擇。
阿拉伯文語音技術一再出現的瓶頸問題廣泛適用:開放性標準化有限,代表性不足的品種覆蓋範圍不均衡,分分辨標籤不一致,數據質量和收集條件的文件記錄不足。
還有一個發現是,它違背了最大限度地擴大數據量的本能。 集合並非普遍有益:阿拉伯連續體之間相互瞭解性的變化,可能使不分皁白的混合比目標跨射線傳輸更低,我們指南中進一步闡述了這一區別。 收集密碼切換的語音和文本.
相鄰品種的更多數據可以讓一個模型對目標品種更糟糕。 這意味着覆蓋範圍範圍不是“預算允許的收集儘可能多的品種 ” , 而是“決定哪些品種屬於一個整體,哪些不屬於一個整體 ” 。
方言連續語中如何覆蓋範圍?
一個方言連續體沒有自然的分界線,因此採樣框架必須是地理位置而不是命名品種,有足夠的地點可以插上它們之間的變異.
方言連續 是一個連鎖毗連住區,說來非常相似,相互理解的品種,在同一連續住區中,較遠的住區說出彼此之間不理解的品種。 文獻中給出的例子包括西羅馬語,東斯拉夫語和斯堪的納維亞語的continua,高加索語被指爲一個特別複雜的案例.
沒有任何自然界限可以劃定。在“Variety A”和“Variey B”之間劃出的任何界線都是作出的決定,而不是發現的事實。
方法後果被明確表述:爲了解釋一個地理區域的變化,有必要從許多不同地點收集數據。 歷史失敗模式同樣是顯而易見的,因爲大多數研究都曾假定過同一分佈。
對於一個數據程序來說,這意味着取樣框架是位置,而不是語言。連續連續的3個記錄站點將產生一個代表三個點的數據集,並且插上什麼,這是我們概述的問題。 低資源語言語音數據收集 更深處的覆蓋。
方言的覆蓋範圍是怎樣劃分的?
覆蓋範圍通過傳統調查、大規模應用或機構數據以及現有參考工程的組合來繪製,每種交易成本與可靠性的對比不同。
傳統的方言調查採用有條理地收集各區域具體變量的方法,具有權威性,而且極其緩慢:在區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、區域、 UK 編輯 US 在一個世紀的研究中
基於 App 的大規模收集可以更快地進行。最近收集的數據中最令人印象深刻的例子是: 26 交替自上而下 47,000 發言者超過 4,900 當地 UK 使用移動電話應用程序——一種規模化的傳統調查方法無法接近。
以公司爲基礎的繪圖來源於大型地理定位文本的變異。關鍵的問題是它是否通用,現在有證據表明它確實具有:一項比較 139 由 an 1.8 10億字的地理定位 UK 推特上反對 BBC 聲音方言調查發現這兩個來源之間有着廣泛的一致。 這種基於驗證的基於授權的測繪,用於對區域差異進行一般性調查,這很重要,因爲它比調查工作便宜。
現有參考文獻,如Ethnologue和可比參考文獻,提供了方言目錄和演講者估計,非洲語言學會(AfriVoices-KE)以其多樣性框架和演講者人數爲例,它們是一個起點,而不是範圍界定計劃,因爲資料來源和演講者數字之間的清單是估計數。
商業方案的實際做法通常是結合:參考工作是列舉候選品種、實體或應用數據,以檢查哪些區別實際上存在,以及我們指南中所討論的當地專門知識。 徵聘非洲語言數據的當地撰稿人,決定部署的哪個事項。
覆蓋框架是否過期?
是的,隨着地區之間的特徵和局部差異的擴大,分界線隨時間而變化,逐漸向標準種類的消失,因此,從較舊的參考來源所繪製的覆蓋圖可能已經過時。
地域分佈 語言特徵是語言特徵從一個地方逐漸傳播到另一個地方的過程,通常通過不同方言的講者之間的面對面接觸. 撥號平調 也就是當地方言之間差異的侵蝕, 通常朝向一種標準品種。
A. 國家 UK 將新的調查數據與1950年代的數據進行比較的研究發現,有些方言變量已經發生變化,而另一些變量在60多年的時間裏保持不變。 這就是有用的細微差別:變化並非簡單地消失,而是移動,不均勻。
對於一個數據方案來說,這意味着一個從二十年前發表的參考工作所建立的範圍框架可能描述已經消除的區別和已經出現的缺失的區別。 收集重音和非本地語言.
記錄的覆蓋範圍應包括哪些?
在開始收集前,應在紙上寫明範圍,並指明所覆蓋的品種、用於鑑別的品種來源以及有意遺漏的。
以該清單的資料來源爲名的候選品種首先列出。 茲說明一個選擇,其理由如下:非洲植物物種協會-KE Kallenjin決定是模式,選擇兩個品種,估計發言者的比例爲60%至70%。
發言人人數估計的品種,連同資料來源,都保持覆蓋要求可以覈實。 取樣地點而不僅僅是品種,特別是在連續情況下,明確集合規則應說明哪些品種將在數據集中作爲一個標籤處理,哪些品種不會根據語言理由而不是行政上的方便來決定。
元數據計劃中的方言和重音標籤的區分讓下游用戶聚集或適當分裂。註冊和演講者要素的覆蓋範圍應當記錄,而不僅僅是地理。 超出範圍的說明是被最經常省略的部分,也是客戶最需要的部分。
值得從Voxlect基準中借用的一個技術細節:在構建方言分類數據時,研究人員將短於三秒的音頻剪輯排除爲不足以進行強健的方言分類,並因蘇格蘭等區域品種缺乏特異性而被簡單地標註爲"英國"的標本被丟棄. 兩者都是質量決定,只有在首先決定目標顆粒性時纔有意義。
怎麼樣 Lifewood 地方層面的覆蓋範圍?
Lifewood 將覆蓋範圍範圍作爲與該區域人民作出的語言學決定,然後用非洲語言學 -- -- 的文字記錄。KE 記錄了Kikuyu和Kalenjin:已命名的品種、說明的理由和可覈查的發言者的佔比。
Lifewood語言能力跨度 100+ 語言,以及每種語言的方言和口音的區別,都帶有大部分操作權重。接下來是進行這項工作的兩個觀察。
首先是,多樣性框架必須來自該地區,而不是從首都的參考工作中選出。 參考清單是一個起點,它們往往比演講者本身所作的區分更爲粗略,有時更細微,保留了已經平息的區分。 能夠告訴你是哪個人住在那裏 那是一個招募問題 之前是一個語言學問題 我們的作品 非洲在 AI 註釋 進一步探索。
第二,覆蓋範圍界定是大多數多語種項目悄悄地出錯的地方,因爲其發生時間很早,看起來很行政,通常由寫工作說明的人解決. 在內羅畢的一個項目中,“Kikuyu”和新兵將交付一些東西,它交付的將是移居該市的人所說的一種特殊種類,被標爲整個語言。在交付統計中,沒有任何東西能顯示這一點。它後來作爲一個在一區運作良好、四區運作不良的模型出現。 買家們比較了這些語言。 多語種數據收集公司 應要求每個供應商顯示這種有文件記載的範圍,而不是語文清單。
補救辦法是沒有魅力的:明確決定框架,根據地點而不是根據一個語文名稱徵聘人員,報告覆蓋情況,而不是彙總。 多種語文數據收集 而不是一次性的