簡短回答： 工作委員會和衆包平臺無法接觸到大多數非洲語言的講者,因此招聘是通過各種關係——研究界、大學和現有語言網絡——進行的。 Masakhane成立於2018年,已經制作了400多個語言模型和20多個數據集,並培訓了100多名非洲數據科學家,這使得它成爲了進入這些社區最有成果的路線. Nekoto等人(2020年)顯示,社區在沒有正式培訓的情況下爲NLP做出了有意義的貢獻.
核心重點
- 招聘是通過各種關係進行的:研究社區、大學網絡、社區組織和結構化方案。
- Nekoto等人(2020年)表明,資源低的社區即使沒有經過正式培訓,也對NLP做出了重大貢獻,這使得本土流利而不是以前體驗到資格標準.
- Masakhane成立於2018年,已製作了400多個語言模型和20多個數據集,並培訓了100多名非洲數據科學家,在文獻中被命名爲與大學郵件列表和組織Slack頻道並行的主要招聘渠道.
- Masakhane非洲語言中心正在收集50種語言的多模式數據,將每個語言500小時的語音數據用於語音對語音翻譯,資金來自LINGUA非洲(Gates基金會、Google.org和Microsoft AI for Good Lab)。
- 現有數據往往無法使用:JW300,一個廣泛使用的基線體,對宗教內容有嚴重偏頗,方貝氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏
- 一個小的合格人才庫使得保留具有決定性作用:從一個十人種特異性團隊中失去三個貢獻者是30%的能力削減,需要幾個月的時間才能重建.
爲什麼工作委員會不能接觸到大多數非洲語言的講者?
工作委員會和衆包平臺爲廣語工作,其他一切都失敗,因爲需要聯繫的人並不是瀏覽國際自由職業平臺做註釋工作.
發佈Fongbe演講人的工作廣告,而申請將很少,而且大多不合適,這並非因爲大約200萬Fongbe演講人不存在,而是因爲頻道錯誤。 機械土耳其語和普羅利菲克語有斯瓦希里語可用集合,實際上沒有Fongbe或方特語可用。
在非洲語言數據中,這就是招聘問題,它比下游幾乎所有東西都更能決定項目的成功。 設計良好的收集協議是針對一個無法填充的出資者集合執行的。 工作路線有詳細記錄,一項研究結果尤其應改變各小組對誰有資格參加工作的想法。
哪些研究結果擴大了符合條件的繳款人庫?
Nekoto和同事(2020年)發現,資源低的社區即使沒有正式培訓,也爲自然語言處理做出了重大貢獻,這使得資格限制從技術背景轉向本土流利和奉獻.
數據操作中的默認假設是,貢獻者需要培訓才能產生可用的輸出,並且需要用於大多數保留註釋的任務。 參與性語言數據收集 證據表明,通過不斷與講語言的社區接觸而不是一次性支付任務來建立數據集是另一條途徑,唯一一條結論就是使社區招聘工作變得可行:它按規模順序擴大可滿足需求的人員庫,把負擔轉移到指導性的質量和支助上,而不是篩選候選人。 這並不意味着培訓是不必要的,只是培訓涉及的是任務而不是語言,而且培訓可以提供給以前從未從事過數據工作的人。
合格繳款者實際上來自何處?
合格的貢獻者來自研究和執業社區、大學部門、社區組織和結構化社會服務方案,而不是來自商業工作委員會。
馬薩卡恩 ——2018年成立的非洲語言NLP泛非開源研究倡議——是中央研究界,已經制作了400多個語言模型和20多個數據集,涵蓋語言包括盧幹達,約魯巴,伊西祖魯和阿姆哈拉克,並培訓了100多名非洲數據科學家. 從業人員文獻將Masakhane與大學郵寄名單和組織Slack或Discord渠道作爲基於文化的數據工作的標準徵聘途徑,這一方法詳述於 與大學和社區在語言數據方面建立夥伴關係的指南.
實用力學是無趣的。 在一份有文獻記載的研究中,研究人員通過在連續三週的每週定期會議上向馬薩卡恩社區徵求建議,並通過社區Slack(一種長期的關係),反覆使用,而不是一場運動,來吸引參與者。
相關國家的大學語言學和計算機科學系允許已經瞭解結構化數據工作的演講者,以及深層學習Indaba及其區域 內臟 在整個非洲大陸,活動是該網絡的召集點,在大學存在薄弱的地方,文化協會、廣播電臺和教會或民間團體往往是向特定品種演講者提供演講的唯一途徑。 在拉丁美洲,一個可比模式採用了結構化的社會服務方案,使學生志願人員參與文字記錄和分解,產生了8種開放語言資源,一些非洲國家也存在類似的結構,商業數據方案未充分利用這些結構。 任何這些頻道的運行都與所覆蓋的頻道相同 如何徵聘、培訓和認證公證員.
現在社區領導的努力有多大?
Masakhane非洲語言中心目前正在收集50種語言的高質量多式聯運數據,目標是每種語言500小時的語音數據,並輔之以慈善和公司資金。
目標就是 25,000 以目前公佈的科羅拉語持續數十小時的語言計算。 LINGUA 非洲把蓋茨基金會聚集在一起, Google和 org 和 電話 Microsoft AI 與 Masakhane 一起爲 Good Lab 提供語言財務和雲計算支持 AI 模式也正在推廣到地方一級:在深層學習Indaba 2026 以「主權情報」爲主題, Masakhane宣佈社區試點贈款計劃,
研討會上最有用的框架是“網絡之後:你的語言在哪裏生活?” , 即網絡上流傳的非洲語言數據稀缺、法律上的限制和文化上解密, 大量未開發的數據則存在於全大陸的檔案、無線電錄音、口述歷史和實物儲存庫中。 招募人員不僅是爲了找到人們用麥克風說話——而是尋找持有和能夠允許查閱已有材料的人,這一論點與更廣泛的理由是一致的。 以低資源語言收集語音數據.
爲何已經公佈的數據通常無法使用?
現有非洲語公司往往無法使用,因爲域域偏偏、整形不統一和元數據缺失,因此無法通過重新使用已有的來填補新收藏的徵聘。
許多基線非洲語言模型接受了關於JW300的培訓,這是宗教出版物中衍生出來的大型平行體。 教程確實有用,但嚴重偏向宗教內容,這被明確稱爲發起AI4D非洲語言方案的一個動機;該教程培訓的模型處理經文登記和談話或技術登記不當。 方培使用如è, é和ê等的直腸二解,有些公司保留了完整的二解,而另一些公司則完全剝離,在數據集合並時造成兼容性問題——一個非標準正字形和有限數字存在的例子,被命名爲整個非洲語言資源調查的反覆障礙.
還有一個文獻空白:2026年的一項調查指出,Masakhane專注於機器翻譯意味着資源選擇的關鍵元數據經常缺失,包括詞彙或句子中的數據集大小,許可證條款,文件格式,域域覆蓋和預處理要求. 實際後果是,一個假定能夠從現有來源組裝一個體的項目通常在幾周後發現,這些體系來源是宗教的、未經批判的、沒有商業用途許可證的,或全部三種。
如何設計一個能奏效的招聘程序?
工作徵聘程序具體規定了準確的語言種類、流利而不是資格的屏幕、通過現有關係而不是開放平臺的路線。
吸引人來參加,而不是語言:Twi不是一回事,來自Kumasi和阿克拉的一位貢獻者可能會在對數據集重要的方式上有所差異,因此,一般要求“Twi people”的呼聲會過度顯示任何品種擁有最強網絡的品種。 使用目標語言的簡短實用任務,即使用流利而不是資質的屏幕——考慮到Nekoto的發現,要求事先進行註釋,從而過濾出大多數可行的集合,而不會帶來質量好處。
透過人而不是平臺的路線:每個記錄的成功都通過現有的關係、社區、部門或協會,以及預算時間來建立這些關係,然後項目開始前才能開始,因爲不能在兩週的時間內建立這種關係。 明確解釋目的,因爲參與項目的貢獻者一貫回應以下論點:工作爲講其語言的人服務,而他們所徵聘的語文比只講高。 在適當情況下提供承認——一份有文件記載的研究報告向參與者提供了作者資格,雖然這一模式不適合每個商業項目,但承認在支付費用的同時具有真正的招聘價值。 正確支付並說得如此前衛:肯尼亞2026年AI政策草案建議,參照國際工資率,對註釋和評價作用制定公平支付基準,在勞動力條件爭論活躍的市場,這些條件屬於招聘提議,而不是後臺細節,這一點在下文中作了進一步闡述。 如何同意和支付捐款者.
爲什麼在這裏聘用比留用更重要?
留校工作在非洲語言方案比一般的註解工作更重要,因爲任何單一種類的合格人才庫都很小,因此失去少數受過訓練的學員可能使交付能力減少數月。
對於一個擁有少量合格人才庫的語言來說,受過訓練的捐獻者不是一個可以替換的單位。 如果項目中有10人講目標種類並生產經覈實的產出,損失3人就是能力降低30%,需要幾個月才能重建,因爲找到他們的招聘渠道是關係而不是排隊。
有三個因素特別減少了這方面的減員:可預見的工作很重要,因爲零星參與會使人們失去其他承諾——一個在9個月前中斷兩週的繳款人,在項目返回時,在功能上是新徵聘人員。 進步很重要,因爲成爲審查者、然後領導、留下來的撰稿者,這也解決了覈查-人員配置問題,因爲第二語言審查層需要的正是收集層已經培訓過的人。 反饋很重要,因爲告訴貢獻者他們的數據用於什麼,以及模型是如何改進的,這異常地激發了參與性工作,而且沒有付出任何代價。
這與商業交貨中心有何關係?
社區主導的舉措和商業交付業務是相輔相成的,而不是相互競爭的,因爲爲低資源語言徵聘人員本身就屬於當地語言,而且以關係爲基礎。
宣佈利息: Lifewood 將非洲的語言交付中心納入在線,這是最近擴展的一部分,招聘低資源語言方案是這些中心工作的一大部分。有兩個觀察認爲,無論由誰主持這項工作,招聘工作都不可集中進行,第一個是,吉隆坡的一個小組不能在達喀爾招聘沃洛夫語者,不是因爲能力,而是因爲渠道是當地、非正式和基於關係的,而且知道哪個大學系教授相關語言學,社區廣播電臺能覆蓋正確的講者,而協會召集所需的具體多樣性知識,而這種知識是隻有實地才存在的知識。 第二個是,馬薩汗和類似倡議正在以規模和合法性建設開放資源,商業業務無法複製,因此明智的商業立場是在此基礎上發展:從這些網絡中僱用,尊重他們的許可證,儘可能作出貢獻,並接受一個志願人員社區無法承諾的、有時限的、有合同範圍的信息,這是核心服務。 管理多語種數據收集.
在界定方案範圍時,你應計劃什麼?
範圍界定應把建立關係的時間用於徵聘時間之前,具體說明確切的語言種類,並計劃保留與徵聘一樣的刻意。
在徵聘之前,爲沒有現有人才庫的語文開始徵聘工作,這已是正常的,不是拖延,而是在實際而不是在資格證書上指定目標種類,並篩選實際的、沒有數據經驗的有能力的派遣國。 檢查在委託之前已經存在什麼,並具體檢查域偏偏、二極處理和許可證發放,而不是假設公佈的指令書是有用的。 問有哪些離線材料:檔案、無線電錄音和口述歷史收集可能比任何收集方案都更有用,這把徵聘工作的一部分變成找到這些材料的保管人——這是支持這種材料的邏輯。 收集低資源語言的語音數據 對照國際基準確定付款,說明徵聘材料中的條件,並計劃保留,從一開始就要進行可預測的工作、進展途徑和反饋循環,這是在2008年1月1日至12月31日期間對各供應商進行比較的辦法。 互聯網絡中最頂尖的多語言AI數據收集公司 和在 非洲在 AI 註釋.