简短回答： 工作委员会和众包平台无法接触到大多数非洲语言的讲者,因此招聘是通过各种关系——研究界、大学和现有语言网络——进行的。 Masakhane成立于2018年,已经制作了400多个语言模型和20多个数据集,并培训了100多名非洲数据科学家,这使得它成为了进入这些社区最有成果的路线. Nekoto等人(2020年)显示,社区在没有正式培训的情况下为NLP做出了有意义的贡献.
核心要点
- 招聘是通过各种关系进行的:研究社区、大学网络、社区组织和结构化方案。
- Nekoto等人(2020年)表明,资源低的社区即使没有经过正式培训,也对NLP做出了重大贡献,这使得本土流利而不是以前体验到资格标准.
- Masakhane成立于2018年,已制作了400多个语言模型和20多个数据集,并培训了100多名非洲数据科学家,在文献中被命名为与大学邮件列表和组织Slack频道并行的主要招聘渠道.
- Masakhane非洲语言中心正在收集50种语言的多模式数据,将每个语言500小时的语音数据用于语音对语音翻译,资金来自LINGUA非洲(Gates基金会、Google.org和Microsoft AI for Good Lab)。
- 现有数据往往无法使用:JW300,一个广泛使用的基线体,对宗教内容有严重偏颇,方贝氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏氏
- 一个小的合格人才库使得保留具有决定性作用:从一个十人种特异性团队中失去三个贡献者是30%的能力削减,需要几个月的时间才能重建.
为什么工作委员会不能接触到大多数非洲语言的讲者?
工作委员会和众包平台为广语工作,其他一切都失败,因为需要联系的人并不是浏览国际自由职业平台做注释工作.
发布Fongbe演讲人的工作广告,而申请将很少,而且大多不合适,这并非因为大约200万Fongbe演讲人不存在,而是因为频道错误。 机械土耳其语和普罗利菲克语有斯瓦希里语可用集合,实际上没有Fongbe或方特语可用。
在非洲语言数据中,这就是招聘问题,它比下游几乎所有东西都更能决定项目的成功。 设计良好的收集协议是针对一个无法填充的出资者集合执行的。 工作路线有详细记录,一项研究结果尤其应改变各小组对谁有资格参加工作的想法。
哪些研究结果扩大了符合条件的缴款人库?
Nekoto和同事(2020年)发现,资源低的社区即使没有正式培训,也为自然语言处理做出了重大贡献,这使得资格限制从技术背景转向本土流利和奉献.
数据操作中的默认假设是,贡献者需要培训才能产生可用的输出,并且需要用于大多数保留注释的任务。 参与性语言数据收集 证据表明,通过不断与讲语言的社区接触而不是一次性支付任务来建立数据集是另一条途径,唯一一条结论就是使社区招聘工作变得可行:它按规模顺序扩大可满足需求的人员库,把负担转移到指导性的质量和支助上,而不是筛选候选人。 这并不意味着培训是不必要的,只是培训涉及的是任务而不是语言,而且培训可以提供给以前从未从事过数据工作的人。
合格缴款者实际上来自何处?
合格的贡献者来自研究和执业社区、大学部门、社区组织和结构化社会服务方案,而不是来自商业工作委员会。
马萨卡恩 ——2018年成立的非洲语言NLP泛非开源研究倡议——是中央研究界,已经制作了400多个语言模型和20多个数据集,涵盖语言包括卢干达,约鲁巴,伊西祖鲁和阿姆哈拉克,并培训了100多名非洲数据科学家. 从业人员文献将Masakhane与大学邮寄名单和组织Slack或Discord渠道作为基于文化的数据工作的标准征聘途径,这一方法详述于 与大学和社区在语言数据方面建立伙伴关系的指南.
实用力学是无趣的。 在一份有文献记载的研究中,研究人员通过在连续三周的每周定期会议上向马萨卡恩社区征求建议,并通过社区Slack(一种长期的关系),反复使用,而不是一场运动,来吸引参与者。
相关国家的大学语言学和计算机科学系允许已经了解结构化数据工作的演讲者,以及深层学习Indaba及其区域 内脏 在整个非洲大陆,活动是该网络的召集点,在大学存在薄弱的地方,文化协会、广播电台和教会或民间团体往往是向特定品种演讲者提供演讲的唯一途径。 在拉丁美洲,一个可比模式采用了结构化的社会服务方案,使学生志愿人员参与文字记录和分解,产生了8种开放语言资源,一些非洲国家也存在类似的结构,商业数据方案未充分利用这些结构。 任何这些频道的运行都与所覆盖的频道相同 如何征聘、培训和认证公证员.
现在社区领导的努力有多大?
Masakhane非洲语言中心目前正在收集50种语言的高质量多式联运数据,目标是每种语言500小时的语音数据,并辅之以慈善和公司资金。
目标就是 25,000 以目前公布的科罗拉语持续数十小时的语言计算。 LINGUA 非洲把盖茨基金会聚集在一起, Google和 org 和 电话 Microsoft AI 与 Masakhane 一起为 Good Lab 提供语言财务和云计算支持 AI 模式也正在推广到地方一级:在深层学习Indaba 2026 以「主权情报」为主题, Masakhane宣布社区试点赠款计划,
研讨会上最有用的框架是“网络之后:你的语言在哪里生活?” , 即网络上流传的非洲语言数据稀缺、法律上的限制和文化上解密, 大量未开发的数据则存在于全大陆的档案、无线电录音、口述历史和实物储存库中。 招募人员不仅是为了找到人们用麦克风说话——而是寻找持有和能够允许查阅已有材料的人,这一论点与更广泛的理由是一致的。 以低资源语言收集语音数据.
为何已经公布的数据通常无法使用?
现有非洲语公司往往无法使用,因为域域偏偏、整形不统一和元数据缺失,因此无法通过重新使用已有的来填补新收藏的征聘。
许多基线非洲语言模型接受了关于JW300的培训,这是宗教出版物中衍生出来的大型平行体。 教程确实有用,但严重偏向宗教内容,这被明确称为发起AI4D非洲语言方案的一个动机;该教程培训的模型处理经文登记和谈话或技术登记不当。 方培使用如è, é和ê等的直肠二解,有些公司保留了完整的二解,而另一些公司则完全剥离,在数据集合并时造成兼容性问题——一个非标准正字形和有限数字存在的例子,被命名为整个非洲语言资源调查的反复障碍.
还有一个文献空白:2026年的一项调查指出,Masakhane专注于机器翻译意味着资源选择的关键元数据经常缺失,包括词汇或句子中的数据集大小,许可证条款,文件格式,域域覆盖和预处理要求. 实际后果是,一个假定能够从现有来源组装一个体的项目通常在几周后发现,这些体系来源是宗教的、未经批判的、没有商业用途许可证的,或全部三种。
如何设计一个能奏效的招聘程序?
工作征聘程序具体规定了准确的语言种类、流利而不是资格的屏幕、通过现有关系而不是开放平台的路线。
吸引人来参加,而不是语言:Twi不是一回事,来自Kumasi和阿克拉的一位贡献者可能会在对数据集重要的方式上有所差异,因此,一般要求“Twi people”的呼声会过度显示任何品种拥有最强网络的品种。 使用目标语言的简短实用任务,即使用流利而不是资质的屏幕——考虑到Nekoto的发现,要求事先进行注释,从而过滤出大多数可行的集合,而不会带来质量好处。
透过人而不是平台的路线:每个记录的成功都通过现有的关系、社区、部门或协会,以及预算时间来建立这些关系,然后项目开始前才能开始,因为不能在两周的时间内建立这种关系。 明确解释目的,因为参与项目的贡献者一贯回应以下论点:工作为讲其语言的人服务,而他们所征聘的语文比只讲高。 在适当情况下提供承认——一份有文件记载的研究报告向参与者提供了作者资格,虽然这一模式不适合每个商业项目,但承认在支付费用的同时具有真正的招聘价值。 正确支付并说得如此前卫:肯尼亚2026年AI政策草案建议,参照国际工资率,对注释和评价作用制定公平支付基准,在劳动力条件争论活跃的市场,这些条件属于招聘提议,而不是后台细节,这一点在下文中作了进一步阐述。 如何同意和支付捐款者.
为什么在这里聘用比留用更重要?
留校工作在非洲语言方案比一般的注解工作更重要,因为任何单一种类的合格人才库都很小,因此失去少数受过训练的学员可能使交付能力减少数月。
对于一个拥有少量合格人才库的语言来说,受过训练的捐献者不是一个可以替换的单位。 如果项目中有10人讲目标种类并生产经核实的产出,损失3人就是能力降低30%,需要几个月才能重建,因为找到他们的招聘渠道是关系而不是排队。
有三个因素特别减少了这方面的减员:可预见的工作很重要,因为零星参与会使人们失去其他承诺——一个在9个月前中断两周的缴款人,在项目返回时,在功能上是新征聘人员。 进步很重要,因为成为审查者、然后领导、留下来的撰稿者,这也解决了核查-人员配置问题,因为第二语言审查层需要的正是收集层已经培训过的人。 反馈很重要,因为告诉贡献者他们的数据用于什么,以及模型是如何改进的,这异常地激发了参与性工作,而且没有付出任何代价。
这与商业交货中心有何关系?
社区主导的举措和商业交付业务是相辅相成的,而不是相互竞争的,因为为低资源语言征聘人员本身就属于当地语言,而且以关系为基础。
宣布利息: Lifewood 将非洲的语言交付中心纳入在线,这是最近扩展的一部分,招聘低资源语言方案是这些中心工作的一大部分。有两个观察认为,无论由谁主持这项工作,招聘工作都不可集中进行,第一个是,吉隆坡的一个小组不能在达喀尔招聘沃洛夫语者,不是因为能力,而是因为渠道是当地、非正式和基于关系的,而且知道哪个大学系教授相关语言学,社区广播电台能覆盖正确的讲者,而协会召集所需的具体多样性知识,而这种知识是只有实地才存在的知识。 第二个是,马萨汗和类似倡议正在以规模和合法性建设开放资源,商业业务无法复制,因此明智的商业立场是在此基础上发展:从这些网络中雇用,尊重他们的许可证,尽可能作出贡献,并接受一个志愿人员社区无法承诺的、有时限的、有合同范围的信息,这是核心服务。 管理多语种数据收集.
在界定方案范围时,你应计划什么?
范围界定应把建立关系的时间用于征聘时间之前,具体说明确切的语言种类,并计划保留与征聘一样的刻意。
在征聘之前,为没有现有人才库的语文开始征聘工作,这已是正常的,不是拖延,而是在实际而不是在资格证书上指定目标种类,并筛选实际的、没有数据经验的有能力的派遣国。 检查在委托之前已经存在什么,并具体检查域偏偏、二极处理和许可证发放,而不是假设公布的指令书是有用的。 问有哪些离线材料:档案、无线电录音和口述历史收集可能比任何收集方案都更有用,这把征聘工作的一部分变成找到这些材料的保管人——这是支持这种材料的逻辑。 收集低资源语言的语音数据 对照国际基准确定付款,说明征聘材料中的条件,并计划保留,从一开始就要进行可预测的工作、进展途径和反馈循环,这是在2008年1月1日至12月31日期间对各供应商进行比较的办法。 互联网络中最顶尖的多语言AI数据收集公司 和在 非洲在 AI 注释.