跳至主要内容
AI 数据

与大学和社区合作提供语言数据

2026年7月 —— 9分钟读 —— 2026年9月更新 ——

简短回答: 普诺克丘亚人命计划与一所大学和地方社区组织单独合作,因为它们贡献了不同的东西,并把它们混为一谈。 四个阶段的参与模式都运行在规划、准备、收集和部署,治理在第二阶段——在收集任何数据之前而不是之后——得到解决。 准备设置了CC0-1.0许可证,为农业、保健和技术等所有领域准备了种子内容,并实现了Mozilla共同语音界面本地化。 收集工作采用了自愿技能贡献,并得到了社区牵头的验证。

核心要点

  • Puno Quechuaobile与一所大学和地方社区组织建立了伙伴关系,它们分别参与,因为它们贡献了不同的东西。
  • 四个阶段的参与模式是规划、准备、收集和部署,在存在任何数据之前,治理在第二阶段中决定。
  • 大学通常提供方法严谨、道德基础设施、语言专门知识、可培训的学生和机构连续性;社区组织提供获取、信任、多样性知识、适当的判断和对实际经验的验证。
  • FAIR 财务报告和已审计财务报表 CARE 原则,以及 PILARS,被命名为国家语言数据共同基础设施的长期可持续性标准,由土著数据主权制定。
  • 持久的伙伴关系有两个特点:一个是负责这种关系的指定联络人,另一个是互惠——物质和能力双向流动,而不是仅仅向项目流动。

为什么与大学和社区组织单独合作?

因为大学和社区机构贡献不同的东西, 将一个作为另一个的代名词 将崩溃 多数商业项目 都是错误的。

普诺克丘亚语的语录为这种伙伴关系提供了最明确的出版模板。 其规划阶段涉及与Altiplano Puno国立大学和当地社区组织Illariy Ch'aska建立伙伴关系,同时确定ISO 639-3代码并评估社区需要——大多数商业项目都跳过,而伙伴与供应商关系是区别于伙伴关系的项目。

墨西哥的Tonalli Corpus联合会明确提出分工:一所文化间教育大学,以深入了解土著语言和文化;一所工程和加工技术机构; INALI 在墨西哥土著语言中,语言准确性; INPI 以及通过歌曲宣传Nahuatl和其他古老语言的音乐团体。

大学通常带来什么:方法严谨、道德审查基础设施、特定语言家庭的语言专门知识、能够接受工作培训的学生、档案能力和项目周期以外的机构连续性。 社区组织通常带来什么:获取、信任、了解哪些品种和谁重要、判断哪些内容适合记录和释放、以及能够根据活的经验而不是参考著作验证内容。 只有一个项目,第一个项目产生的方法上可靠的数据,社区对此没有发言权;一个项目,第二个项目产生基于文化的数据,但可能不符合技术规格。

四阶段参与模式是什么样子的?

普诺克丘亚小组将其工作结构为参与性设计过程,这是一种与社区共同制定研究计划而不是将其应用于社区的方法,分四个阶段:规划、准备、收集和部署。

规划准确地确定语言,包括其ISO代码,建立伙伴关系,并评估社区需求——这一步骤在商业时间表下常常被跳过。

准备建立数据治理(这是CC0-1.0的许可),准备种子句子和问题(这里涉及农业、保健和技术),并将收集平台(这里涉及Mozilla共同之声)本地化为Puno Quechua。 在此,在掌握任何数据之前,治理由决定;在收集后决定许可意味着与所有捐款者重新谈判。

收集是自愿的,以技能为基础,包括阅读、发言、倾听和写作,由社区牵头进行验证和隐私保护处理。 以技能为基础的贡献使人们能够参与适合他们的方式,将参与范围扩大到那些记录的舒适者之外,社区主导的验证既是一项高质量的决定,也是一个治理决定。

部署是公开的,在Mozilla数据集体中,有捐助证明和凭证奖励,而不是单凭现金——提醒人们,在社区伙伴关系中,捐助是部分互惠的,部分是承认的,而不是纯粹的交易性的。 承认的价值独立于支付,尽管它不是反对公平支付缴款人的理由。 多种语文数据收集 工作,我们的工作。

哪些治理框架现在适用于这项工作?

两个命名的框架, FAIR 财务报告和已审计财务报表 CARE将语言数据工作视为良好做法,而不是这些框架下预期的做法,是值得避免的错误。

FAIR 是一种涵盖可找到性、可访问性、互操作性和可重复性的数据标准。 CARE 这是一项配套标准,涵盖集体利益、控制权、责任和道德,具体地说,因为 FAIR 原则本身可以促进提取。两者都与“原则”并列。 PILARS 载于澳大利亚长期可持续性标准的语言数据通用标准。

土著数据主权 数据是下面的框架:寻求对如何收集、使用和分享有关数据的权威的社区,其理解是数据包括文化、语言、土地和关系,而不仅仅是统计。 由于这些项目的数据是语言,它们正坐在主权对话的中间而不是与之相邻的。

一个过程值得直接复制:一个研究小组在几个月内开发了道德资源和文件,经土著群体领导人审查,并将结果作为其他项目可以修改的活的文件。 审查后建议的重点领域是有用的核对表——社区和项目背景、不断变化的数字景观、个人和集体知识保护、计划的项目产出、保密和匿名细微差别。

个人和集体知识保护之间的区别是商业团队在为以下目的进行标准同意程序时最不熟悉的区别: 低资源语音数据歌曲、故事或礼仪词可能属于一个社区,而不是记录它的人,个人同意并不能解决它——这一点更深入地涉及贡献者是如何的。 同意并支付.

是什么使得这些伙伴关系持久?

结构,不是善意。两个例子——一个在美国,一个在澳大利亚——显示了同样的两个特征:一个负责关系的人,以及两个方向的物质流动。

墨西哥土著语言促进和宣传集体组织(MILPA)自2015年起作为UC圣巴巴拉大学的教职员工、研究生和本科生以及圣巴巴拉和文图拉县的墨西哥土著区成员之间的一个伙伴关系开展运作,其中大多数人与非营利的MICOP有联系。

澳大利亚的CONEDL和AIATSIS从一个多年研究中心一开始就建立了伙伴关系,一个特定的研究助理被命名为联络人,而不是关系是每个人的责任。 伙伴关系在两个方面都发挥了作用:它改善了研究方案获得收藏资料的机会,并支持社区团体将材料存入档案,同时为土著社区提供保管,同时使资源更容易获得,只有一种方式是利用一种取材安排,并取出友好名称。

现在正在建立什么来支持这项工作?

两项发展变化了进入这一空间的任何人的面貌:全球能力建设方案和国家数据共同基础设施。

土著语言共同数据孵化器,于 2026这是一项为期六个月的方案,支持土著领导的小组建立社区管理数据集——数据集的结构是为了负责、公平地用于公共利益目的,而不是公开发布或商业许可。 19- 参加土著语言数据专家全球指导委员会,并与政府Lab和GovLab合作执行。 Microsoft,概念说明应于8月提交 2026其重要性在于模式,而不是方案:社区治理是一个独特的结构,得到重大支持。

澳大利亚语言数据共同方案提供了尊重文化协议的治理框架,支持获取风险语言材料,以及能够由社区主导使用语言数据的工具。 对于商业经营,两种发展都指向了同样的方式:社区和学术机构正在制定基础设施和规范,合理的立场是在其内部而不是围绕这些基础设施和规范开展工作,值得考虑,何时才能确定基础设施和规范。 征聘当地撰稿人使用任职人数不足的语言.

商业伙伴如何诚实地对待这项工作?

通过指定联络人、在收集之前决定治理,并明确说明商业位置,而不是在收集到数据之后让其惊奇地露面。

Lifewood 收集跨语言数据 100+ 语言以伙伴关系为基础的收集是资源不足的语言工作是如何完成的——这一点值得在此直接说明。

建立伙伴关系比项目需要时间。 MILPA 11岁; COEDL; AIATSIS 将三个星期的时间分配给“建立社区伙伴关系”的商业时间表对所涉时间单位的判断是错误的,实际的解决方式是先于需求而不是对签署的合同作出反应。

联系人。一个负责机构关系的人的“共同发展”模式,完全值得复制,这是每个人的责任在项目之间悄悄地消退。

在一个社区中,决定是否与商业界合作。 数据主权- 认识的伴侣有权知道数据发生什么,谁可以许可,是否是独家的,以及社区保留什么。 这些答案可能不如学术开放释放模式慷慨,而且说得那么清楚,在收集之后发现不匹配之处——社区往往更愿意提出明确的商业主张而不是模棱两可的主张。 选择多语种数据收集伙伴 应在签署任何文件之前,对这些问题的每一个问题都有一个直接的答复。

伙伴关系清单中有哪些内容?

一份简短的、有顺序的清单:分别与大学和社区机构接触,在收集之前决定治理,在结构中建立互惠和有名的联络,而不是将它们隐含起来。

  • 分别与大学和社区机构接触,并绘制各自的贡献,然后才能接近。
  • 在规划期间准确识别语言,包括ISO代码和目标品种.
  • 评估社区需求,并做好准备,以找到改变范围的办法。
  • 在准备期间,在收集之前决定许可证和治理。
  • 将收集平台本地化为目标语言,而不是用语言运行.
  • 提供基于技能的参与,包括阅读、发言、倾听和写作。
  • 使内容文化化的验证工作由社区牵头。
  • 既要解决集体知识权利,也要解决个人知识权利,因为一名发言者的同意并不能解决社区对其所说的话的自主权问题。
  • 将互惠性建立到结构中,因此物质和能力双向流动.
  • 指定联络人,并为项目之间的关系提供资金,不仅是在项目期间。
  • 参考 FAIR, CARE 协定中明确提到土著数据主权,因为这些框架现在是预期词汇,也是支撑土著数据主权的词汇。 全球多语种语音数据收集 做了负责任的。

常见问题

大学带来了方法的严谨、道德基础、语言专业知识和连续性。 社区组织带来了获取、信任、对哪些品种重要的知识以及用活的经验验证。 将一方视为另一方的替代物,就会失去失踪伙伴可能贡献的任何力量。

收集前,普诺克丘亚项目 CC0-1.0 准备时的许可, 领先于任何已有的数据。 事后的确定意味着与所有已经捐款的人重新谈判, 与在前面解决它相比, 谈判速度慢, 也不公平 。

FAIR 涵盖可找到性、可访问性、互操作性和可重复性。 CARE 涵盖集体利益、控制权、责任和道德,并存在的原因是: FAIR 光是原则就可以促进提取。在通用国家语言数据标准中,两者都以通用标准命名。 PILARS.

个人同意包括个人自己的贡献,歌曲、故事或礼仪词可能属于一个社区,而不是记录该词的个人,一个人的同意不能单独解决该社区一级的问题。

比项目还要长 MILPA 已经运行 2015,而CoEDL 与 AIATSIS 关系应比需求提前建立,而不是根据已签订的合同建立。

数据是否具有专属性,以及它们保留什么。 显而易见,商业主张实际上比含糊不清更容易让社区与之合作。

资料来源与延伸阅读

  1. arXiv,“建设以社区为中心的NLP资源,促进Puno Quechua”,关于四阶段参与设计过程、大学和社区双重伙伴关系、CC0-1.0治理、平台本地化、技能贡献以及证书和凭证奖励模式
  2. 托纳利公司项目联合体,涉及不同文化间教育、技术机构、 INALI, INPI 社区文化团体
  3. ARDC,“澳大利亚语言数据共同数据”,关于尊重文化协议、支持危险材料、社区主导使用以及PILARS、FAIR和CARE标准的数据治理框架
  4. 戈夫拉布,"土著数据治理选读:2026更新",关于数据主权作为自决,数据更广泛的定义,道德文件审查过程和建议的重点领域.
  5. 协会,“机构伙伴”,关于 AIATSIS 从一开始就建立伙伴关系、指定联络作用和互惠存档交存安排
  6. “通过在少数群体服务机构进行以社区为中心的合作语言学研究学习”,语言,剑桥核心,关于 MILPA 伙伴关系 UCSB 财务报告和已审计财务报表 MICOP 运行以来 2015
  7. UNESCO,"征集申请:土著语言数据通用孵化器",关于半年期方案, 19- 土著指导委员会和社区管理的数据通用模型

有 AI 或品牌可见度项目计划吗?

从AI评估和人与人间搜索到GEO和AEO战略,我们的团队可以自信地帮助你们部署,并在AI搜索时代被发现.

联系我们的团队