跳至主要內容
AI 數據

與大學和社區合作提供語言數據

2026年7月 —— 9分鐘讀 —— 2026年9月更新 ——

簡短回答: 普諾克丘亞人命計劃與一所大學和地方社區組織單獨合作,因爲它們貢獻了不同的東西,並把它們混爲一談。 四個階段的參與模式都運行在規劃、準備、收集和部署,治理在第二階段——在收集任何數據之前而不是之後——得到解決。 準備設置了CC0-1.0許可證,爲農業、保健和技術等所有領域準備了種子內容,並實現了Mozilla共同語音界面本地化。 收集工作採用了自願技能貢獻,並得到了社區牽頭的驗證。

核心重點

  • Puno Quechuaobile與一所大學和地方社區組織建立了夥伴關係,它們分別參與,因爲它們貢獻了不同的東西。
  • 四個階段的參與模式是規劃、準備、收集和部署,在存在任何數據之前,治理在第二階段中決定。
  • 大學通常提供方法嚴謹、道德基礎設施、語言專門知識、可培訓的學生和機構連續性;社區組織提供獲取、信任、多樣性知識、適當的判斷和對實際經驗的驗證。
  • FAIR 財務報告和已審計財務報表 CARE 原則,以及 PILARS,被命名爲國家語言數據共同基礎設施的長期可持續性標準,由土著數據主權制定。
  • 持久的夥伴關係有兩個特點:一個是負責這種關係的指定聯絡人,另一個是互惠——物質和能力雙向流動,而不是僅僅向項目流動。

爲什麼與大學和社區組織單獨合作?

因爲大學和社區機構貢獻不同的東西, 將一個作爲另一個的代名詞 將崩潰 多數商業項目 都是錯誤的。

普諾克丘亞語的語錄爲這種夥伴關係提供了最明確的出版模板。 其規劃階段涉及與Altiplano Puno國立大學和當地社區組織Illariy Ch'aska建立夥伴關係,同時確定ISO 639-3代碼並評估社區需要——大多數商業項目都跳過,而夥伴與供應商關係是區別於夥伴關係的項目。

墨西哥的Tonalli Corpus聯合會明確提出分工:一所文化間教育大學,以深入瞭解土著語言和文化;一所工程和加工技術機構; INALI 在墨西哥土著語言中,語言準確性; INPI 以及通過歌曲宣傳Nahuatl和其他古老語言的音樂團體。

大學通常帶來什麼:方法嚴謹、道德審查基礎設施、特定語言家庭的語言專門知識、能夠接受工作培訓的學生、檔案能力和項目週期以外的機構連續性。 社區組織通常帶來什麼:獲取、信任、瞭解哪些品種和誰重要、判斷哪些內容適合記錄和釋放、以及能夠根據活的經驗而不是參考著作驗證內容。 只有一個項目,第一個項目產生的方法上可靠的數據,社區對此沒有發言權;一個項目,第二個項目產生基於文化的數據,但可能不符合技術規格。

四階段參與模式是什麼樣子的?

普諾克丘亞小組將其工作結構爲參與性設計過程,這是一種與社區共同制定研究計劃而不是將其應用於社區的方法,分四個階段:規劃、準備、收集和部署。

規劃準確地確定語言,包括其ISO代碼,建立夥伴關係,並評估社區需求——這一步驟在商業時間表下常常被跳過。

準備建立數據治理(這是CC0-1.0的許可),準備種子句子和問題(這裏涉及農業、保健和技術),並將收集平臺(這裏涉及Mozilla共同之聲)本地化爲Puno Quechua。 在此,在掌握任何數據之前,治理由決定;在收集後決定許可意味着與所有捐款者重新談判。

收集是自願的,以技能爲基礎,包括閱讀、發言、傾聽和寫作,由社區牽頭進行驗證和隱私保護處理。 以技能爲基礎的貢獻使人們能夠參與適合他們的方式,將參與範圍擴大到那些記錄的舒適者之外,社區主導的驗證既是一項高質量的決定,也是一個治理決定。

部署是公開的,在Mozilla數據集體中,有捐助證明和憑證獎勵,而不是單憑現金——提醒人們,在社區夥伴關係中,捐助是部分互惠的,部分是承認的,而不是純粹的交易性的。 承認的價值獨立於支付,儘管它不是反對公平支付繳款人的理由。 多種語文數據收集 工作,我們的工作。

哪些治理框架現在適用於這項工作?

兩個命名的框架, FAIR 財務報告和已審計財務報表 CARE將語言數據工作視爲良好做法,而不是這些框架下預期的做法,是值得避免的錯誤。

FAIR 是一種涵蓋可找到性、可訪問性、互操作性和可重複性的數據標準。 CARE 這是一項配套標準,涵蓋集體利益、控制權、責任和道德,具體地說,因爲 FAIR 原則本身可以促進提取。兩者都與“原則”並列。 PILARS 載於澳大利亞長期可持續性標準的語言數據通用標準。

土著數據主權 數據是下面的框架:尋求對如何收集、使用和分享有關數據的權威的社區,其理解是數據包括文化、語言、土地和關係,而不僅僅是統計。 由於這些項目的數據是語言,它們正坐在主權對話的中間而不是與之相鄰的。

一個過程值得直接複製:一個研究小組在幾個月內開發了道德資源和文件,經土著羣體領導人審查,並將結果作爲其他項目可以修改的活的文件。 審查後建議的重點領域是有用的覈對表——社區和項目背景、不斷變化的數字景觀、個人和集體知識保護、計劃的項目產出、保密和匿名細微差別。

個人和集體知識保護之間的區別是商業團隊在爲以下目的進行標準同意程序時最不熟悉的區別: 低資源語音數據歌曲、故事或禮儀詞可能屬於一個社區,而不是記錄它的人,個人同意並不能解決它——這一點更深入地涉及貢獻者是如何的。 同意並支付.

是什麼使得這些夥伴關係持久?

結構,不是善意。兩個例子——一個在美國,一個在澳大利亞——顯示了同樣的兩個特徵:一個負責關係的人,以及兩個方向的物質流動。

墨西哥土著語言促進和宣傳集體組織(MILPA)自2015年起作爲UC聖巴巴拉大學的教職員工、研究生和本科生以及聖巴巴拉和文圖拉縣的墨西哥土著區成員之間的一個夥伴關係開展運作,其中大多數人與非營利的MICOP有聯繫。

澳大利亞的CONEDL和AIATSIS從一個多年研究中心一開始就建立了夥伴關係,一個特定的研究助理被命名爲聯絡人,而不是關係是每個人的責任。 夥伴關係在兩個方面都發揮了作用:它改善了研究方案獲得收藏資料的機會,並支持社區團體將材料存入檔案,同時爲土著社區提供保管,同時使資源更容易獲得,只有一種方式是利用一種取材安排,並取出友好名稱。

現在正在建立什麼來支持這項工作?

兩項發展變化了進入這一空間的任何人的面貌:全球能力建設方案和國家數據共同基礎設施。

土著語言共同數據孵化器,於 2026這是一項爲期六個月的方案,支持土著領導的小組建立社區管理數據集——數據集的結構是爲了負責、公平地用於公共利益目的,而不是公開發布或商業許可。 19- 參加土著語言數據專家全球指導委員會,並與政府Lab和GovLab合作執行。 Microsoft,概念說明應於8月提交 2026其重要性在於模式,而不是方案:社區治理是一個獨特的結構,得到重大支持。

澳大利亞語言數據共同方案提供了尊重文化協議的治理框架,支持獲取風險語言材料,以及能夠由社區主導使用語言數據的工具。 對於商業經營,兩種發展都指向了同樣的方式:社區和學術機構正在制定基礎設施和規範,合理的立場是在其內部而不是圍繞這些基礎設施和規範開展工作,值得考慮,何時才能確定基礎設施和規範。 徵聘當地撰稿人使用任職人數不足的語言.

商業夥伴如何誠實地對待這項工作?

通過指定聯絡人、在收集之前決定治理,並明確說明商業位置,而不是在收集到數據之後讓其驚奇地露面。

Lifewood 收集跨語言數據 100+ 語言以夥伴關係爲基礎的收集是資源不足的語言工作是如何完成的——這一點值得在此直接說明。

建立夥伴關係比項目需要時間。 MILPA 11歲; COEDL; AIATSIS 將三個星期的時間分配給“建立社區夥伴關係”的商業時間表對所涉時間單位的判斷是錯誤的,實際的解決方式是先於需求而不是對簽署的合同作出反應。

聯繫人。一個負責機構關係的人的“共同發展”模式,完全值得複製,這是每個人的責任在項目之間悄悄地消退。

在一個社區中,決定是否與商業界合作。 數據主權- 認識的伴侶有權知道數據發生什麼,誰可以許可,是否是獨家的,以及社區保留什麼。 這些答案可能不如學術開放釋放模式慷慨,而且說得那麼清楚,在收集之後發現不匹配之處——社區往往更願意提出明確的商業主張而不是模棱兩可的主張。 選擇多語種數據收集夥伴 應在簽署任何文件之前,對這些問題的每一個問題都有一個直接的答覆。

夥伴關係清單中有哪些內容?

一份簡短的、有順序的清單:分別與大學和社區機構接觸,在收集之前決定治理,在結構中建立互惠和有名的聯絡,而不是將它們隱含起來。

  • 分別與大學和社區機構接觸,並繪製各自的貢獻,然後才能接近。
  • 在規劃期間準確識別語言,包括ISO代碼和目標品種.
  • 評估社區需求,並做好準備,以找到改變範圍的辦法。
  • 在準備期間,在收集之前決定許可證和治理。
  • 將收集平臺本地化爲目標語言,而不是用語言運行.
  • 提供基於技能的參與,包括閱讀、發言、傾聽和寫作。
  • 使內容文化化的驗證工作由社區牽頭。
  • 既要解決集體知識權利,也要解決個人知識權利,因爲一名發言者的同意並不能解決社區對其所說的話的自主權問題。
  • 將互惠性建立到結構中,因此物質和能力雙向流動.
  • 指定聯絡人,併爲項目之間的關係提供資金,不僅是在項目期間。
  • 參考 FAIR, CARE 協定中明確提到土著數據主權,因爲這些框架現在是預期詞彙,也是支撐土著數據主權的詞彙。 全球多語種語音數據收集 做了負責任的。

常見問題

大學帶來了方法的嚴謹、道德基礎、語言專業知識和連續性。 社區組織帶來了獲取、信任、對哪些品種重要的知識以及用活的經驗驗證。 將一方視爲另一方的替代物,就會失去失蹤夥伴可能貢獻的任何力量。

收集前,普諾克丘亞項目 CC0-1.0 準備時的許可, 領先於任何已有的數據。 事後的確定意味着與所有已經捐款的人重新談判, 與在前面解決它相比, 談判速度慢, 也不公平 。

FAIR 涵蓋可找到性、可訪問性、互操作性和可重複性。 CARE 涵蓋集體利益、控制權、責任和道德,並存在的原因是: FAIR 光是原則就可以促進提取。在通用國家語言數據標準中,兩者都以通用標準命名。 PILARS.

個人同意包括個人自己的貢獻,歌曲、故事或禮儀詞可能屬於一個社區,而不是記錄該詞的個人,一個人的同意不能單獨解決該社區一級的問題。

比項目還要長 MILPA 已經運行 2015,而CoEDL 與 AIATSIS 關係應比需求提前建立,而不是根據已簽訂的合同建立。

數據是否具有專屬性,以及它們保留什麼。 顯而易見,商業主張實際上比含糊不清更容易讓社區與之合作。

資料來源與延伸閱讀

  1. arXiv,“建設以社區爲中心的NLP資源,促進Puno Quechua”,關於四階段參與設計過程、大學和社區雙重夥伴關係、CC0-1.0治理、平臺本地化、技能貢獻以及證書和憑證獎勵模式
  2. 託納利公司項目聯合體,涉及不同文化間教育、技術機構、 INALI, INPI 社區文化團體
  3. ARDC,“澳大利亞語言數據共同數據”,關於尊重文化協議、支持危險材料、社區主導使用以及PILARS、FAIR和CARE標準的數據治理框架
  4. 戈夫拉布,"土著數據治理選讀:2026更新",關於數據主權作爲自決,數據更廣泛的定義,道德文件審查過程和建議的重點領域.
  5. 協會,“機構夥伴”,關於 AIATSIS 從一開始就建立夥伴關係、指定聯絡作用和互惠存檔交存安排
  6. “通過在少數羣體服務機構進行以社區爲中心的合作語言學研究學習”,語言,劍橋核心,關於 MILPA 夥伴關係 UCSB 財務報告和已審計財務報表 MICOP 運行以來 2015
  7. UNESCO,"徵集申請:土著語言數據通用孵化器",關於半年期方案, 19- 土著指導委員會和社區管理的數據通用模型

有 AI 或品牌能見度項目計畫嗎?

從AI評估和人與人間搜索到GEO和AEO戰略,我們的團隊可以自信地幫助你們部署,並在AI搜索時代被發現.

聯絡我們的團隊