簡短回答： 困難在於操作,而不是語言。 多語言AI數據項目在五個實際方面有所突破:尋找沒有專業人才庫的語文的合格演講者,以數量尺度保持穩定的質量,工具處理不當非拉丁文字,同意和數據居住法在每個國家都不同,同時管理許多語文的協調費用。 每個系統都可以溶解,但只有項目開始前建造基礎設施——這就是爲什麼時間表通常通過徵聘和試點迭代而不是收集來確定。
機器學習 鉛標誌關閉在計劃上: 12 語言, 400 四個月後,每篇談話發言的小時數,經過轉錄和審查,在紙上是一個項目。 12 招募活動; 12 一套準則, 12 QA 管道、若干法律制度、至少四個時區和十幾種方法使同一指示被誤解。
6周後,模式很熟悉,三種語言比預定時間提前,兩種語言的語音都不夠,一種是製作了90小時的音頻,由於撰稿人讀"對話"是"大聲讀這段",所以所有音頻都必須被拒絕,法律團隊剛剛發現,來自一個市場的錄音不能由另一個市場的工作人員審查。
沒人誤解語言 每個人都低估了行動
核心重點
- 多語種數據項目通常在操作上失敗,而不是語言難度:招聘,工具化,法律審查和協調比語言學成本更高.
- 對於前20名以外的大多數語言來說,沒有受過培訓的註釋員的市場,因此,採購必須通過當地提供網絡、社區組織和散居羣體進行。
- 規模質量問題幾乎總是追溯到模範性能下降之前,模糊的準則,而不是貢獻者無動於衷,並默默地浮出水面.
- 錄音可以屬於特殊類別生物鑑別數據,根據以下規定。 GDPR 第 條 9,而跨境審查者訪問即使存儲從未移動,也可能觸發傳輸規則.
- 當地執行的中央規格——各地相同的門檻、市場擁有的方言和徵聘決定——是讓方案增加語言而不增加比例協調費用的辦法。
語言沒有專業人才庫,哪裏能找到揚聲器?.
並不是通過工作委員會,對於20歲以上大多數語言,必須通過當地服務網絡、社區組織、學術夥伴關係和僑民社區向貢獻者提供幫助。
對於英語、西班牙語或普通話來說,採購是一種採購工作。對於許多其他語言來說,它是實地工作。 世界上只有少數語言在語言學領域從事專業工作。 沒有任何市場可以向人們寄送,也沒有一批受過培訓的註解員等待,也沒有預建的數據集可以重新使用。
接下來是三個實際行動。
- 篩選的重要性大於量。 聲稱流利的申請人和能夠製作自然、適合地區的演講的申請人是截然不同的人口。 嚴肅的節目仔細篩選,並接受大多數申請人不會通過,因爲收集階段的一位不合格的撰稿人在整個管道中產生重工。
- 招聘必須在當地進行。 與地區方言的講者接觸通常意味着在該地區實際存在,或者與組織合作。 在沙巴、喀拉拉邦和埃塞俄比亞東部的招聘不是一個三次過程;而是三個不同的過程。
- 保留是能力的一部分。 以罕見的語言培訓貢獻者是一種投資,失去他們意味着重新開始。 公平報酬、穩定的工作和明確的進步道路不僅僅是道德承諾 — — 在業務上,他們就是團隊如何保持以該語言交付的能力。
爲何項目規模擴大後質量會崩潰?
因爲準則中的模糊性在數量上是小的,在數量上是災難性的。 10,000 每週的工程可以產生嚴重不一致的工作 100,000,而失敗通常沒有聲響:第一批看起來棒極了,第十批卻悄悄地充滿了不一致,沒有人注意到直到模特兒的表演幾周後才受苦.
根本原因幾乎總是指導性模糊而不是貢獻者無心。 如果一個指令可以讀得有兩種方式,那麼在小尺度上,兩個人讀得有兩種方式,有人就發現了它。 在大尺度上,數百人分裂成營地,數據集最終編譯出一種矛盾。
三項控制主要用於: 縮放前的飛行員 每種語文,在實際卷數開始前進行有文件記錄的審查並更新準則; 每一捐助者而不是每個項目的抽樣,因爲審查總產出的固定百分比,使弱貢獻者躲藏在強產出的批量內; 裁定而不是平均因此,高級土著發言人作出決定,並將決定寫回準則。 金標準參考集 預先裁定的一小批案件,以便每個審查員的產出都能夠對照已知的正確答案加以檢查,正是這些判決才值得審計,而不是意見。 人文在線審查如何提高多語文數據質量.
工具的什麼斷層?
幾乎每件都是爲英語設計的。這是喫日程表的不光彩的類別。
| 何謂斷裂 | 看起來像什麼 |
|---|---|
| 腳本和渲染 | 右到左語言,複雜的結紮,堆疊的二極論和腳本如奧爾奇基,格澤斯或蒂菲納格等,被註釋平臺處理得很差. 在一個工具中正確顯示的文本在下一階段被默默地粘貼. |
| 輸入方法 | 貢獻者需要能夠輸入語言。 標準鍵盤佈局可能無法使用、 有爭議的, 或者根本不安裝在實際擁有的設備上 。 |
| 矯正不穩定 | 幾個相互競爭的拼寫公約和沒有普遍接受的標準. 項目必須選擇一個並記錄下來,或者“不一致”是由準則本身製造的. |
| 實地情況 | 工作室外的語音收集是指半途失敗的可變設備、背景噪音、間歇連接和上傳。假設穩定連接的工作流程會丟失數據,具體發生在最需要數據的區域。 |
這一切都需要時間才能發現,如果小組之前沒有遇到過,這是與已經用這些特定語言打過牆的人合作的主要論點,而這種挑戰正是我們面對的挑戰。 收集右到左和複雜腳本的文本數據 自己的紀律
哪些是法定義務和同意義務?
超乎大多數球隊所期望的,尤其是對於演講來說,三個領域造成的麻煩最大.
語音可以是生物鑑別數據 ——可用於識別特定揚聲器的音頻,在以下 GDPR 第 條 9 將它列入一個特殊類別,其法律要求比普通個人資料更爲嚴格。 GDPR 第 條 9在美國,伊利諾伊州等州生物鑑別法通常都是可靠的法律依據。 BIPA 德克薩斯州 CUBI 符合一種制度的同意表可能不能滿足另一種制度。
跨界進入算作轉移。 這條船多次捕捉隊伍 如果... EU 居民的音頻文件是由在另一國的一位審查者打開的,訪問可以構成跨界數據傳輸,並具有所有隱含的保障措施。光是考慮數據儲存地點是不夠的;你必須思考誰能看到,從何處可以看到。對於一個全球傳輸網絡來說,這是一個設計限制,這就是爲什麼將工作轉移到某個特定中心而不是下一個可用的中心成爲業務要求的原因。
文件現在可以交付。 電話 EU AI 法案對高風險系統的數據治理義務已經從良好做法轉向了合規證據。 培訓數據的購買者越來越多地必須證明數據是如何生成的、由誰生成的、在何種同意下產生的。 數據集沒有文件記錄的同意鏈,無論質量如何,都是一項責任。
實際後果是,隨着工作的進展,需要掌握同意、賠償記錄、貢獻者身份、任務分配和質量決定,隨後的重建幾乎是不可能的,這裏沒有什麼是法律諮詢,而且情況因法域和數據生成方式而異。
你怎麼讓十幾種語言步入正軌?
協調成本比語言計數增長得更快,添加一種語言不會增加一個工作單位——它會增加一個招聘流,一個審查流,一個法律檢查,一套工具化的怪胎和一個通信通道,每個都可能在交付日期固定時獨立出錯.
多語言方案是統一必須完全相同的東西的標準化和必須本地的東西的分權。 規格、質量閾值、文件格式和同意標準應該在所有地方都一樣。 語言方案必須統一,並且必須統一。 地方上應當由講語言的人來作辨別決定、招聘辦法、教學措辭和升級,他們可以打電話,而不必等待一個時區醒來。
黃金標準參考集是上述另一個基本機制:每種語言中一個小的、經過仔細判斷的集,可以客觀地衡量產出是否漂移,並使客戶與交付團隊之間的分歧可以用證據而不是意見來解決。
這也是爲什麼"我們支持50+語言"本身意義很小,並且已經對這些區域的人進行了覈實,已經登機,工作在一個標準上,這纔是實際決定一個語言是否是"一個語言". 全球多語種語音數據收集服務 能夠如期交付。
第一次錄音之前你應該問什麼?
問題在於,夥伴是否已經覈實了人、經過測試的試點過程和有文件證明的同意,而不是他們是否聲稱有廣泛的語言覆蓋面。
- 究竟是誰提供這些數據,現在在哪裏? 與目標地區現有經覈實的派遣國的夥伴處於不同的地位,與簽字後開始招募的夥伴不同。
- 飛行員怎麼了? 每種語文應各有一個,在比例尺上應有一個有文件記錄的審查和準則的更新。
- 如何衡量質量,以及多久一次? 尋找每個貢獻者的抽樣、跟蹤審查者協議、爭端裁決和黃金標準參考數據集,而不是交付時引用的單一準確數字。 多種語文數據收集服務實際上包括什麼? 完整清單。
- 數據將在哪裏生活,誰能訪問? 數據居住、審查員所在地和同意範圍應一併答覆,然後才收集,而不應事後重新談判。
- 數據集有什麼文件? 同意記錄、貢獻者人口統計、質量統計、準則版本和所作決定的書面說明。
- 由誰決定何時一個母語和自動檢查有分歧? 答案應該始終是母語,並記錄決定。
怎麼樣 Lifewood 採用多語種數據收集方法?
Lifewood 將多語種收藏視爲一種分佈式操作,而不是一箇中心操作,因爲這項工作的瓶頸很少知道一種語言——它已經在項目開始時,在正確的地點核查了人們。
40+ 跨省服務中心 30+ 國家, 100+ 語言 包括代表性不足的方言,以及 56,000+ 註冊繳款人是在三個無關地區徵聘人員,因此,在三個地區徵聘人員是平行的,而不是連續三個。 抽樣按貢獻者進行,而不是按批次進行,爭端由特定種類的資深演講人進行,裁決被寫回準則,這樣同樣的模糊性下個月就不會再次出現。 95%+ 準確率 SLA,每種語言報告。
同意記錄、貢獻者元數據、任務分配和質量決定都隨着工作發生而不是在結束時組裝而得到,工作可以被送到一個特定中心,因爲該項目的居住和審查人員地點限制需要它。 Lifewood 創建於 2004 ——大部分是20年的學習時間,它打破了哪裏。這是後面的操作模式。 管理企業多語種數據收集方案 財務報告和已審計財務報表 Lifewood的,因爲 管理多語種數據收集 服務,它同樣適用於相鄰的工作,例如: 低資源語音數據收集.