簡短回答： 開辦一箇中心就是採購;使中心準確無誤是工作,需要數週至數月的時間,分四個階段——徵聘、資格測試、校準輪數,然後是監督生產坡道。 CV徵聘人員所管理的人員比目標人數大得多(通常爲: 150–200 候選人 60 並讓資格測試進行選擇。測試設定在生產準確度目標之上;通過率高於 70% 說明測試太簡單了,下面 25% 也就是說問題在於徵聘或規格的上游。
核心重點
- 開辦一箇中心是一項採購活動;使其達到生產質量是按幾周至幾個月衡量的真正工作。
- 招聘的候選人人數大大超過目標人數,通常爲150至200名候選人,佔60個生產席位,由資格測試進行甄選。
- 資格門檻設定在生產精度目標之上,因爲監督的測試性能超過生產速度性能.
- 早期校準分歧通常是一個準則問題,而不是註釋問題;再培訓不會固定一個模棱兩可的教學.
- 流程知識在各中心之間旅行,但必須在每個地方建立當地徵聘網絡、語言多樣性專門知識和文化知識。
開一個新的註解中心需要什麼?
開通一個交貨中心是採購活動:簽署租約、安裝工作站、運行網絡電纜。 使同一中心達到合同準確性是另一個更長的問題,也是決定擴建是否值得的問題。
滿室的有能力的人還沒有被校準到客戶的規格,產生看起來合理,失敗的QA的工作. "中心開通"與"中心以合同精度交付"的間隔持續數週至數月,分4個階段:招聘,資格測試,校準彈,以及一個監督生產坡道.
Lifewood 位於菲律賓的宿務中心, 已耗盡了整個網絡的運行時間。 I2 宿務市亞洲城的建築 IT 孟加拉國的樞紐和專注的Voice網站 AI 數據中心後來來,馬來西亞之後作爲業務中心,在塞爾維亞、日本、馬來西亞等地擴展服務。 UK北愛爾蘭和澳大利亞a US 網站, AV 整個馬來西亞和印度尼西亞的擴展,以及最近非洲中心上線。 通過這一擴展,人羣資源網絡從超過20個增長。 20,000 輸入 2021 改爲: 56,000+ 登記繳款人 今時.
爲何招募不只是一次人數統計活動?
被徵聘到固定數字會產生自然減員和重做,因爲註解能力是一種真正的技能,在CV上不可靠地顯示。 資格測試——根據已知的正確答案進行結構化評估,決定誰是生產註解員——是真正選擇的,因此徵聘需要爲它提供足夠寬的人才庫。
持續關注細微細節,以模糊的安慰,願意標出不確定性而不是猜測,遵循一個精確的規格而不是應用個人判斷的紀律預言一個好的註釋者,這些特徵在紙上都看不出來. 比僱用人數更好的是徵聘人數大大超過目標人數的候選人,並讓資格從中挑選。 對於60名生產註釋員的目標,150至200名考生進入資格考試是一個合理的起點,儘管這一比率因任務複雜程度和當地勞動力市場而異,但這個問題在以下幾個方面更爲深入: 如何徵聘、培訓和認證專家領域的公證員.
在多語種中心,制約因素從一般的註解能力轉變爲經覈實的目標語言和種類流利。 爲Cebuano、Wolof或Fon招聘人員意味着進入當地網絡、大學和社區組織,而不是張貼通用招聘廣告,並且篩選方案所需的具體區域種類,而不是標準國家語言。 這是實際存在之所以重要的一大部分:一個專業人才庫規模較小的語言的徵聘過程不能從另一個大陸遠程運行。 需要有人知道哪個大學系教授相關的語言學,哪個社區組織能接觸到正確的講者,以及當地的就業平臺,人們實際使用哪些語言。
資格測試時會怎樣?
資格測試是指從實際任務中抽取的一組項目,有已知的正確答案,涵蓋註釋者將遇到的全部困難,並且故意比生產工作本身更困難.
它應綜合四種項目:可確定基線理解的直截了當項目;接近標籤界限的邊緣案件,這是歧視性項目,因爲處理容易的項目和邊界案件不善的候選人有規律的比擬,而不是理解規格; 故意模糊的、正確答案是標出不確定性的項目,因爲自信地標出這些產品在生產中無聲錯誤;以及需要具體知識的項目,無論是區域語言種類、域詞庫,還是LiDAR方案的傳感器物理學。
考試通過門檻設定在總室高於方案準確度要求,因爲受監督的測試中考生在準確度底部的成績通常低於其生產速度。 考試通過率本身就很豐富:超過70%的考試通常意味着考試太容易,而且沒有歧視,低於25%的考試通常意味着招聘過濾器是錯誤的,或者甚至對有能力的候選人來說規格也不明確。考試向您講述了指南,就像向您講述了候選人一樣。
校準彈如何進行?
校準 是一個結構化的週期,一個組羣對同一批項目進行註釋,對協議進行衡量,對分歧作爲一個組進行討論,並在週期重複之前澄清準則——這是在時間表壓力下最經常壓縮的階段,實際成本。
經驗豐富的註解管理者所依賴的洞察力是,早期校準中的分歧通常是一個準則問題,而不是註釋問題:如果二十位註解者中有八位讀了一個類別邊界,十二位讀一個類別邊界,則該指示是模糊不清的,重新訓練八位不會解決. 第1輪談判通常產生低水平的協議,常常 標註員間一致性 ——獨立註釋者爲複雜任務在0.4到0.6的幅度中,給通常被測量爲科恩的kappa或Krippendorff的α的同一標籤分配的程度,而這個數字是規格模糊的列表,而不是質量分數. See. 註釋者之間的協議:科恩的卡帕,克里彭多夫的α和數字的含義 如何解釋這些數字。
分歧審查是階段的實質:協議門檻以下的每一個項目都由一個高級註釋員或客戶的規格所有人在場審查,決定有文件記載,準則有實例更新。 2 新的批次應該顯示出有意義的改進; 如果沒有,則審查需要更深入。 3至5輪是比較複雜的任務的典型,而且輪次會持續到超過方案門檻的商定穩定。黃金項目從校準開始播種,因此每個通知人的準確性跟蹤—— 與上文描述的機制相同。 黃金套、審計抽樣和共識:三種方法 QA 附加說明的數據 ——從生產開始,準確度一直低於組別的註釋員及早獲得定向輔導。
生產如何安全地增加?
中心從校準逐漸向全體量移動,而不是一次,因爲體積隨着精度的穩定性而不是固定的日曆而增加.
生產第一週的產量隨着產量的提高而減少 QA: 採樣率 25 改爲: 30% 是一個新羣體中典型的,遠高於 10 改爲: 15% 一個有記錄的 權威的 註釋員 將會看到,每個 註釋員的輸出 都可見於 QA 移動線索在早期的幾周裏每天進行校準檢查,對前一天的復工旗和任何新的邊緣案例進行簡短審查,從而發現一個複雜的問題 24 而不是兩週 QA 然後,隨着單個記錄的建立,取樣者將逐步減少,而不是減少,一個強大的執行者將進入較低的取樣率,而一個困難的人則將處於高評價,直到準確性穩定。
到底要花多長時間?
客戶往往要求一個數字,因此誠實的幅度比營銷範圍更有用。 對於一種成熟的既定語言中熟悉的任務類型,從開放到生產質量的四到六週是可以實現的,在一週內獲得資格,在兩週和三週內校準,從第四周開始有監督的斜坡; 新的任務類型或複雜的規格更現實地是六至十週,額外時間幾乎完全進入校準回合,因爲新的規格更模糊,每輪澄清需要一個週期才能驗證。
對於沒有先行法或準則的新語言方案,在開始任何方案之前幾周增加文字,因爲必須確定正字形的習慣,資格測試本身必須用目標語言進行,而不是翻譯成目標語言。 最可靠地延長時間的變量是準則成熟度,而不是註釋能力:一個有一般註釋員和精確、經充分驗證的規格穩定的中心比一個有出色的註釋員從模棱兩可的註釋員工作的中心更快。 這就是爲什麼在時間表壓縮時,校準是值得保護的階段——縮短徵聘一週的費用,使一些候選人的質量降低,但縮短一週的校準費用,使重新工作的月份得到權衡。 如何將AI數據從飛行員到生產的規模化.
中心之間有什麼往來,什麼不往來?
階段結構、資格測試設計、校準週期、 QA 取樣規則和金器組施工方法在中心之間旅行;地方徵聘網絡、語言種類專門知識和文化知識沒有,必須在每一地點重建。
運行此遊戲本 跨網絡 40+ 跨省服務中心 30+ 國家 產生新址繼承而不是從零開始重建的體制知識——如何 單本遊戲運行於全球數據操作 宿務中心十年來積累的流程知識直接轉移到一個新網站,但其知識對於演說方案來說卻很重要,它不會轉移到西非的Wolof或Fon方案。這正是擴張變成地方而不是僅僅是能力的原因:可轉讓部分是遊戲本,不可轉讓部分是完全存在的理由。 Lifewood自己對大額註解提供者的比較, AI 大型數據註釋和標籤公司,及其概覽 AI 數據服務,將這個中心開放過程設定在更廣泛的註釋市場的背景下.