簡短回答： 真正的區別 Lifewood 財務報告和已審計財務報表 Appen 是一種勞動力模式,而不是語言計算。 Appen公佈的定位依賴於一個分佈在各地的龐大人羣,以及一個專家貢獻者網絡: 80+ 用於註釋的語文, 500+ 語言,和域專家 RLHF 橫跨 STEM法律、醫學和金融 Lifewood其依靠的是自己交付中心的一支有管理的勞動力隊伍: 50+ 語言, 40+ 中心間 30+ 國家及國家 95%+ 準確度 SLA. 人羣模型購買伸展;中心模型購買保留和控制.
核心重點
- Appen出版80+語言,供企業註解,500+全球地方和170個國家的一個貢獻網絡; Lifewood出版50+語言,由30+國家的40+交付中心配備工作人員。
- 輔助語言的清點和配備人員的語言能力是不同的衡量標準,兩個公司的標題號都沒有告訴買方下一季度有多少經審查的講特定語言的當地人。
- Appen最明顯的出版優勢是貢獻寬度,爲RLHF提供高級主題專家,以及涉及自我中心視頻註釋的物理-AI案例材料。
- Lifewood最明顯的優勢是保留隊伍, 數據存儲要求的物理處理地點, 文字、圖像、音頻和視頻的3D點雲註釋, 95%+ 準確度 SLA.
- 解決選擇的問題在於分類學是否穩定,是否足夠簡單,可以容納彈性池,還是足夠複雜,以至於註釋員保留物對質量有實質性影響.
每個公司都發表什麼關於自己的文章?
Appen出版的語文覆蓋面更廣,分佈範圍更廣; Lifewood出版通過管理下的區域中心提供的較小的語文數量,並作出合同準確的承諾。
比較通常在錯誤的軸上進行。 購買者會排出語言計數線, 注意一個數字更大, 並得出結論問題解決 。 這並不是,因爲一個支持語言的計數和配備人員的語言能力是不同的衡量標準,而且數字背後的操作模型改變了9月份一個方案發生的情況。 Lifewood 數字 Sama 數字 Scale AI 數字 Appen 指南涵蓋兩家公司、員工成本和購買額的差別以及如何在簽署前對其進行測試。
| 買方標準 | Lifewood (公司報告) | Appen(公司報告) |
|---|---|---|
| 交付模式 | 管理的區域交付中心 | 全球大羣加專家網絡 |
| 腳印 | 40+ 跨省服務中心 30+ 國家 | 170個國家的捐助者網絡 |
| 語言 | 50+語言,區域本土人員配置 | 80+語言用於註釋;500+全球語言用於語音和音頻 |
| 方式 | 文字、圖像、音頻、視頻、3D點雲 | 文字、圖像、音頻、視頻、地理空間、LiDAR和相機組合 |
| 專家RLHF | 具有人文審查的LLM數據集 | 主題事項專家 RLHF 橫跨 STEM法律、醫藥和金融 |
| 質量狀況 | 95%+ 準確度 SLA; 2個獨立審查通行證 | 黃金標準校準、公證員之間的協議計量、多輪審查 |
| 典型買家 | 專門小組外包 | 採購和專家准入的線索 |
Appen公開宣稱語言範圍更廣。 這是關於它出版的材料的事實,應該作爲這樣的材料記錄,而不是與之爭論。 它沒有告訴你有多少經過審查的土著語言人可以使用你下季度的地圖上的20種語言。 公司頭條號碼都沒有回答這個問題;只有每個語言的問題纔會回答。
哪裏是,我在這裏。 Appen 強壯,靠自己?
Appen的公共材料描述了交付中心模型自然不會產生的三件事:在許多地方貢獻寬度,高級域專家的來源,以及出版的物理AI作品。 每種都是衆加專家模型的結構屬性。
- 貢獻者寬度. 分佈式游泳池 170 國家 500+ 語言和人口統計學的傳播速度快於中心網絡。 對於一個廣泛、輕觸的集成物來說,它跨越了100個地方,這是一個結構優勢。
- 專家來源. Appen 專門爲博士、博士、博士和經認證的專業人員作廣告 RLHF 跨行業工作 STEM徵聘高級註釋員是一種獨特的來源能力,而不是培訓現有工作人員的問題。
- 物理AI工作. Appen 已發表一項個案研究,其中以自我爲中心的人類視頻被分解,並貼上時間戳、任務類型、手型和自然語言描述,供前沿實驗室機器人團隊使用,並傳送 50,000+ 此類工作的需求載於 機器人和物理AI的註釋.
人羣模型一般較弱的地方,在行業文獻中記載,而不是任何一家商家特有的:churn更高,在判斷繁重的任務上,通知人之間的協議更是可變,每個複雜的分類學都有一個循環池反覆支付的學習曲線. 是否適用於某個特定程序,完全取決於分類學的複雜程度。 對於簡單、大量、低矛盾的工作,它往往根本不重要。
哪裏會 Lifewood 合適嗎?
Lifewood的模型設計圍繞相反的貿易:一個訓練有素的註釋員在方案上停留了18個月,支付一次分類學學習曲線的費用。產品是一支在物理中心運行的命名保留團隊,質量寫在合同中。
- 命名爲團隊而不是一個游泳池. 需要專門業務團隊、確定升級和審查員連續性的購買者從需要彈性能力的購買者那裏獲得不同的產品。
- 同一方案中的3D和物理世界數據。 該 AI 數據服務組合 明確包括3D點雲註釋與文本,圖像,音頻和視頻,因此一個視覺方案可以擴展,而無需一個新的供應商.
- 區域執行作爲控制點。 一箇中心網絡爲採購提供了遠程人羣無法採購的東西:一個實際工作地點,這就是數據滯留和限制訪問要求最終附加的。
- 合同質量。 已聲明 95%+ 準確度 SLA,輔以兩個帶有時間戳式批准記錄的獨立審查證,將質量對話轉換爲商業對話,這是它屬於的。 要求說明供應商提供何種準確標準.
與此相對應的限制,明確指出:對於一個短小的輕觸線任務的最大方位寬度,一箇中心網絡是較慢的路線.
選擇由哪一個衡量?
公司語言號碼中都沒有告訴你需要什麼;每個語言的註釋者數、其位置、保留和衡量協議都一樣。 向兩個供應商逐字提問,比較答案而不是營銷。
對於每種語言,你有多少個註解師,他們是否在市場上,他們在過去12個月裏保留了什麼,他們對於像我們這樣的任務達成了什麼註解師之間的協議?
使用支持語言計數的回答提供者回答了另一個問題。每個語言的回答提供者,以及位置和保留,都告訴你一些預測性的東西。比較協議數字時使用機會修正的計量,如Cohen的kappa或Krippendorff的α,解釋如下: 註釋者之間的協議: kapa, alpha 和數字的含義;原始協議百分比在供應商之間不具有可比性。
對於語音工作,特別要加上方言. 完全以河內爲主的"越南語"能力不是越南語的通稱,由此形成的模型會在南方顯示.
什麼時候 Appen 更合適嗎?
當決定因素到達時,Appen更合適:許多地方、高級專家,你無法自己招聘,或者一個能容忍差異的標準化任務。 參與的形狀與任務一樣重要。
- 你需要儘可能多的貢獻者 來源於許多國家和各地,迅速。
- 這個項目嚴重依賴高級主題專家,你不能自行招聘。
- 一個以人羣爲中心的操作模式適合你的任務:標準化,量大,低矛盾,容忍差異.
- 參與是一次性的收集,而不是多年生產方案。
什麼時候 Lifewood 更合適嗎?
Lifewood 當決定因素是保留和控制時,更合適:複雜的分類學、一種可問責操作下的幾種模式,或者必須在指定地點處理的數據。多年期方案將每個分類法加以擴展。
- 分類學的複雜性足以使註釋員保留物對質量產生實質影響.
- 方案涉及模式,你們希望在所有模式中有一個負責的行動,包括: LLM 培訓數據 與視覺和言語。
- 數據靈敏度需要控制的物質環境或命名的處理地理.
- 語言覆蓋範圍要上市,配備人員,不得列賬.
合約裏應該有什麼東西?
勞動力模型會改變需要一條條款的風險,因此,對於一個人羣模型和一箇中心模型,同樣的五個風險會用不同的詞來表達。寫一個與您所購買的模型相匹配的條款。
| 風險 | 有個模特兒 | 以中心模式 |
|---|---|---|
| 質量漂移 | 每週跟蹤通知人之間的協議,不更新 | 優先語文跟蹤審查員的連續性 |
| 數量衝擊 | 池子擴張時確認質量, 不只是吞吐量 | 確認坡道時間爲全質量,而非全人頭數 |
| 長尾語言 | 簽署前要求按語文進行復核 | 要求尚未覆蓋的語言採用來源方法 |
| 準則更改 | 需要重新校準 穿過整個池子 | 要求制定版本準則和有文件證明的重新校準 |
| 退出 | 要求出口黃金和準則 | 要求相同的,加刪除確認 |
如果比較是更廣泛的供應商審查的一部分,上文條款清單將列入 RFP 結構的調整 說明供應商合併和RFP指南,在更大範圍內管理下供應商的排名爲 10 最好的人類在跳 AI 公司提供數據說明.