簡短回答： 圖像,視頻和3D/LiDAR註釋不應該從相同的單價中預算. 成本隨幾何和審查努力而上升,而不是文件計數:分類最便宜,盒和鍵點加勞力,分塊增加邊界精度,視頻增加時間一致性工作,3D/LiDAR增加空間解釋加交叉傳感器審查. CVAT已公佈的例子 23 每個圖像的對象 100,000 圖像顯示文件數是如何隱藏工作量的。預算按幾何和 QA 每一個對象的嘗試,然後在真實的樣本中驗證。
核心重點
- 註釋成本尺度,以對象數,每個標籤的幾何和審查深度爲單位,而不是以圖像或剪輯的數量爲單位.
- CVAT出版的外包實例假設: 23 每個圖像的對象 100,000 圖像, 大致生成 2.3 百萬個註釋對象。
- 視頻註釋比圖像註釋成本更高,因爲軌道身份,隱含和插圖規則創造了靜態圖像中不存在的序列級審查工作.
- 3D和LiDAR的註釋又花費了更多的錢,因爲註釋者將立方體放在三根軸上,加上小點雲上的 ya,並把它們調和到相機,LiDAR和雷達上.
- 一種可論證的多式聯運預算模式,每種模式針對每件資產的計量對象,然後增加一次入職、修改準則和重修規定。
爲什麼大多數註釋預算都是用錯誤的數字來編制的?
大多數註釋預算都是從一個文件數乘以一個不同數據集引用的速率來構建的,而這個數字只持續到第一個發票。實際驅動成本的數字是對象數、每個標籤的幾何和質量目標要求的審查深度。
對象密度是指在買方自身本體學下根據生產數據測量的每件資產標註對象的平均數量,是大多數註釋預算所假定的而不是衡量的單一數字.
該指南規定了各種模式的相對成本結構、爲什麼每個模式都以這種方式行事、以及在預算執行之前應衡量什麼。 Lifewood指南 數據註釋定價模型,它涵蓋每個對象,每個小時和每個項目收費的一般條件;這個帖子是關於模式本身如何移動成本的.
說明費用如何因任務類型而異?
註釋努力以可預測的順序上升:圖像分類最便宜,邊框和鍵位成本更高,多邊形和分區成本更高,視頻跟蹤和3D點雲坐高端,傳感器聚變和專家醫學註釋坐極頂端. 絕對率取決於語言,地理,質量目標和安全要求,所以有用的比較是相對的.
爲什麼每個圖像的價格會誤導?
每個圖像的價格會誤導,因爲工作量生活在圖像內部的物體,而不是圖像本身,而對象密度因數據集之間的數量順序而異。 有兩個項目的文件計數相同,在可計費勞動方面可以有十倍的差異。
CVAT對外承包說明的公佈成本分析假設: 23 每個圖像的對象 100,000 圖像, 創建大約 2.3 百萬個單個註釋對象。將這個比例改爲 5 和同一文件數成爲 500,000-對象工程。 將其修改爲 60 變成一個 6- 百萬對象項目,文件數沒有移動 。
在接受任何逐個圖像引用之前,請做如下:
- 從實際生產數據中隨機抽取至少200件資產,而不是一個被整理的演示集.
- 計算每個資產在你自己本體學下的對象.
- 記錄中位數,九成數和最高值.
- 如果九成分數超過中位數的兩倍, 成像定價正在將真實風險轉移給某人, 並且它會在你的發票或供應商的質量中解決。
同樣的操作適用於屬性。 帶有23個盒子的圖像是一份工作; 帶有23個盒子的圖像每個帶6個屬性字段的圖像是一份大得多的圖像。 Lifewood的指南 比較數據註釋供應商報價 覆蓋如何使使用不同單位的引文正常化。
爲什麼視頻註釋比圖像註釋要貴?
視頻註釋的成本更高,因爲同一對象必須保持同樣身份,覆蓋數百個幀,並且錯誤沿序列傳播,而不是停留在一個圖像中。 這創造了結構性的回顧工作,而不僅僅是更多的幀。
時間一致性是要求標註對象在出現時的每個框架,包括封存和重新輸入時,保持相同的軌道身份,類別和屬性.
視頻註釋不是圖像註釋乘以幀數。 附加的工作是結構的 :
- 身份堅持. 同一對象必須在整個序列中攜帶相同的音軌ID。 這不僅僅是一個標籤問題, 也不是一個清晰的平行: 將一個片段分割到兩個註釋器上就是音軌身份的斷裂方式。
- 出入處. 對象出現、離開和返回。該準則必須定義返回對象是否恢復其原始對象 ID,而註釋者必須堅持使用 整個小時的鏡頭。
- 隱蔽規則。 物體在軌道終止前可能隱藏了多長時間,以及兩者間框會怎樣.
- 內向政策. 關鍵框架之間可能存在哪些插值,哪些必須直接貼上標籤。 侵略性插值是合法的成本節省和系統性錯誤的合法來源,完全取決於運動特徵。
- 序列級評議. 數百幀的錯誤被傳播,因此,對隨機單個幀的審查幾乎一無所獲。 需要按順序進行審查,每審查一個數據單位,其成本會更高。
對於自動駕駛和機器人數據集,增加同步相機和傳感器標籤,將以上所有數據乘以傳感器數量.
爲什麼3D和LiDAR註釋要花費更多?
3D和LiDAR的註釋成本更高,因爲人類必須解釋稀疏或吵鬧的點雲,在包括黃牛在內的三軸中準確定位立體,並保持觀點和時間的一致性。 傳感器聚變在其中增加了一個跨模式的調節步驟。
傳感器聚變注是指同一物理物體的標籤,該標記一致地橫跨相機,LiDAR和雷達數據,這樣一個身份將一個2D盒,一個3D立方體和一個雷達返回連接起來.
遠地點和反射物體可能還原少數點,此時,註釋者在推斷而不是觀察,準則必須說明何時允許推斷,何時排除物體,何時升級。
當相機,LiDAR和雷達被合併時,跨模式審查既增加了勞動要求,也增加了錯誤的後果。 一個有正確相機盒,正確LiDAR立方體和它們之間不匹配的特性的物體教給模型兩個幾何美圖描述不同事物,這比缺失的標籤更糟糕. 有關該成本的任務規格載於Lifewood指南。 自動驅動數據註釋要求.
如何建立可辨證註解預算?.
預算工作可以從每個目標計費對象和努力而不是從檔案中進行,然後增加審查、重做、入職和修改準則的規定作爲單獨的項目。 省略的兩條項目大多是入職和修改準則的津貼。
審查乘數是用於爲某一精確目標所需的二次通過和審計工作供資的基本人工成本的係數,隨着所涉類別的質量門檻和安全臨界度的提高而增加。
Billable objects = Assets × Mean objects per asset
Base labour cost = Billable objects × Unit rate for that geometry
QA and review cost = Base labour cost × Review multiplier for your quality target
Rework provision = Base + QA, ÷ Expected first-pass acceptance rate
Total programme cost = Rework-adjusted cost + Onboarding + Guideline change allowance
入職和校準是每個供應商每個分類學都出現過的實際成本。 改變準則津貼是真正的成本,它每次你的ML團隊學到一些東西都會出現,而健康方案往往會出現。
| 預算項目 | 通常省略了嗎? | 典型觸發 |
|---|---|---|
| 每件資產差異的物體 | 是 | 製作數據中的場景 |
| 每個對象屬性字段 | 是 | 試運行後腫瘤擴張 |
| 序列級視頻評論 | 是 | 跟蹤身份錯誤發現較晚 |
| 交叉傳感器對賬 | 是 | 增加2D方案的綜合工作 |
| 登機和校準 | 有時 | 新銷售商或新分類 |
| 準則修改和重新標籤 | 幾乎總是 | 任何真正的研究方案 |
| 保障費或居住費 | 有時 | 客戶或監管任務 |
本指南中所有引用的數字都是針對具體情景公佈的第三方實例,它們不是行業平均值,也不是行業平均值。 Lifewood 價格。 價格。
怎麼樣 Lifewood 採用多式聯運說明定價辦法?
Lifewood 範圍是每個項目的多式聯運方案,而不是公佈收費卡,因爲圖像、錄像和三維工作的成本結構差異太大,無法減少到一個數字。
覆蓋整個文本、圖像、音頻、視頻和三維點雲工作,意味着一個提供者可以持有一致的圖案和 QA 定義從2D到視頻,然後進入傳感器數據。替代方案是第二個供應商、第二個登機和同一腫瘤學兩個解釋之間的永久調節任務。 Lifewood的,因爲 AI 數據服務 及其與《公約》有關的程序和機制 自動驅動註釋 服務覆蓋了LiDAR,相機和雷達標籤,並配有聚變對齊.
質量框架是合同框架,而不是描述的:a 95%+ 準確率 SLA,對照客戶覈准的黃金套, 兩份獨立審查證 帶有時間戳式批准記錄、自動一致性檢查和客戶反饋循環,低於門檻的批次按Lifewood的成本重新工作。對於多式聯運工作,這一點特別重要,因爲失敗模式因方式不同而不同,一個彙總數字會隱藏這些模式;要求按方式和對象類別報告接受情況。
跨度 40+ 分娩中心 30+ 國家 支持需要持續在多個生產地點配置人員的大量方案,這是連續的視頻和傳感器管道所需要的,因爲不能在一個星期內進行分批。 Lifewood列表 頂級自主驅動註釋公司.