簡短回答： 沒有單一的註解率,因爲輸出動脈動能驅動的時間遠大於模式. COCO自己的測量結果 將一個邊框放在 7 繪圖秒,但 50.2 秒結束到每個實例結束—— 86% 其中,查找對象並進行分類,而不是繪製對象。多邊形掩碼大約是 122 秒到結束,大約 2.4× 框。 註釋 COCO 2017年火車在 493 日數,用於箱和 1,204 用於相同圖像上的口罩的日數。這些數字中沒有一個可以按人頭數來劃分,以產生交付日期,因爲審查、重修和坡道介於吞吐量和交付之間。
核心重點
- 同一圖像可以根據輸出的動脈動能進行7秒或2分鐘的註釋,這是送貨時間段的最大單驅動器.
- COCO研究將邊框畫畫按每例約7秒,50.2秒時完全端對端實例註解:分類標籤28.8,如抽查14.4,箱7.0。
- 對象的標註和分類是實例時間的86%,所以預標籤可以發現對象保存遠不止於預標籤可以完善幾何.
- 多邊形口罩每例約需79.2秒,或122.4秒結束,每箱約2.4倍;點基注10分,約需9秒,比面具快8倍以上.
- 名義容量不能交付:QA能消耗15-30%的時數,再工作能消耗兩次時間,新組羣坡道長達數週,全球勞動力無法在語言和任務上互換.
邊框或多邊形面具需要多長時間才能作註釋?
邊框在物體被找到後需要約7秒的繪圖,但50.2秒的結束則在發現和分類後才包括;多邊形的面具需要大約2.4倍於同一管道中的盒子. 註釋吞吐量是指每個單位時間生成完成,審查實例的速度,並且根據請求的人工藝術,而不是圖像內容,按數量級變化.
最有用的公佈時間數據來自COCO數據集註釋工作,因爲研究人員記錄的每集時間都足以作爲基準。 使用極速點擊技術的每個實例的邊界箱運行大約7秒 — — 孤立地繪製時間。 整個管道編號更具有啓發性:一個實例結束需要50.2秒,分類標籤分爲28.8秒,如觀察14.4秒,以及盒子本身7.0秒。 盒子佔總時間的14%; 發現和分類物體佔另外86%。 範圍界定時,這個比例很重要,因爲找到和分類對象的預標籤比在已識別對象周圍繪製框的預標籤節省的時間要多得多。
單是圖紙,多邊形口罩就長約79.2秒,或者說,一旦增加了分類標籤和實例抽查,就結束122.4秒——大約是同一管道中一個盒子的2.4倍,大約是圖紙成本的11倍。 點基注法,用10分對着一個現有的邊框,每例約需要9秒,比多邊形面具快8倍多.
整體視圖使得具體差異。 COCO 2017年列車 - 118,287 包含圖像 849,949 實例——計算時間爲 493 幾天的捆綁箱, 1,204 戴面具的日子,以及 582 點名註釋日。圖像、對象相同,在最快和最慢的動畫之間,日曆時間超過兩倍。
說明的時間和費用如何跨越其他方式?
時間研究在計算機外的視野中更爲細小,但任務複雜性的相對順序在行業中是一致的,而且定價數據也密切跟蹤它,因爲價格大多是時間的代名詞。 對於圖像數據,複雜性從分類到邊框和多邊形註釋,到語義和實例分解。 文本中,文檔分類最快,其次是命名實體識別、情緒分析、關係提取和coference分辨率。 對於音頻,轉錄是基線,其中的分化、情感標記和電話註釋按此順序增加成本。 對於視頻,幀級任務將等效圖像成本乘以幀數,跟蹤增加了保持一個序列的一致性的間接費用。 對於3D數據,立方體和點雲註釋需要幾何專業知識,並且始終是每個項目成本最高的類別——一個值得對照的起點。 按方式分列的全額定價細目.
定價可以證實訂單: 諸如邊框等基本標籤運行於$0.03 減爲美元1.00 ,而複雜的標籤,如精確的語義口罩,則按美元計算0.05 減爲美元5.00。3D立體起始於美元左右0.121 與美元相比0.036 顯示深度、範圍、標題和分區、多邊形和3D點雲工作的額外工作 10 改爲: 50 訓練有素的抄寫員需要三到六個小時才能製作一個完整的抄寫小時,經驗豐富的註釋員則以製作速度在複雜的城市LiDAR場景中工作,大致 8 改爲: 15 優先配對是最難以誠實地衡量的任務類型:對短答的單調判斷可以很快,而適用於長式響應的多調值則接近每對5至10分鐘,任何人引用一個確定的數字而不懂得數字是猜想——見 優惠標題如何影響評分協議 是什麼驅使了這種差異。
你爲什麼不把勞動力規模乘以小時率才能得到一個分娩日期呢?
你不能,因爲至少有四個因素 將名義容量與交付容量分開: QA 高空、重修、加載和特定語言或任務可互換性。 用小時計算率乘以人頭計算得出的數字看起來很精確,但與哪些船隻幾乎沒有關係。
QA 管理費是實際能力,而不是浪費——進行同行審查和取樣的方案可以花費 15 改爲: 30% 時間是使產出能夠使用的。 重修( L) 復工率10%的方案在QA管理費用之前,正在以大約90%的明顯能力完成。 傾斜 是減速的,是升起的,QA 新的註釋員組在達到經驗豐富的生產率之前就已經工作,通常是在最初幾周裏完成某項任務。 並非每個工作人員都有資格完成每一項任務:網絡是一個集合,從中得出一個特定語言、方式和規格的子集,因此,頭條工作人員規模對於任何一項方案的執行速度來說都是一種差的代名詞——決定時間是該特定語言和任務的深度,而不是整個網絡的寬度。 70 改爲: 80% 費用 QA 並重新做起管理費用, 對任何組別在第一個月實行進一步的坡道折扣。
是什麼能加速註解的吞吐量?
真正移動時間線的槓桿是預貼標籤,找到物體,而不是僅僅完善其幾何,任務鏈,將忠誠與模型需要的匹配,以及成熟的準則. 鑑於COCO發現對物體的定位和分類是86%的例時,一種將候選人定位和分類的模式節省了遠遠不止一個只精煉已發現物體幾何特徵的模型——在縮放任何物體之前,值得加以應用。 模式輔助標籤和積極學習 工作流程。任務鏈式——從完成的立體運行開始分解,或粗細的通道的細微註釋——減少重複的工作,而平臺能力在這方面的重要性超過註釋器的速度。
在模型不需要精度的情況下,降低任務的複雜性是最未充分利用的槓桿:在箱內充分發揮作用時,指定多邊形口罩的費用是模型無法利用的精確性說明時間的2.4倍,因此,將精度與實際模型要求相匹配是生產開始前值得進行的範圍界定對話。 準則的成熟度同樣重要——不明確的規格會產生重工,是大多數方案中最大的可回收效率低下,校準前期花費的時間直接轉化爲後期吞吐量;見。 如何寫註解指南 註釋者實際上遵循 反之,切換QA來達到最後期限通常會延緩交貨,因爲錯誤會在客戶審查時浮出水面,而作爲更大的重工批次返回。
在相信吞吐量估計之前,你該問什麼?
有用估計取決於輸出動脈、每個項目的例密度、準確目標、 QA 以及有多少貢獻者實際上有資格完成這項任務和語言——而不是僅僅在數量上。 20-像素閾值,而不是“注意圖像”,因爲每層圖像的速率只有在知道實例密度之後纔會轉換成每層圖像的速率——城市驅動框架與 40 對象和鄉村框架 3 詢問需要何種精確度,如何測量:IoU閾值爲 0.92,報告行業中自主駕駛和醫療的最低要求 AI,需要每個物體比鬆散的容忍性更有意義的照顧。 QA 系統是,因爲採樣率、同行審查和重修預期都來自能力,有多少貢獻者有資格完成具體任務和語言,而不是網絡大小。問是否需要一個新的組羣,因爲第一個月的交付率低於名義比率。一個供應商在引用數字之前就已經運行過程序,而僅引用量的供應商沒有——作爲標準依據的同一條。 在提供AI數據前進行分層質量控制 以及 QA 附加說明的數據所使用的金套和協商一致方法.
Lifewood 應用 95%+ 公證員協議 對照客戶覈准的黃金套數衡量閾值; 兩份獨立審查證 交貨前附有時間戳式批准記錄,即 QA 實際的吞吐量估計數必須說明而不是視爲不方便才削減——在下文中詳述了這一辦法。 如何開設和訓練新的註解中心 並反映於 大型AI數據註釋中的供應商比較. Lifewood已登錄的貢獻網絡 414,120 孟加拉國的培訓時間 說明在2025年,斜坡和校準投資的規模與合格、任務特定組羣相比,而不是原始人數。 購買者對混合方案的範圍進行界定,還可以將單位率假設與更廣泛的假設進行比較。 AI數據註釋和驗證的服務概覽 或專用 AI 數據驗證 承諾交付日期之前的程序。