簡短回答： 在對象上購買圖像註釋,而不是圖像 。 四個問題分別提供方:他們在一個一致的準則(框,多邊形,分割,鍵點,屬性)下支持哪一個幾何美特;他們是否按照對象密度而不是文件計數來範圍;如何佔據,模糊和模糊的對象;以及工作份額得到二次通過審查. 一個供應商,如果引用每個圖像而不詢問每個圖像的平均對象,就給出了假設的價格,而這種假設是風險。
核心重點
- 圖像註釋應當對每個對象進行範圍化和定價,屬性字段分別定價,因爲對象密度差異遠大於圖像計數.
- 大規模圖像註釋有六個任務家族:分類,邊框,多邊形和分塊,鍵點,每個對象屬性,以及文本在色譜的抄寫.
- 封裝、切換、最小尺寸、模棱兩可的類對、組對象和無法使用的圖像的邊框規則必須在第一批之前寫入準則。
- 質量應當使用IoU在規定的閾值上進行每個對象類的測量,F1按類別進行測定,對主觀屬性進行偶然修正的約定,並有已知的審查率.
- Lifewood 數據技術通過管理下的員工隊伍提供圖像註釋 95%+ 準確度 SLA, 50+ 語文和 40+ 跨省服務中心 30+ 國家。
大規模圖像註釋實際上包括什麼?
大規模圖像註釋涵蓋六個任務家庭,其勞動特徵和失敗模式各不相同,一個有能力的提供者在一個指導文件和一個分類法下運行所有六個。
圖像註釋(Image anotation)是將結構化的標籤,形狀或屬性添加到圖像的過程,這樣計算機視覺模型就可以學習每個區域包含的內容. 圖像註釋是AI數據中最商品化的外觀服務,也是最容易買到的劣質. 交付品看起來與好壞相同:貼有標籤的數據集如期到達,通過抽查,而且其中錯誤的成本在幾個月後似乎是一個模型,在標籤最弱的區段表現不佳。
六個任務家庭是:
- 分類 ——每個圖像一個或多個標籤,每個單位最便宜;在分類模糊而不是執行上失敗.
- 2D 邊框 積分工作馬 藏物規則和小遠物都失敗了
- 多邊形和分塊 語義和實例:每個物體的勞動量的幾倍;在註釋者之間的邊界一致性上失敗。
- 關鍵點和姿勢 具有顯著性規則的標誌性位置,在顯性公約未得到充分規定時失敗。
- 屬性 ——每個對象屬性:顏色,狀態,調值,隱蔽級,方向. 例行成本低,因爲每個對象六個屬性字段是比赤盒子在物質上更大的工作.
- OCR-樣式標籤和文字在現場 ——圖像內部文本的複製,包括非拉丁文字和右到左文字,其中分化行爲不同.
提供商可以管理一些井,並將其餘的分包給您,您可以不告訴你,對本體學進行第二次解釋。同樣的分類學還包含在配套指南中。 購買大型視頻註釋.
購買者應該對圖像註釋提供者進行比較嗎?
購買者應該根據七個標準來比較提供者:註釋幾何、對象密度範圍界定、邊緣大小寫處理、質量控制、比例行爲、安全性以及圖像文本的本地閱讀器。 其它所有東西,包括工具、轉換和標題單位率,都位於下游。
| 買方標準 | 何必這麼重要 | 強力的送貨看起來像什麼 |
|---|---|---|
| 註釋幾何 | 地理美因族在勞動力和人口方面各不相同。 QA 多次增加次數 | 方框、多邊形、分區和按一致準則排列的鍵點 |
| 對象密度 | 清晰的圖像乘以註釋和審查努力 | 以對象和複雜度進行定義,而不是圖像計數 |
| 邊緣案件 | 隱蔽、模糊和模糊 破壞模型質量 | 書面升級和裁定程序 |
| 質量控制 | 系統錯誤在數百萬個對象之間重複 | 具有可衡量接受目標的多階段審查 |
| 縮放行爲 | 企業項目包含數百萬個目標 | 訓練有素的勞動力,在不出現質量崩潰的情況下爬坡 |
| 警衛 | 圖像包含面部、文檔、專有環境 | 出入控制和受控生產流程 |
| 圖像文本 | 非拉丁文和RTL 腳本需要本地閱讀器 | 範圍中的腳本的母語註釋員 |
關於適用於不同模式的清單,見 9項選擇AI註釋服務的標準; 計算機視覺工作上, 與命名的提供者並列, 請參見 比較計算機中人-在“Loop”的視覺註釋提供者.
在引用前如何指定對象密度 ?
在向任何銷售商索取價格之前,在至少200個真實製作圖像的隨機樣本上測量對象密度,記錄每幅圖像的中位數、第90百分位數和最大對象。
對象密度是指某一圖像在給定的本體學下包含的標記對象的數量,而正是該變量決定了註釋努力量遠大於圖像計數. 測量它是一個圖像註釋採購中價值最高的單一小時。
- 從真實製作數據中隨機抽取至少200張圖像——而不是一個被整理的演示集.
- 將每個圖像的物體數到一, 包括你不確定的物體。
- 記錄中位數,九成數和最高值.
- 每個對象計算屬性字段。
你可以用已知的乘數要求每個對象的定價, 你可以發現報價假設你的數據沒有密度的供應商。 CVAT所公佈的獨家註釋項目成本分析假設: 23 每個圖像的對象 100,000 圖像 - 2.3 百萬個可計費對象—— 提醒人們注意文件計數是簡要中信息最少的數字。 圖像、視頻和3D/LiDAR註釋定價指南.
在第一批之前,應界定哪些邊緣情況規則?
第一批前的指南中包含7條規則: 隔離閾值,截斷,最小尺寸,模棱兩可的類對,組對象,圖像質量底,以及一個註釋者無法分類的對象的路線.
多數圖像註釋爭議不是關於權限的,而是從未寫過的規則。在準則文件中解決這些爭議:
- 隱蔽閾值. 物體停止標記的可見分數是多少?
- 斷斷. 被框邊切割的物體——貼上標籤,貼上旗幟,還是跳過?
- 最小尺寸。 低於哪個像素維度的物體是超出範圍?沒有這個,便由註釋者的耐心設定你的門檻。
- 粗細的課對. 你團隊爭吵的兩門課 說出他們的名字並給出裁決規則
- 組對象. 人羣、產品架子、堆積物——單獨還是作爲一個區域?
- 圖像質量層. 何時被否定爲無法使用而非標籤不良的圖像?
- 未知 。 問曰: 註釋員發送的是什麼他們真正無法分類的東西?一個沒有“我不知道”路線的程序會產生自信錯誤的標籤,這比漏洞更糟糕,因爲它們在驗收中是看不見的。
寫這些規則,讓新的註釋員以經驗豐富的方式應用這些規則,是其自身的技能;見指南 撰寫註釋準則,供註釋者實際遵循.
如何測量圖像註釋的質量?
圖像註釋質量應當使用IoU在規定的閾值下,F1按類別,對主觀屬性的偶然修正協議,以及已知的二傳檢定率,對每個對象類別進行測量.
不接受一個精確度百分比。 跨聯盟(IoU)是預測的框或多邊形將參照物除以兩個形狀共同覆蓋的總面積的面積相重疊的區域,因此1.0值表示完美的匹配,0.5表示合併區域重疊的一半. 要求,每個對象類別:
IoU = Area of overlap ÷ Area of union (geometric tightness)
F1 = 2 × (Precision × Recall) ÷ (P + R) (detection quality)
- 離線 對於箱和多邊形——0.5是用於正確檢測的經典PASCAL VOC欄,對於任何與安全相關的事物來說,它都是弱的欄;說明每個類所需的閾值。
- F1 按類別,因爲一個集合數字以大型,簡易,精密的物體爲主.
- 概率修正協議 (Cohen's kappa或Krippendorff's alpha),用於任何主觀屬性.
- 屬性精確度 以幾何精確度計算,它們獨立失效。
質量在尺度上的重要性不成比例,因爲數百萬個物體之間重複出現的小的系統錯誤會扭曲模型行爲在一個一致的方向,而這個方向比隨機噪聲更難發現.
二通檢是接受作品前由不同的註釋員對完成的註釋進行獨立檢查. 要求審查率:有多少工作得到二次審查,如何選擇樣本?隨機取樣和風險加權取樣對相同的費用產生截然不同的保證。 Lifewood的,因爲 AI 數據驗證服務 措施審查通過時,將參照客戶覈准的一套黃金。
買東西之前你應該問什麼問題?
八問暴露了在承諾量前的細長過程,最有資料的問到提供商去年最差的質量事件.
- 你現在需要哪些註釋 哪些在18個月內?
- 我們的數據中每個圖像的物體中位數和百分數是多少?
- 您指南中如何定義隔離、 截流、 最小大小和組對象 ?
- 二次通過審查的工作百分比是多少,如何選擇樣本?
- 同樣的計劃能否在不給圖像集重新貼標籤的情況下延伸成視頻或3D?
- 如何在大型團隊中推行準則修改,誰支付重新貼標籤的費用?
- 對於包含非拉丁文字文本的圖像,誰讀的?
- 去年你在一個圖像節目上 出了什麼最糟糕的質素事件 之後又有什麼變化?
最後一個問題是信息最豐富的問題。 以實際數量運作的供應商發生了事故;聲稱其他情況是新、小或非計量的供應商。
怎麼樣 Lifewood 接近大型圖像註釋?
Lifewood 通過在自有交付中心管理的員工隊伍而不是開放式人羣來提供圖像註釋,涵蓋合同下的分類、箱、多邊形、分區、關鍵點和屬性標籤 95%+ 準確度 SLA.
管理型勞動力模型適合具有複雜分類學的長期方案:你的本體學的學習曲線一次性支付並保留。圖像工作與視頻、文本、音頻和3D點雲工作在同一方案內,因此,一個計劃可以跨模式延伸,而無需第二個供應商和第二個解釋(關於本體的全範圍)。 AI 數據服務頁面).
質量框架是合同框架:a 95%+ 準確率 SLA 並配備經過訓練的註釋員,高級二等座評審,自動一致性檢查和客戶反饋循環,低於門檻的批次以Lifewood的成本重新工作.
對於載有文字、標誌或文化上具體內容的圖像, 100+ 語言 區域內部的註釋員 40+ 跨省服務中心 30+ 國家 問題比買家所期望的要多——非拉丁和右對左腳本作品需要讀過劇本的人,而不是翻轉形狀的人.
圖像重度方案的其他可信提供者包括: Sama將服務定位於人行影像、視頻和三維註釋; TELUS Digital,用於需要註釋與地面真相工作室和可配置工作流程相結合的購買者; Scale AI,用於圍繞其數據引擎建造的高度技術化的計算機視線管道。如果飛行員證明您的具體任務在實質上質量或經濟學上都比較好,則選擇一個較窄的專家。 AI 大型數據註釋和標籤公司.