簡短回答： An L4 語言註釋轉換分爲五個階段: 接收和預貼標籤、人的說明、同行評審、 QA 取樣,然後重新工作,交付。 70–80% ,但是它充滿自信的錯誤產出比空白的幀更難糾正。 8–15 時速幀,追蹤...ID 交叉路徑的互換是 在一個序列中加速的錯位。
進入大多數AI會議,你會聽到很多模型。關於建築選擇,培訓運行,基準數,你所聽到的更少的是它下面的操作層: 充滿判斷呼喚的房間裏,其速度決定了感知系統在現實世界是否有效。
說明 L4 自動駕駛是製作中最要求的註釋任務之一。它不像標籤圖像,因爲錯誤會產生錯誤的標題。一個被錯誤標記的行人,一個在稀疏點雲中被錯失的騎自行車的人,一個被漂移的邊框。 15 橫跨一釐米 10- 框架序列:其中任何一種系統都可能破壞安全關鍵系統的訓練信號,而安全關鍵系統是安全關鍵系統的一個方面。 自動驅動數據註釋要求 現代自主車隊每天生成三字節傳感器數據,而LiDAR的每個幀都需要經過處理、貼標籤、覈實和交付,然後才能做任何有用的事情。
這是Lifewood LiDAR 交付中心生產轉變的歷程:從一個幀批量到達到它上船的那一刻。
核心重點
- 預貼標籤會自動將候選說明放在典型的城市LiDAR框架約70%至80%的物體上,但自信和錯誤的輸出比空白框架更難校正.
- 經驗豐富的都市場景註釋員 大致上 8 改爲: 15 時速幀,追蹤...ID 交叉路徑上的任務是最常見的複合錯誤。
- 同行評審,第二個註釋員檢查了原點雲的註釋,發現大約一半的錯誤,否則就會出現 QA.
- QA 抽樣率 10 改爲: 15% 供已設注者使用, 25 改爲: 30% 新的, 低信心和稀有的場景 總是包括,不管基率如何。
- 每一艘交付的批次船舶,都有質量報告,每批貨物準確性都包括在內, QA 樣本率、重修歷史和準則版本的說明是對照編寫的。
在筆記轉換開始之前會發生什麼?
在任何人打開註釋工具之前,班頭領導已經審查了當天批次的任務規格,並向小組介紹了邊緣案例和準則最新情況。
自主駕駛客戶的LiDAR註釋由詳細的本體學規範:有哪些類別(車輛、行人、騎自行車者、易受傷害的道路使用者、建築要素、靜態障礙),每個類別標籤慣例是什麼,如何處理隔離,如何處理部分退出視野的物體, 以及當LiDAR返回時 如何做 數量太少了 無法確定是否值得信任
最後一個問題是不斷出現的。在雨中、反光表面周圍和傳感器範圍邊緣處,在距離上、在雨中、在雨中和在距離80米以外的車輛上,可能會產生12至15個立方圓點。在同一距離上,行人可能會產生4至6個。 規格決定這是不可注意的對象,"低信任度"旗幟,還是故意省略,正確的答案根據客戶端,訓練目標和方案階段而改變.
輪班主播10分鐘的通報:從上屆的邊緣案例在重修中浮出水面,客戶端推動的任何準則更新,以及當天的批量特性. 如果在數據集中出現新的駕駛情景(不是以前批次中的建築區類型,異常天氣條件,地理上的道路標誌不熟悉),在任何人接觸工具之前都會討論。
錄取和預貼標籤如何運作?
批次作爲原始傳感器數據到達,並在任何人類註釋者觸碰前通過自動預標傳.
批量作爲原始傳感器數據運抵:點雲以二進制格式,在適用的情況下與相機種子和雷達同步進行時間戳和同步. 標籤前 是一個模型生成的首個通過,將候選的3D邊框置於類似無名物體的星團周圍,每個星團上都附有預測的類標籤和信心分數——這是人類驗證而不是完成註釋的草稿,在覆蓋範圍中更深入地涵蓋區別。 模式輔助標籤和積極學習.
對這一步驟的誠實態度很重要。 最好先給標籤,這是一份快速的初稿,熟練的註釋者可以驗證和糾正;最糟糕的是,在條件異常的幀上,它可以產生自信、可信、錯誤的產出,比空白幀更難糾正。 生產團隊知道這一點並相應校準。
在典型的幾批具有合理可見度的城市駕駛上,預貼標籤在大約70-80%的物體上達到了可以接受的覆蓋。 其餘的20-30%,遠處物體,部分被佔用物體,培訓數據沒有覆蓋的新情況,需要從零開始找到並貼上標籤。 預標籤者還經常在低信心下錯誤分類:一輛被歸類爲車輛的摩托車,一個被歸類爲行人的垃圾桶。這些都出現在了置信分數中,但註釋者必須查看所有這些分數。
置信分數低於閾值的幀(每個程序設定,通常在預標籤人內部尺度上爲0.6至0.7左右)在其餘批次處理之前標出人類優先關注的標註.
人類筆記傳記時會發生什麼事?
人類的註釋通過對每個預先貼標籤的對象的審計,並找到模型錯過的,使用一個立體第一工作流程,並跨幀序列進行時間跟蹤.
註釋者在一個3D點雲查看器中工作, 預貼標籤的框已經放置, 原始雲也可見。 任務不是接受預貼標籤; 而是對每個框中的每個對象進行審覈。 實際這意味着檢查每個放置的框是否正確分類, 緊湊且一致的橫跨框頭 。 這意味着要爲預標籤者完全錯過的對象尋找原始雲。這意味着,對於每一個模糊的返回,都要決定這是不可注意的物體還是背景噪音。
該 立方體第一方法 標準:先創建或糾正3D邊框,然後在鳥眼視圖(BEV)中調整,以微調位置和方向。對於序列而非單一框架,註釋器還使用一個時段跟蹤對象。 跟蹤 ID,一個持久的識別符,必須攜帶行人或車輛穿過其內出現的每一個框架,其捆綁箱的移動與物體的運動一致。
追蹤是很多註釋時間的所在, 也有很多錯誤。 ID 框中互換 5,如果兩個行人交叉路口,而註釋者錯誤地分配了ID,則會通過其他序列傳播。這是一個很小的決定,看起來微不足道,需要大量重修才能找到。
特聘書記是這裏的事務 L4 質量水平,註釋LiDAR井需要理解3D幾何,運動動力學和傳感器物理學:如何在範圍解釋稀疏的回報,LiDAR陰影表示什麼,如何處理產生人工亮度回報的反射面. Lifewood 專門爲LiDAR工作而訓練註釋員,而不是通過任務類型來旋轉,正因爲專業知識是質量水平所依賴的,也就是如何塑造工作類型的推理。 徵聘、培訓和認證了公證員 用於其他專業領域。
一個有經驗的按生產速度工作的註釋員將在複雜的城市場景上以每小時8至15幀的速度處理,在困難的條件下處理的數量要少得多。 這比許多客戶預期的要慢,而且完全正確:對這項任務的更快的註釋意味着錯過對象和錯誤的分類,比所節省的註釋時間更需要下游的固定成本.
同行審評在之前如何捕獲錯誤 QA?
同行評審是第二個對照原點雲檢查完成批次的註釋員,它捕捉到大約一半的差錯,否則就會發現 QA.
已完成的說明不直接到QA。 同一團隊的第二個註釋員打開註釋批次, 對照原始雲檢查。 這不是一個完整的重新註釋; 而是一個專門查找丟失對象、 類錯誤和跟蹤不一致的驗證證 。 審查者使用與程序已知故障模式相一致的覈對表:回報率低的遠方物體、傳感器邊緣物體、車輛後方行人和在過境路上跟蹤ID互換。
同行審議的速度也快於全面 QA 重審,因爲審查者正在對照已知的規格而不是從零開始重新標註標籤來檢查標註的產出。 成本是需要註釋者花掉部分時間來審查而不是註釋,而生產團隊需要計劃通過吞吐量計算來計算這一間接產出。
同行評審中標註的項目在批次移動前到原註釋器進行更正。更正、標記理由和評審員ID全部被記錄。該日誌成爲批次質量史的一部分。
怎麼樣 QA 取樣工作?
QA 抽樣審查一個框架的統計樣本,而不是每個框架,使用一名不從事註釋或同行評審工作的高級專家。
不是每個批次的每個框都滿 QA 檢查。這費用太高,而且統計質量保證也不怎麼起作用。 QA 抽樣率因方案階段和註釋記錄而異:對於方案歷史清澈的既定註釋者,a 10 改爲: 15% 每批樣本率是典型的,上升至 25 改爲: 30% 用於新的註釋器或程序規格變化後。標前標前標前標後標爲低信心的幀,或包含罕見的情景類型,無論基準率如何,都總是包含在樣本中。
電話 QA 專家審查比同行審查更徹底,它使用方案的精確性和召回標準,而不是覈對清單,這意味着專家正在積極尋找遺漏的物品,而不是僅僅檢查放在這些物品上的物品——這是在下文進一步探討的審查方法之間的區別。 黃金套、審計抽樣和共識A. 財務和預算 QA 專家可能花費 20 改爲: 30 在一個複雜的框架上,一個註釋者在其中貼上標籤 8.
產出 QA 準確分數是每批和每批註釋員的準確分數,在某些方案中對照 公證員協議(IAA),獨立註釋器以同樣方式標註同一對象的速率。低於程序精確度閾值的批量器被拒絕,並返回重做。單個準確度一直低於閾值的註釋器被暫停校準。
如何重新制作和交付被否決的幀?
被拒絕的船框帶回一個具體的旗幟理由,註釋者糾正了那面旗幟,批次艦只經過QA後連同其完整的質量報告.
拒絕的幀帶特定標記返回: 丟失對象、 錯誤的類、 緊身錯誤、 跟蹤ID 不一致 或 標題錯誤。 註釋器將單個地址和重報每個標記 。
重製率是生產效率的衡量標準,質量的衡量標準是高制重製率方案,即指導方針模糊不清、標籤前工作表現不佳或註釋員校準漂移的方案。 跟蹤隨時間推移的再工作原因,而不僅僅是再工作量,是使小組能夠區分一個準則問題(持續影響許多註釋員)和一個個別校準問題(影響特定情景類型中的一位註釋員).
一旦批次通過QA,它就會被包裝在質量報告上:每批準確度,在適用的情況下IAA得分,QA樣本率,重製歷史和標註它所依據的準則版本. 客戶端同時收到說明和文件. 文檔正是使得數據集可以審計的原因:如果一個對這些數據進行訓練的模型顯示出在特定情景類型上出乎意料的行爲,那麼存在出處線索來調查註釋是否正確.
爲什麼這個過程超越了LiDAR?
五階段結構——每個階段都抓住不同的問題,每個階段都有文件記載的決定和來源——反映了適用於註釋工作的原則,而不僅僅是LiDAR.
客戶端對數據傳輸的精確數字是進程輸出。不理解進程,數字就變得不透明:你無法知道生產數據將產生什麼,改進數據將花費什麼,或者爲什麼在特定情景類型下會降解。 瞭解這一過程是讓客戶能夠就質量問題進行知情對話而不是接受一個頭條數字的面值,這也是買方評價的原因。 自動驅動註釋提供者 如何確定供應商結構 QA,不僅指它引用的準確數字。
在Lifewood,這就是爲什麼LiDAR方案通過經過專門訓練的團隊而不是一般的註釋員來運行,爲什麼QA層是獨立於註釋的專科功能,爲什麼每批有質量報告的船舶,而不僅僅是標籤文件. Lifewood交付給L4客戶的準確性並不是一次被遺忘的聲稱;它是在同樣情況下設計出可靠生產它的轉向結構的結果. 標註員間一致性 紀律和鑑定實踐 Lifewood 適用於整個 自動驅動註釋 更廣闊 AI 數據驗證 工作,我們的工作。