簡短回答： 長尾礦和邊緣礦山開採是訓練前積極發現數據集中罕見的事物,因此可以對是否收集更多,增加,再平衡或接受缺口作出審慎的決定. 方法從簡單的類頻分析到嵌入式集羣,模型不確定性信號和專家領域審計. 沒有任何一項方案是完全獨立的,最好的方案是幾個方案相結合的,將搜索視爲一種持續的做法,而不是一次性檢查。
核心重點
- 大多數生產AI故障發生在發行尾部,其中實例很少,模型表示也比較稀薄.
- 難度和稀有度是不同的維度. 一項關於3D檢測的研究發現,瞄準稀有度直接在稀有物體上產生30.97%的收益,大於單從瞄準難度中獲得的收益.
- 標籤頻率分析是最簡單的起點:按頻率排序類別,檢查底層五分位數,檢查訓練頻率是否與預期部署頻率相符.
- 切片發現尋找現有類別內條件的不良交叉點,抓住僅標註的漏洞,不能顯示.
- 嵌入集羣和特徵-空間密度估計可以識別出語義空間的稀疏區域,而不論標籤類別,並且可以給單個實例分配稀有分數.
- 一旦發現差距,可選擇收集更多的數據,以特性空間合成爲補充,在培訓時重新平衡,或記錄和接受差距。
爲什麼長尾巴不只是一個邊緣案件 需要忽略?
現實世界的數據幾乎從未平衡,其中罕見的部分在部署流量中所佔比重太大,無法作爲噪音註銷.
數據通常遵循與權力法相近的事物:少數常見的類或條件佔了大多數例子,而稀有類的尾巴則長而細,儘管每個類都很小,但佔了整個案例的很大一部分。 標準的培訓程序無法公平地處理這一問題。 一個模型天真地訓練了多數類的不均勻數據集選擇,因爲梯度信號來自那裏,並且除了稀有類的微弱和不穩定的表述外,對常見情況具有高度的信心。
兩個維度在這裏很容易混雜. 困難 是一個問題的根本模糊性——即使有許多例子,也很難分類的樣本,因爲信號本身是響亮的。 稀疏性 缺乏數據支持——一個模型的樣本分類不準確,因爲其發現的樣本太少。關於3D探測採礦的一項研究發現,利用特徵密度估計來識別和優先處理罕見的病例,直接瞄準稀有物,在稀有物上獲得了30.97%的收益,比僅僅挖掘硬性實例的改進更大。 邊緣大小寫 兩者的交匯點: 一次難得,一次難得,因此關係特別重大。 如果一個案例是罕見的,但並不困難, 更多的實例可能就足夠了; 如果是困難的, 收藏比模型或標籤設計變化更能幫助更多。 Teams building 地方政府管理課程的多語種評價集 不斷進入這種區分,因爲資源不足的建築可以取決於語言的左右或兩者兼而有之。
如何找到長尾巴 頻率分析?
計算東西之前,要達到任何複雜的: 按頻率排序每個標籤類別, 並查看下五分位數。
標籤頻率分析是最簡單的長尾礦開採形式,在培訓前跳過的次數確實令人驚訝。對於分類任務中只有不到幾百個實例或語言模型背景下有幾千個符號的類別, 問預期生產頻率是否證明目前的培訓頻率是合理的——這一類別將出現在10%的實際查詢中,但構成培訓實例的0.1%,在培訓開始前就可知道。
有兩個問題在實踐中使這一點複雜化。 首先,許多真正的數據集缺乏乾淨的絕對標籤:尾巴生活在組合和共聚中,而不是單個維度。 切片發現 處理該問題的方法是查明現有類別內表現不佳的交叉點,而不是完全缺失的標籤——情緒分類員可能平均處理負面審查,而具體處理在密碼交換登記冊中寫的負面審查或非常短的諷刺性審查則失敗。 僅靠標籤計算並不能揭示這一點。 其次,數據集中的頻率不是世界的頻率。 以網絡刮損而構建的數據集過度反映了網絡製作的內容類型,也未能充分反映語言、區域方言和非正式登記冊。 數據集頻率和世界頻率之間的差距 在於尾部的咬痕之處 這也是爲什麼 文化相關數據收集 和生化量一樣重要。
嵌入集羣顯示標籤數錯失了什麼?
嵌入集羣在語義空間而不是標籤空間上工作,它抓住了斷然標籤完全錯失的漏洞.
這種方法將實例投放到共享嵌入空間中,將其分組,並尋找在現實世界中是大但訓練數據很薄的集羣。有兩個實例可能帶有相同的標籤,但可能非常不同,如果一種品種很少,則僅標籤計數將無法顯示。在實踐中:通過一個預先訓練的編碼器(文本語言模型、圖像視覺編碼器、音頻語音編碼器)運行數據,應用 k-means 或 UMAP-以減小維度爲基礎,並尋找人員稀少的集羣。如果有部署環境中未加標籤的數據,則通過同一編碼器運行,並覆蓋兩個分佈,則準確顯示培訓覆蓋面的薄弱之處。
研究已正式確定這一點,在特徵空間進行密度估計:通過事先訓練的探測器對特徵矢量進行規範化的流模型,可以爲個別情況分配稀有分數,低密度情況標註爲稀有和高密度情況。 輸出是空間而不是絕對的,這使得它更適合收藏設計——描述在特徵("短,非正式,代碼切換,從這個人口")上缺失的東西比一個赤裸裸的"我們需要更多的這個例子"更有用. 這是後面的同樣邏輯. 測量數據集的多樣性 更廣泛地說:覆蓋範圍必須在特徵空間中評估,而不僅僅是通過計算標籤來評估。
不確定模型能說明什麼是覆蓋差距?
一個訓練有素的模型已經知道,從粗略的意義上講,它自己的訓練數據是薄的,並且運行在被擱置或無標籤的數據上,可以直接發出信號。
這種樣本上模型的高度不確定性表明,模型遇到了一些它無法自信解決的問題,無論是因爲項目本質上是模糊的(困難的),還是因爲模型沒有看到足夠的這種類型(稀有的). 基於不確定性的方法在數據集合上進行推論,並標出最低自信項目,使用預測的entropy,前兩個預測類別之間的差值,或者綜藝成員或蒙特卡洛輟學樣本之間的差異. 對一個驗證集的錯誤分析是一個互補的,更便宜的替代方案:按類別,人口切片或域來組織錯誤,並尋找規律——這個模型總體來說失敗了8%的時間,但34%的時間在一個副條件上有一個長尾的問題,頭條號碼隱藏.
有一種謹慎的研究強調:不確定性抽樣偏向於困難的例子,不一定罕見。 只收集最不確定的項目有可能積累更真實模糊的案件,而不是代表性不足但可分類的案件。 更安全的方法在進行密度分析的同時進行不確定性分析,並將它們視爲互補信號而不是替代物,類似於如何 黃金套、審計抽樣和共識 每種方法的計算成本不同,對低信心的根本原因的敏感度也不同,因此,只有操作其中一種方法的方案將系統地錯過這種方法在捕捉時薄弱的類別。
爲什麼域審計仍然需要人的專門知識?
頻率、嵌入和不確定性方法只處理已經存在的數據;域審計詢問數據應包含哪些內容,而需要了解部署背景的人,而不是更多的計算。
審計將瞭解類似系統故障模式的人和真正使用產品的人聚集在一起,通過結構化的問題開展工作:誰產生數據,缺少哪些語言、方言、年齡組、區域和社會背景;收集的條件是什麼,記錄環境是什麼, 設備、時間壓力、形式級別或域名詞彙的部署確實涉及培訓數據不捕捉;以及情況出現錯誤時會發生什麼,包括對抗性輸入、可混淆類別和分配外組合,這些組合似乎不太可能,但用戶無論如何都會產生。 部署的AI系統的歷史充滿了從部署背景來看是可以預測的故障,而僅從培訓分配中就看不到故障,這就是爲什麼這一步驟不能自動消失的原因.
在Lifewood,當一個多語言數據項目開始時,早期工作的一部分正是這種審計——繪製一個對現有數據進行培訓的模型將錯過的是什麼,它涉及特定地區的人如何實際說話,他們使用什麼術語,他們記錄的條件,以及哪些邊緣情況在當地是常見的而不是全球通用的。 在一個特定社區,一個在彙總數據集中很少出現的區域變體可以是主導形式,而這種變體需要 地方一級語言範圍界定 嵌入式集羣可以顯示一個語義空間區域是稀薄的;它不能表明該區域與一個社會重要人口相對應,而這些人將發現產品沒有這種數據,這就是爲什麼 徵聘本地繳款人 這些人是修補的一部分,不是事後思考。
一旦發現缺口,隊伍應該做什麼?
找出差距本身是不夠的——每個差距都需要被分成收集、增加、重新平衡或接受和記錄,正確的選擇取決於差距是否可以收回和值得恢復。
收集更多的數據是世界上存在這一類時的正確答案,人們可以找到製作或標註它,在預算和時間範圍內,數量差距是可以彌合的——大多數區域語言覆蓋面差距、大多數人口分佈失衡以及大部分領域覆蓋面問題,而那些缺失的例子還沒有收集。 在收集不切實際但合成變化有意義的情況下,增強是合適的:特性-空間增強法通過將特性矢量取代稀有類表示而產生虛擬樣本,在缺乏真正樣本的情況下,它被證明有效,可以擴大尾部覆蓋範圍, 並且比圖像級增強更具有可辨性,因爲它在模型自身表達定義的空間中運行. 重新平衡——過度抽樣稀有類,不足抽樣常見類,或減重對尾端實例——在數據存在但訓練信號不平衡的情況下才合適,這三種類型的正確選擇取決於尾端有多罕見,以及模型是否因信號缺失或數據缺失而失敗. 接受和記錄差距在不現實部署範圍時是合適的;重要的是,差距得到明確承認並反映在示範卡和部署指導中,而不是在發射後被用戶發現。
更好的框架將這一點視爲一種持續的做法,而不是培訓前的清單。 生產數據揭示出培訓前分析所遺漏的差距,以及建立系統收集失敗案例、部署模型的不確定性信號和常規域審計的團隊是其模型隨時間推移而改進而不是悄悄積累錯誤的隊伍。 Lifewood 在整個審計領域適用同樣的審計紀律 多種語文數據收集 方案及更廣泛的 AI 數據服務 工作,將計算尾部調查與純粹自動管道無法供應的域和社區知識結合起來,以便在模型啓動之前檢查尾部覆蓋並進行三分法,而不是事後根據用戶投訴進行診斷。