简短回答： 长尾矿和边缘矿山开采是训练前积极发现数据集中罕见的事物,因此可以对是否收集更多,增加,再平衡或接受缺口作出审慎的决定. 方法从简单的类频分析到嵌入式集群,模型不确定性信号和专家领域审计. 没有任何一项方案是完全独立的,最好的方案是几个方案相结合的,将搜索视为一种持续的做法,而不是一次性检查。
核心要点
- 大多数生产AI故障发生在发行尾部,其中实例很少,模型表示也比较稀薄.
- 难度和稀有度是不同的维度. 一项关于3D检测的研究发现,瞄准稀有度直接在稀有物体上产生30.97%的收益,大于单从瞄准难度中获得的收益.
- 标签频率分析是最简单的起点:按频率排序类别,检查底层五分位数,检查训练频率是否与预期部署频率相符.
- 切片发现寻找现有类别内条件的不良交叉点,抓住仅标注的漏洞,不能显示.
- 嵌入集群和特征-空间密度估计可以识别出语义空间的稀疏区域,而不论标签类别,并且可以给单个实例分配稀有分数.
- 一旦发现差距,可选择收集更多的数据,以特性空间合成为补充,在培训时重新平衡,或记录和接受差距。
为什么长尾巴不只是一个边缘案件 需要忽略?
现实世界的数据几乎从未平衡,其中罕见的部分在部署流量中所占比重太大,无法作为噪音注销.
数据通常遵循与权力法相近的事物:少数常见的类或条件占了大多数例子,而稀有类的尾巴则长而细,尽管每个类都很小,但占了整个案例的很大一部分。 标准的培训程序无法公平地处理这一问题。 一个模型天真地训练了多数类的不均匀数据集选择,因为梯度信号来自那里,并且除了稀有类的微弱和不稳定的表述外,对常见情况具有高度的信心。
两个维度在这里很容易混杂. 困难 是一个问题的根本模糊性——即使有许多例子,也很难分类的样本,因为信号本身是响亮的。 稀疏性 缺乏数据支持——一个模型的样本分类不准确,因为其发现的样本太少。关于3D探测采矿的一项研究发现,利用特征密度估计来识别和优先处理罕见的病例,直接瞄准稀有物,在稀有物上获得了30.97%的收益,比仅仅挖掘硬性实例的改进更大。 边缘大小写 两者的交汇点: 一次难得,一次难得,因此关系特别重大。 如果一个案例是罕见的,但并不困难, 更多的实例可能就足够了; 如果是困难的, 收藏比模型或标签设计变化更能帮助更多。 Teams building 地方政府管理课程的多语种评价集 不断进入这种区分,因为资源不足的建筑可以取决于语言的左右或两者兼而有之。
如何找到长尾巴 频率分析?
计算东西之前,要达到任何复杂的: 按频率排序每个标签类别, 并查看下五分位数。
标签频率分析是最简单的长尾矿开采形式,在培训前跳过的次数确实令人惊讶。对于分类任务中只有不到几百个实例或语言模型背景下有几千个符号的类别, 问预期生产频率是否证明目前的培训频率是合理的——这一类别将出现在10%的实际查询中,但构成培训实例的0.1%,在培训开始前就可知道。
有两个问题在实践中使这一点复杂化。 首先,许多真正的数据集缺乏干净的绝对标签:尾巴生活在组合和共聚中,而不是单个维度。 切片发现 处理该问题的方法是查明现有类别内表现不佳的交叉点,而不是完全缺失的标签——情绪分类员可能平均处理负面审查,而具体处理在密码交换登记册中写的负面审查或非常短的讽刺性审查则失败。 仅靠标签计算并不能揭示这一点。 其次,数据集中的频率不是世界的频率。 以网络刮损而构建的数据集过度反映了网络制作的内容类型,也未能充分反映语言、区域方言和非正式登记册。 数据集频率和世界频率之间的差距 在于尾部的咬痕之处 这也是为什么 文化相关数据收集 和生化量一样重要。
嵌入集群显示标签数错失了什么?
嵌入集群在语义空间而不是标签空间上工作,它抓住了断然标签完全错失的漏洞.
这种方法将实例投放到共享嵌入空间中,将其分组,并寻找在现实世界中是大但训练数据很薄的集群。有两个实例可能带有相同的标签,但可能非常不同,如果一种品种很少,则仅标签计数将无法显示。在实践中:通过一个预先训练的编码器(文本语言模型、图像视觉编码器、音频语音编码器)运行数据,应用 k-means 或 UMAP-以减小维度为基础,并寻找人员稀少的集群。如果有部署环境中未加标签的数据,则通过同一编码器运行,并覆盖两个分布,则准确显示培训覆盖面的薄弱之处。
研究已正式确定这一点,在特征空间进行密度估计:通过事先训练的探测器对特征矢量进行规范化的流模型,可以为个别情况分配稀有分数,低密度情况标注为稀有和高密度情况。 输出是空间而不是绝对的,这使得它更适合收藏设计——描述在特征("短,非正式,代码切换,从这个人口")上缺失的东西比一个赤裸裸的"我们需要更多的这个例子"更有用. 这是后面的同样逻辑. 测量数据集的多样性 更广泛地说:覆盖范围必须在特征空间中评估,而不仅仅是通过计算标签来评估。
不确定模型能说明什么是覆盖差距?
一个训练有素的模型已经知道,从粗略的意义上讲,它自己的训练数据是薄的,并且运行在被搁置或无标签的数据上,可以直接发出信号。
这种样本上模型的高度不确定性表明,模型遇到了一些它无法自信解决的问题,无论是因为项目本质上是模糊的(困难的),还是因为模型没有看到足够的这种类型(稀有的). 基于不确定性的方法在数据集合上进行推论,并标出最低自信项目,使用预测的entropy,前两个预测类别之间的差值,或者综艺成员或蒙特卡洛辍学样本之间的差异. 对一个验证集的错误分析是一个互补的,更便宜的替代方案:按类别,人口切片或域来组织错误,并寻找规律——这个模型总体来说失败了8%的时间,但34%的时间在一个副条件上有一个长尾的问题,头条号码隐藏.
有一种谨慎的研究强调:不确定性抽样偏向于困难的例子,不一定罕见。 只收集最不确定的项目有可能积累更真实模糊的案件,而不是代表性不足但可分类的案件。 更安全的方法在进行密度分析的同时进行不确定性分析,并将它们视为互补信号而不是替代物,类似于如何 黄金套、审计抽样和共识 每种方法的计算成本不同,对低信心的根本原因的敏感度也不同,因此,只有操作其中一种方法的方案将系统地错过这种方法在捕捉时薄弱的类别。
为什么域审计仍然需要人的专门知识?
频率、嵌入和不确定性方法只处理已经存在的数据;域审计询问数据应包含哪些内容,而需要了解部署背景的人,而不是更多的计算。
审计将了解类似系统故障模式的人和真正使用产品的人聚集在一起,通过结构化的问题开展工作:谁产生数据,缺少哪些语言、方言、年龄组、区域和社会背景;收集的条件是什么,记录环境是什么, 设备、时间压力、形式级别或域名词汇的部署确实涉及培训数据不捕捉;以及情况出现错误时会发生什么,包括对抗性输入、可混淆类别和分配外组合,这些组合似乎不太可能,但用户无论如何都会产生。 部署的AI系统的历史充满了从部署背景来看是可以预测的故障,而仅从培训分配中就看不到故障,这就是为什么这一步骤不能自动消失的原因.
在Lifewood,当一个多语言数据项目开始时,早期工作的一部分正是这种审计——绘制一个对现有数据进行培训的模型将错过的是什么,它涉及特定地区的人如何实际说话,他们使用什么术语,他们记录的条件,以及哪些边缘情况在当地是常见的而不是全球通用的。 在一个特定社区,一个在汇总数据集中很少出现的区域变体可以是主导形式,而这种变体需要 地方一级语言范围界定 嵌入式集群可以显示一个语义空间区域是稀薄的;它不能表明该区域与一个社会重要人口相对应,而这些人将发现产品没有这种数据,这就是为什么 征聘本地缴款人 这些人是修补的一部分,不是事后思考。
一旦发现缺口,队伍应该做什么?
找出差距本身是不够的——每个差距都需要被分成收集、增加、重新平衡或接受和记录,正确的选择取决于差距是否可以收回和值得恢复。
收集更多的数据是世界上存在这一类时的正确答案,人们可以找到制作或标注它,在预算和时间范围内,数量差距是可以弥合的——大多数区域语言覆盖面差距、大多数人口分布失衡以及大部分领域覆盖面问题,而那些缺失的例子还没有收集。 在收集不切实际但合成变化有意义的情况下,增强是合适的:特性-空间增强法通过将特性矢量取代稀有类表示而产生虚拟样本,在缺乏真正样本的情况下,它被证明有效,可以扩大尾部覆盖范围, 并且比图像级增强更具有可辨性,因为它在模型自身表达定义的空间中运行. 重新平衡——过度抽样稀有类,不足抽样常见类,或减重对尾端实例——在数据存在但训练信号不平衡的情况下才合适,这三种类型的正确选择取决于尾端有多罕见,以及模型是否因信号缺失或数据缺失而失败. 接受和记录差距在不现实部署范围时是合适的;重要的是,差距得到明确承认并反映在示范卡和部署指导中,而不是在发射后被用户发现。
更好的框架将这一点视为一种持续的做法,而不是培训前的清单。 生产数据揭示出培训前分析所遗漏的差距,以及建立系统收集失败案例、部署模型的不确定性信号和常规域审计的团队是其模型随时间推移而改进而不是悄悄积累错误的队伍。 Lifewood 在整个审计领域适用同样的审计纪律 多种语文数据收集 方案及更广泛的 AI 数据服务 工作,将计算尾部调查与纯粹自动管道无法供应的域和社区知识结合起来,以便在模型启动之前检查尾部覆盖并进行三分法,而不是事后根据用户投诉进行诊断。