简短回答： 三种决定在写出任何提示之前就制约了红组数据集:你采用的分类法,无论是构建、借出还是收集,以及你如何用自动方式分解人类测试。分类法最为重要,因为它决定了可以找到的东西——无论它外边的是什么,都是无形的,而不是缺失的,以及 CHI 2026 研究发现,构建方法本身决定了从业人员如何看待风险。 EU AI 8月,法案得到全面执行 2026,带有第1条 55 要求有文件证明的对抗性测试 GPAI 具有系统性风险的模型。
核心要点
- CHI 2026研究发现,数据集创建的方法塑造了从业者对风险的概念化,分类学决定了可以找到的东西——无论它以外的什么都是隐形的,而不是缺失的.
- 电话 EU AI 8月,法案得到全面执行 2026. 第 条 55 需要记录对抗性测试 GPAI 具有系统性风险的模型,第2条 9 规定生命周期测试程序,罚款为欧元35 百万或 百万 或 百万 美元 7% 全球周转额。
- 公共对抗数据集的可靠性降低,因为模型越来越多地经过培训,以便通过这些数据;培训分发中的基准衡量记忆,而不是安全。
- 据报道,自动化框架发现的弱点是人工测试速度的3.9倍,但自动化提供宽度,而人类红色团队提供深度和新式攻击发现。
- 布朗大学的研究发现,将不安全的提示翻译成低资源语言,产生了大约80%的有害反应,79种语言的评价发现,不安全的反应率比英语高出25%。
建立红色组装数据集实际需要什么?.
红色的团队化是故意用对抗性诱因来探究模型在真正用户找到之前露出不安全或政策隔离行为的做法. 建立数据集,可以追溯到在写出任何迅速之前作出的三项决定:采用何种危害分类法,是建造、借用还是收集对抗材料,以及如何在自动工具测试者和人类测试者之间分出努力。
2026年CHI的一篇论文中发现了一个重新定义整个演练过程的红色团队做法。 研究人员询问了从业人员如何构建对抗数据集,发现数据集创建方法塑造了他们对风险的观念。 以现有数据集为基础的团队继承了源材料中已经嵌入的伤害定义;团队从零开始建设则选择了自己的类别.
该分类法不是用于发现的中性容器,而是决定可以找到什么。 分类学 伤害类别是一组有文件记载的伤害类别,是对红色小组方案进行的测试,一个有14类的方案将在14类中发现伤害——无论不属于这些类别,都不是负面结果,而是无形的。
范围说明:此片涉及安全数据集是如何作为数据操作构建、配置和管理的。它不是攻击技术的目录,而是停留在方法而不是方法的层面上。从事这项工作的组织很好地公布了其程序,而不是其有效载荷。
为什么现在红色团队合作是一项合规要求,而不仅仅是一项研究活动?
2026年监管地位大幅硬化,对抗性测试对于超过风险阈值的模型不再具有可选性.
电话 EU AI 8月,法案得到全面执行 2026. 第 条 55 要求有文件证明的通用对抗性测试 AI 具有系统性风险的模型。 9 规定风险管理制度,包括整个生命周期的测试程序。35 百万或 百万 或 百万 美元 7% 全球年营业额。
在美国,NIST AI风险管理框架MEASURE职能将对抗性测试形式化为标准做法,联邦采购指南越来越多地将红色团队关系作为要求. 大多数组织的问题已经从是否这样做转向如何以产生可证明的文件的方式这样做——即数据集、分类、覆盖面、方法和结果,而不是说进行了测试的简要段落。
下游的一切都由哪三项决定决定?
早期做出的三项决定,制约了以下一切: 其分类学用来采纳,是建立,借阅还是收集对抗性数据,以及如何平衡自动工具与人类测试者.
CHI的研究确定了这项工作的三个关键时刻:确定和设定任务、开发对抗性数据集以及评估与之相对的模型。 每一个都包含着限制之后一切的决定。
使用既定分类法可以使方法与公布的结果保持一致和可比性,也意味着继承他人为他人部署背景而构建的伤害定义。 替代办法——从你们自己的风险评估中得出的建筑类别——产生了更相关的覆盖面,使结果与任何其他人无比。 两者都不是错的;错的在于默认的选择,即一个团队下载一个公共数据集并开始运行时,不检查它做了什么,也不划分为有害的,会发生什么. 对一个广泛使用的安全数据集的分析指出,显示人类的情感或行为的响应被贴上安全标签,使情绪操纵风险完全超出测量范围——不是注释错误,而是从未抽取过的类别.
在构建、借用或收集方面:从业人员描述了三种具有明确分级的感知价值的来源。 使用众所周知的数据集被视为确保方法一致性的一种方式;从零开始构建或收集真正的人与LLM相互作用,被认为是产生独特和更加有价值的数据。 认知正确性这一难以操作的理由是,由于模型日益经过通过培训,公共对抗数据集的可靠性降低。 基准 是一个固定的、公布的测试集,一旦进入模型的训练分布,它就停止测量安全性,开始测量记忆。一个公共数据集告诉你,模型处理已知的攻击,而没有任何关于新颖的攻击——这是全部问题。
关于自动化与人类测试:据报告,在2004年2月30日,自动化红色团队框架发现弱点。 3.9 与人工专家测试率乘以乘数,同时涵盖多个威胁类别,这是真正的效率论据。但跨源的构建是,自动化工具提供宽度,而人红队提供深度、新颖的攻击发现和域域专业知识。 Anthropic政策脆弱性测试和 OpenAI外部红队网络的结构不同 但基于相同的前提:域专家人类构造探针 任何自动攻击者都不会想到写作
前沿AI实验室公布的红调过程是什么?.
边疆实验室发布红色团队计数,国家和语言覆盖,并命名方法文件,为严肃覆盖的外观设定了参考标准.
GPT-4o系统卡报告29个国家超过100名外聘红队队员使用45种不同语言,操作系统卡覆盖OpenAI的网络浏览代理,报告20个国家和24种语言具体用于该表面. OpenAI的方法由艾哈迈德和同事在"AI模型和系统外部红色配对指南"中发表. Anthropic的"政策脆弱性测试"描述了与外部主题专家就特定使用政策专题进行的深入质量测试.
有两个突出之处:外部参与的规模——这不是一个运行核对表的内部团队——以及语言和国家覆盖被报告为头条标尺的事实。 45种语言是故意声明安全行为因语言而异,一种语言的测试并不普遍。 大多数企业红色团队方案只用英文测试,然后报告安全结果,因为它适用于整个部署。
在大多数方案中,多语种差距为何是最大的弱点?
安全校准按语言进行训练,因此一个模型可以拒绝英文的请求,并以从未教过护栏的语言遵从同样的请求。
这一点值得注意,因为证据非常清楚,其影响没有得到充分的承认。 护栏 布朗大学的研究人员通过使用不安全的英语提示、使用免费翻译将它们翻译成Zulu等低资源语言,并发送到GPT-4,来证明这一点。 这种方法产生了大约80%的有害反应,反对一个模式,该模式拒绝英语中的同样请求.
情况已经演变而不是得到解决。 2026年的一项测试非洲语言的研究发现,直截了当的翻译攻击已不再那么容易成功,即真正的进步,但跨越多个转折的对话仍然以很高的速度成功。 79种语言的单独评价发现,在从英语转向低资源语言的提示性反应时,不安全的答复率上升了多达25个百分点。
任何语言都无法使用的护卫装置都是任何人都可以使用免费翻译工具绕行的护卫装置,这使得多语种安全数据成为安全控制而不是多样性举措。 外地正在使用针对特定语言的安全数据集,包括阿尔巴尼亚语工作,但相对于所部署的语言模型数量而言,覆盖面仍然很小。 企业规模的多语种数据收集 将语言覆盖视为测试要求,而不是事后考虑。
可用的红色组装数据集实际包含什么?.
一个可用的数据集将每个对冲的提示与标注的模型反应,伤害类别,严重程度等级和结果判断相配——单是提示列表并不是一个数据集.
2022年Anthropic红队发布表明了这一差距:38,961个红队攻击涉及20个类别,规模很大,但分析指出,没有贴标签的响应降低了它对于自动红队和评价的有效利用。 迅速或对话,包括酌情采用完整的多回合顺序,因为多回合是当前风险的大部分所在; 模型反应,逐字记录; 一种来自有文件记载的分类分类的伤害类别标签,其中记录了分类的版本; 严重程度等级,因为“不安全”不是一回事,补救的优先程度取决于程度; 判断尝试是否实现其目标; 跟踪攻击技术分类,以便衡量而不是假定技术的多样性; 语言和语言; 注释员身份和裁定历史,原因相同; 任何注释方案都需要有文件记录的审查链.
一个从业人员组织指出,它培训不同类别对抗技术的红色团队,并系统跟踪技术多样性,以确保在各种业务中全面覆盖——这是值得模仿的学科,因为没有它,团队就会向这些技术发展,个人发现最有成果和覆盖面却无声无息地缩小。 在标签哲学方面,从业者们的指引是一致的:保守的注释,其中安全标签错误地用于谨慎,为防御系统提供最可靠的培训数据。 虚假的正面成本是拒绝的良性请求;虚假的负面成本是方案所要防止的。
红色团队节目如何悄悄失去覆盖?.
覆盖范围缩小了三种故障模式,这些模式在仪表板上都看起来像成功:技术集中、类别不平衡和基准污染。
个人红队发展了偏好,并得到了更好的选择。 没有明确的跟踪,一个队伍的覆盖范围就缩小了,而总规模却不断上升 — — 关于人类红队的研究特别突出了重复测试相同概念的风险。 容易探测的类别比需要域内专门知识的类别积累得更快,因此数据集可能很大,在监管风险最大的领域仍然很薄。 而任何公开的数据集,或被反复用于对付后来在类似分布上训练的模型,衰变作为一种测量仪器;程序需要旋转政策和一个从未公布的搁置的数据集.
这三个人的补救办法是 任何运行良好的纪律 附有明确的征聘和认证说明的方案:衡量每一类别、每种技术和每种语言的覆盖率,而不是总的,将总的上升幅度、统一类别覆盖率视为警告而不是进步。
是谁在做这些数据集的构建工作,他们需要什么?
建立对抗性安全数据集,是指支付人们花费工作日生成和阅读设计为有害的内容,而承担心理风险的标准注释工作流程并不说明这一点.
方法指南中通常省略了这一点。 监管环境开始反映出这一点:肯尼亚于2026年公布的AI政策草案,其目标具体是数据说明、内容节制和AI的质量评价作用,并提议在书面合同、薪酬透明度和申诉机制之外提供强制性心理社会支持。 在CHI 2026上发表的学术著作记载了这种劳动力在一些市场的先发制人.
业务影响:接触限制和轮换,而不是连续分配到最令人痛苦的类别;获得支持的机会,提供而不是张贴在招牌上;在招聘时对内容类型知情同意,不是在第一天发现;以及命名为福利所有权,因此这是某人的工作,而不是每个人的假设。 这与一个直接的业务论点和道德论点联系在一起——红色团队合作的质量取决于域内的专门知识和对模型行为的积累的熟悉程度,以及 数据提供者的公平同意和支付做法 持续对抗性测试需要专门的专门知识,而不是一次性的聘用,因为团队需要时间来学习系统行为、发展新颖的攻击和跟踪不断变化的威胁。 烧掉有经验的红队 完全摧毁了计划所依赖的能力
怎么样 Lifewood 接近红色小组数据?
Lifewood 开展红色团队和安全评价,作为 AI 数据服务,同时 RLHF 和优先数据收集,跨越50+语言,以人-在-在-在-在-在-在-作为操作学科的评语.
由这种优势提出的两个观察,它们不是投球,而是作为观察。第一个是大多数委托红色团队的组织都要求量和得到量。 更难和有用的规格是覆盖:有多少类别、技术、多少语言、每个细胞深度、以及被故意排除的是什么。 无法制作覆盖矩阵的供应商正在销售即时计数——这种区别值得对照任何 企业 LLM 培训数据 伙伴们的实战报告,不是它的投球甲板。
第二个问题涉及语言,即足迹相关之处。 在斯瓦希里语或西尔赫蒂语中生成真正的对抗性数据需要讲文化流利的本地语的红色队友,因为使用一种语言的攻击是建立在其惯用语言、间接语和文化参考点上。 英文翻译攻击促使制作材料,测试翻译,而不是语言——在方法问题之前就存在征聘和交付问题,这项工作通过区域内小组而不是集中进行,结果通过同样的检查 数据验证 适用于任何其他培训数据集的纪律。
团队应该怎么开始?
首先写下分类学,然后查看任何数据集,从你自己的部署背景和风险评估中得出,然后将其与既定分类学进行比较,并刻意说明哪些内容被排除在外,为什么。
建立一套从未公布的搁置式工具,这是在公共基准模式培训中存活下来的唯一工具。跟踪技术的多样性明确,而不仅仅是迅速的数量,并报告每个类别、每种技术和每种语言的覆盖范围,因为汇总数完全掩盖了其中的空白。级别重度,而不是仅仅标出,因为补救优先需要它,因此可以证明文件。用每一种部署语言进行测试,将每种语言作为单独的方案,而不是翻译。在招聘之前,而不是在第一人挣扎之后,建立福利框架。将方法记录给标准监管者,因为根据标准标准,一个监管机构会阅读这种方法。 EU AI 行为一——值得参照下列文书所涵盖的做法制定标准: 大规模培训数据提供者的比较.