简短回答： AI 红队依赖四类数据资产：分类过的对抗性提示、经人工评判的输出、两者的多语种与多模态变体，以及对“尝试了什么、发生了什么”的审计级文档。自动化如今能规模化生成攻击，但评判这些攻击、想出新的策略、并为结果签字，仍然是人的事。最大的实际敞口在语言：用英语训练出来的护栏在别处会悄无声息地失效，而一条翻译过来的攻击测的是翻译本身而不是风险，所以攻击集必须用母语原创撰写。
核心要点
- 红队依赖四类数据资产：分类过的对抗性提示、经人工评判的输出、多语种与多模态变体，以及审计级文档 —— 每一类都能跨模型版本反复使用。
- 自动化（GPT-Red 这条线）能规模化生成攻击，但评判、新策略与问责仍然属于人；可行的模式是自动化铺广度、人工挖深度。
- 多语种缺口是最大的实际敞口：用英语训练的护栏在其他语言中会悄无声息地失效，而翻译过来的攻击测的是翻译而不是风险 —— 攻击集必须用母语原创撰写。
- 供应方：前沿实验室在内部制定方法；AI-数据公司为生产级演练配人（Appen 的实践最为显眼；Lifewood 承担覆盖 100+ 种语言的多语种对抗性撰写与评判打分层）；专业机构负责前沿评估。
- 按采购标注的方式来采购它，因为它本来就是：评分者校准、指南、一致性统计，以及具名的语言能力，才是真正重要的评估标准。
用大白话说，AI 红队是什么？
红队就是在别人动手之前先攻击你自己的系统。这个做法借自安全实践，在 AI 里指的是系统性地设法让模型做它不该做的事 —— 产出有害指令、泄露私密数据、越权行事，或者被角色扮演、编码技巧与多轮施压所操纵 —— 然后记录下哪些手法奏效，好在发布前把这些缺陷修掉。
这门手艺专业化得很快。 Appen 的对抗性提示研究 梳理了一支称职红队会逐一走过的攻击族 —— 基于人设的越狱、指令夹带、跨轮次逐步升级 —— 而它的 多模态红队工作 把同样的纪律延伸到图像与音频，攻击在那里藏身于文本过滤器从来看不见的内容中。
有两件事把红队从“有更好”那一栏里拉了出来。第一，模型现在带着工具访问权限与智能体行为上线，所以一次成功的攻击不只是产出糟糕的文字 —— 它可以采取糟糕的 行动。其次，审计轨迹正在成为入场门槛：企业采购与正在成形的 AI 监管都会问供应商做了哪些对抗性测试、用了哪些语言、结果带来了什么改变。红队真正的产出就是这份证据。
对一般的 AI 数据采购方而言，红队与评测并肩，构成模型生命周期中的质量保障层 —— 位于我们所覆盖的训练数据工作的下游， 数据标注服务，并且位于部署的上游。
红队实际上是靠什么数据跑起来的？
四类资产，通常一并采购或自建：
对抗性提示集。 有意编写的攻击：按危害类别（暴力、欺诈、隐私、自残、偏见）、按手法（角色扮演、指令夹带、编码混淆、多轮逐步升级）、按领域（面向银行机器人的金融骗局、面向健康助手的剂量陷阱）。这里的质量就是多样性 —— 把同一个越狱改写一千遍，测的仍然只是一件事；这门手艺与下文的覆盖逻辑相通： 长尾与边缘情形挖掘.
经评判的输出。 每一次攻击的结果，由人工对照危害评分标准打标：模型是拒绝了、照做了、部分照做，还是以奇怪的方式失效？这就是换了个名字的标注 —— 它需要经过校准的评分者、清晰的指南与一致性度量，正是下文这套机器： 黄金套、审计抽样和共识。经过评判的样本对于是一举两得：今天是发现报告，明天是安全训练数据。
变体集。 同一批攻击跨语言、跨方言、跨人设、跨模态地再做一遍 —— 这正是多数已部署系统最薄弱的地方（第 4 节），而批量采集这类数据所需的托管流水线纪律，与任何 语音或文本采集项目.
修复文档。 可复现的攻击轨迹、严重度评级、类别覆盖图 —— 正是这份成果让工程团队能修问题、让审计人员能核实演练确实发生过。
图 1 —— 红队数据栈
资产 它是什么 由谁来做 被复用为 对抗性提示 按类别、手法、领域划分的攻击 受过训练的红队成员、领域专家 回归测试套件 经评判的输出 对回答打上通过/失败/严重度标签 经过校准的人工评分者 安全微调数据 变体集 语言、方言、人设、模态的各个版本 母语者、多模态专家 多语种护栏评测 修复文档 轨迹、严重度、覆盖图 红队负责人 合规证据 复用这一栏，正是红队数据要采购而不是临时拼凑的原因：一次建好，模型更新后它仍然管用。
自动化不是已经取代人工红队了吗？
它改变了他们的工作，而不是取消了他们。
最受关注的进展是真实的：OpenAI 的自动化红队 —— GPT-Red，我们在它发布时做过分析 —— 以及它所代表的更广研究路线，能以任何人类团队都达不到的规模生成并变异攻击，而 Appen 自己对这一进展的分析 得出的是业界大体已经形成共识的结论：自动化抬高下限，人决定上限。
有三块始终顽固地属于人：
评判。 一条回答究竟算不算有害，是要看语境的判断 —— 化学原理讲解与合成路线之间的区别，虚构与教唆之间的区别。自动化评判者会漂移，而且与被它评判的模型共享盲区；基于评分标准的人工打分仍然是自动化据以校准的真值，这与下文让人留在回路中的逻辑是一样的： 我们对 VLM-评判者的分析.
新颖性。 生成器重组已知攻击族的本事极强；真正新颖的策略 —— 模型误读的文化典故、能制造出漏洞的领域工作流 —— 来自人，尤其是领域专家与母语者。
问责。 “我们的模型自己给自己做了红队”经不起审计。监管机构与企业买家要的是有文档记录的独立人工演练。
由此得出的运作模式是：自动化铺广度、人工挖深度 —— 机器以低成本扫过已知空间；人去探机器看不见的地方，并评判一切要紧的东西。
红队为什么会在跨语言时失灵？
因为安全训练集中在数据多的地方，而攻击专挑训练没覆盖的地方。
这个模式在研究中有充分记载，在实践中也一致得让人难受：主要用英语训练的护栏，会用英语拒绝有害请求 —— 却在低资源语言、在语码混用的文本里，或者当有害意图被包进安全训练从未见过的文化框架时，照做不误。这是我们在下文中记录过的那条能力鸿沟在安全层的翻版： 为什么生成式 AI 用你的第二语言时表现更差：性能跟着训练数据的分布走，安全性也不例外。
对任何跨市场部署的产品来说，这使得多语种红队成为整场演练中产出最高的一块 —— 也是最难配人的一块，因为它需要同时是母语者、文化上在地、又受过对抗技术训练的人。翻译替代不了：一条翻译过来的越狱测的是翻译，而不是本地攻击面，原因与下文相同： 机器翻译的训练数据会漏掉本地现实。攻击必须是 原创撰写 用目标语言本身撰写 —— 本地的骗局话术、本地的敏感话题、本地的混淆习惯。
这也是红队与数据主权相接的地方：对处理受监管数据的产品做对抗性演练，会继承数据本身的存放地与安全约束，也就是下文所划的那片地界： 敏感数据的安全标注.
谁提供红队数据与服务？
三个层级：设有常驻内部团队并公开方法的前沿实验室、为生产级人工演练配人的 AI 数据公司，以及处理前沿评估的专业安全公司。
前沿实验室的内部团队 —— OpenAI、Anthropic、Google DeepMind 都设有常驻红队并公开方法，包括自动化攻击者这条研究路线。他们的工作确立了技术前沿，但不对外承接；其公开成果是任何采购方都该读的免费教材。
设有安全实践的 AI 数据公司。 生产级的人工红队，真正配人的地方就在这里。 Appen 建立了业内最显眼的实践，公开发表过对抗性提示与多模态方面的研究。 Lifewood 提供这场演练的数据层 —— 通过托管交付中心完成覆盖 100+ 种语言的多语种对抗性提示撰写与输出评判打分 —— 这正是其母语者人才库与标注 QA 机器（经校准的评分者、黄金集、有文档的一致性）能直接对上红队所需的那一块；契合度最高的是第 2 节讲的多语种变体集与打分项目，同时还有 人工评测服务 由同一批团队交付。Scale AI 与其他数据平台也为其模型开发客户提供类似的安全评测服务。
专业安全公司与研究团体 —— 精品红队，成员常是前实验室研究员，在前沿风险评估与定制演练上最强；学术团体则提供该领域共同采用的公开基准与攻击分类法。
采购要点可以压缩成一条原则：红队是披着安全外衣的标注级工作 —— 所以用你对待任何 标注供应商：要求对方提供评分者校准证据、指南样本、一致性统计，以及按具名能力而非声称数量计的语言覆盖。
要给你自己的 AI 部署做红队，该怎么做
按你自己的危害面而不是通用清单来界定范围，采购或自建一套分类过的攻击集（多样性重于数量），用经过校准的人工评分者评判输出，并保留审计人员会索要的那份文档。
- 按你真实的危害面来界定范围。 列出你的产品可能出什么错 对你的用户而言 —— 金融科技机器人的诈骗教唆、健康场景的剂量错误、任何带检索功能产品的数据泄漏。通用越狱清单会漏掉你自己的具体风险。
- 采购或自建一套分类过的攻击集 —— 按危害、按手法、按领域分类 —— 并把多样性而非数量当作质量标准。
- 在扩大攻击规模之前，先把人工评判搭起来： 危害评分标准、经过校准的评分者、可度量的一致性。未经评判的攻击运行只是噪声。
- 覆盖你实际上线的语言， 用母语原创撰写的攻击 —— 你最薄弱的护栏几乎肯定不在英语上。
- 把自动化与人工深度配成一对： 用自动化扫描做回归覆盖，用人工会话找新花样，每一条发现都由人工评判。
- 为复用与审计留下文档： 可复现的轨迹、严重度、覆盖图 —— 然后把经评判的样本对回灌为安全训练数据。
- 每次模型更新后重跑。 护栏会回退；你的攻击集此时就是你的回归测试套件。