简短回答： GPT-Red 是OpenAI内部用于查找即时注射失败的自动红队系统,它所报告的结果显示,自玩可以产生更强的对抗性测试和规模的有用训练数据,它们没有显示即时注射,或更广义的AI安全性被解决. 真正的保证仍然需要不同语言、方式、工具和部署条件的独立、长期测试。
核心要点
- GPT-Red在自玩圈中训练攻击者对抗一群维权模型,因此攻击者学会触发一个定义的失败,而维权者则学会抵抗,仍然完成用户的任务.
- OpenAI 报告 GPT-5.6 索尔在最困难的直接快速注射基准上的失败比四个月前的最佳生产模式少六倍;这描述了一种评价设置,而不是普遍的安全分数。
- 在2025年间接注射挑战的内部镜像上,GPT-Red据报道成功84%的情景对GPT-5.1,而人类红队成功率为13%.
- 2026年的预印发现,一个模型相对安全排名可以跨语言,在文本唯一和文本附加图像条件之间发生改变,因此安全测试应该把这些变量结合起来.
什麽是 GPT-红色?
GPT-Red是内部OpenAI模型,用于搜索AI系统中的即时注射弱点,它提出攻击,观察目标的反应并完善其下一次尝试,OpenAI保持与部署的模型分离.
即时注射(英語:laurate in printing)是指在电子邮件,网页,文件或工具中不可信文本的结果劝说AI系统忽略其意图指示或采取不安全行动的一种失败. 红队是对抗性测试,在这种测试中,一个人或系统故意试图使AI系统失败,这样就可以固定弱点.
与静态测试集不同,GPT-Red随即进行适应. OpenAI称它之所以保持内部,是因为训练会有意发展恶意攻击能力,根据"GPT-Red"的描述. OpenAI的,因为 GPT-红色通知这是一项专门测试和培训内容,不是衡量是否 AI 系统是安全的。
如何是自演红队的功用?
自我游戏红色团队将攻击者模式与捍卫者模式的对立置于循环之中。 随着捍卫者的进步,攻击者必须找到不同且更强大的攻击,这些攻击成为下一代捍卫者的培训数据。
自玩是一种训练方法,竞争的模型通过反复的相互比赛来改进. 设置有四个部分:
| 构成部分 | 目标 |
|---|---|
| 攻击者(GPT-Red) | 生成一个导致预定义失败的输入, 如未授权的数据过滤 |
| 维护者 | 在正确完成原任务的同时抵抗攻击 |
| 威胁模式 | 指定攻击者可以控制什么(网页、电子邮件、文件或工具输出)以及什么是失败 |
| 培训信号 | 将攻击者推向新的攻击,然后训练未来的捍卫者 |
OpenAI描述了针对维权者群体而不是一个固定目标的培训,以减少过于适合单一模式的怪异,如《宣言》所述。 GPT-红纸。这把对抗性测试从一个小规模的手工收集变成了一个不断产生硬性案例的过程。这也使得评价设计更为重要:如果攻击者、捍卫者、分级者和基准关系太密切,收益可能反映学习测试而不是现实世界的强健性。 规划释放前检查的团队可以从开始。 企业为何在部署之前需要AI评价.
所报告的结果有哪些?
OpenAI的报导结果显示,自动化攻击者可以发现手动练习在规模上失手的攻击,攻击可以跨系统带转移,对抗训练可以降低在规定基准上测量的失败率.
自动攻击者可以在限定空间搜索人类队伍
有关内部复制《公约》所述间接迅速注入领域 季米扬等人(2025年), GPT-Red 据报道,84%的预设情景与GPT-5.1相较成功,而人类红队则只有13%。 OpenAI 指出,情景和目标与GPT-Red 的训练环境不同。 明智的解读不是机器一般地打人,而是迭代代理搜索工具中介攻击空间比人工练习更持久.
攻击可以跨越各种渠道进行
OpenAI 说明两个案例研究。 GPT-红色精炼型攻击模拟自动售货机代理,然后达到3个针对部署系统的公开恶意目标。 CLI 代理在 10 暂停数据过滤方案并击败已提示 GPT-5.5 部署的风险来自整个系统,包括模型、提示、工具权限和检索内容,这就是为什么 AI 代理如何使用工具和函数调用 10种情况表明有可能进行和转让,而不是一种对代理人安全的综合性措施。
横向培训可以提高衡量的稳健性
OpenAI称它使用GPT-红产生注射器来训练GPT-5.6. 它报告其最困难的直接快速注射基准的失败率比之前的生产模型少六倍,多个浏览和开发者工具注射套件的精确度超过97%. 报告还报告内部一般能力和过度反证评价没有退化,这很重要,因为简单地拒绝更多评价的模型看起来可以强大而实用性降低。 外部读者无法从公开披露中充分评估这些测试的规模、组成或独立性。
哪些结果不能确定?
其结果不能证明即时注射被解决,不等于独立审计,也不将系统级分数与只标模式级分数分开.
已知基准的高分表明,基准对被测试模型的区分已经越来越小。 它们不能保证对新的攻击目标、新工具、长期互动或新社会工程的适应力。 OpenAI本身表示,它将继续使用GPT-Red与人和第三方红队,分层保障和实时监测并列.
标题数字来自内部或内部复制的环境。 公共报道尚未给出外部群体复制所有东西所需的整套攻击、每个环境结果、信任间隔或分级程序。 这不会使结果失效;它确定了其证据限度。
代理也可以由几个层次来保护:指令等级、最小优先级工具访问、确认流量、沙箱、输出过滤和监测。良好的评价可以确定哪个层次停止了故障。否则,团队可能会将控制结果的模型记为信用,或者错过其他地方的脆弱控制。 用于LLM红调的安全及越狱数据集 帮助使归属可以验证。
为什么语言和方式需要联合测试?
语言和模式需要联合测试,因为它们的效果相互作用。当同一攻击用另一种语言运行或附着图像时,英文文本中看起来最安全的模型会排列不同。
在一个 2026 预印本, Appen 研究人员评估了四个前沿多式联运模式,包括: 363 对抗性假设情况 US 仅以文字和多式联运条件编写的英文和墨西哥西班牙文。 52,272 语言框架攻击,例如角色扮演,在西班牙语中效果越来越差,而视觉上明确的多式联运攻击则更加有效,而且没有保留各种语言之间对模型的易感排序(Ford等人,2026年).
接受图像、阅读文件和调用工具的多语种助理因此需要合并对抗评价,而不是孤立的单变套房。 土著语评估器和当地相关假设是其中的一部分,如本文所述。 为地方政府管理课程建立多语种评价集 和 全球多语种AI基准. Lifewood 数据技术通过它支持这类工作。 多种语文数据收集 使用100+语言的服务。
团队应如何评价 AI 特工们在练习?
团队可以不用建立自动红队就应用GPT-Red的课。 精确定义失败,将测试装置真正保存在外,按环境报告结果,测试整个系统,并使用独立的评估人员。
- 测试前定义失败 。 指定受保护的资产,禁止的行动,攻击者控制的表面和成功条件. "快速注射试验"太模糊.
- 保持一个真正的 保持档期。 将攻击生成和防御训练环境与最后的套间分开,随着攻击的演进而更新. 被搁置的一组试验案例从未用来训练或调制被评价的系统。
- 环境报告,不是平均报告。 按威胁类,工具,任务类型和攻击者预算来细分结果,并尽可能地有反复尝试的规则和不确定性.
- 测试系统以及模型。 练习真正的连接器,权限,用户确认,检索源和记录,然后隔离层.
- 跨语言,模式和互动模式. 包括本地语言,长对话,文档和图像输入以及工具一起使用.
- 也测量有用的行为。 追踪任务完成,错误拒绝,耐久和摩擦与攻击抵抗并列.
- 使用独立的评估人员。 与内部专家、外部专家以及部署后监测工作相结合进行自动搜索。 AI 模型评价和数据验证 这是一种增加这种独立性的方法, 领先的人类注解公司 是一个开始入围的场所。