簡短回答： GPT-Red 是OpenAI內部用於查找即時注射失敗的自動紅隊系統,它所報告的結果顯示,自玩可以產生更強的對抗性測試和規模的有用訓練數據,它們沒有顯示即時注射,或更廣義的AI安全性被解決. 真正的保證仍然需要不同語言、方式、工具和部署條件的獨立、長期測試。
核心重點
- GPT-Red在自玩圈中訓練攻擊者對抗一羣維權模型,因此攻擊者學會觸發一個定義的失敗,而維權者則學會抵抗,仍然完成用戶的任務.
- OpenAI 報告 GPT-5.6 索爾在最困難的直接快速注射基準上的失敗比四個月前的最佳生產模式少六倍;這描述了一種評價設置,而不是普遍的安全分數。
- 在2025年間接注射挑戰的內部鏡像上,GPT-Red據報道成功84%的情景對GPT-5.1,而人類紅隊成功率爲13%.
- 2026年的預印發現,一個模型相對安全排名可以跨語言,在文本唯一和文本附加圖像條件之間發生改變,因此安全測試應該把這些變量結合起來.
什麼是 GPT-紅色?
GPT-Red是內部OpenAI模型,用於搜索AI系統中的即時注射弱點,它提出攻擊,觀察目標的反應並完善其下一次嘗試,OpenAI保持與部署的模型分離.
即時注射(英語:laurate in printing)是指在電子郵件,網頁,文件或工具中不可信文本的結果勸說AI系統忽略其意圖指示或採取不安全行動的一種失敗. 紅隊是對抗性測試,在這種測試中,一個人或系統故意試圖使AI系統失敗,這樣就可以固定弱點.
與靜態測試集不同,GPT-Red隨即進行適應. OpenAI稱它之所以保持內部,是因爲訓練會有意發展惡意攻擊能力,根據"GPT-Red"的描述. OpenAI的,因爲 GPT-紅色通知這是一項專門測試和培訓內容,不是衡量是否 AI 系統是安全的。
如何是自演紅隊的功用?
自我遊戲紅色團隊將攻擊者模式與捍衛者模式的對立置於循環之中。 隨着捍衛者的進步,攻擊者必須找到不同且更強大的攻擊,這些攻擊成爲下一代捍衛者的培訓數據。
自玩是一種訓練方法,競爭的模型通過反覆的相互比賽來改進. 設置有四個部分:
| 構成部分 | 目標 |
|---|---|
| 攻擊者(GPT-Red) | 生成一個導致預定義失敗的輸入, 如未授權的數據過濾 |
| 維護者 | 在正確完成原任務的同時抵抗攻擊 |
| 威脅模式 | 指定攻擊者可以控制什麼(網頁、電子郵件、文件或工具輸出)以及什麼是失敗 |
| 培訓信號 | 將攻擊者推向新的攻擊,然後訓練未來的捍衛者 |
OpenAI描述了針對維權者羣體而不是一個固定目標的培訓,以減少過於適合單一模式的怪異,如《宣言》所述。 GPT-紅紙。這把對抗性測試從一個小規模的手工收集變成了一個不斷產生硬性案例的過程。這也使得評價設計更爲重要:如果攻擊者、捍衛者、分級者和基準關係太密切,收益可能反映學習測試而不是現實世界的強健性。 規劃釋放前檢查的團隊可以從開始。 企業爲何在部署之前需要AI評價.
所報告的結果有哪些?
OpenAI的報導結果顯示,自動化攻擊者可以發現手動練習在規模上失手的攻擊,攻擊可以跨系統帶轉移,對抗訓練可以降低在規定基準上測量的失敗率.
自動攻擊者可以在限定空間搜索人類隊伍
有關內部複製《公約》所述間接迅速注入領域 季米揚等人(2025年), GPT-Red 據報道,84%的預設情景與GPT-5.1相較成功,而人類紅隊則只有13%。 OpenAI 指出,情景和目標與GPT-Red 的訓練環境不同。 明智的解讀不是機器一般地打人,而是迭代代理搜索工具中介攻擊空間比人工練習更持久.
攻擊可以跨越各種渠道進行
OpenAI 說明兩個案例研究。 GPT-紅色精煉型攻擊模擬自動售貨機代理,然後達到3個針對部署系統的公開惡意目標。 CLI 代理在 10 暫停數據過濾方案並擊敗已提示 GPT-5.5 部署的風險來自整個系統,包括模型、提示、工具權限和檢索內容,這就是爲什麼 AI 代理如何使用工具和函數調用 10種情況表明有可能進行和轉讓,而不是一種對代理人安全的綜合性措施。
橫向培訓可以提高衡量的穩健性
OpenAI稱它使用GPT-紅產生注射器來訓練GPT-5.6. 它報告其最困難的直接快速注射基準的失敗率比之前的生產模型少六倍,多個瀏覽和開發者工具注射套件的精確度超過97%. 報告還報告內部一般能力和過度反證評價沒有退化,這很重要,因爲簡單地拒絕更多評價的模型看起來可以強大而實用性降低。 外部讀者無法從公開披露中充分評估這些測試的規模、組成或獨立性。
哪些結果不能確定?
其結果不能證明即時注射被解決,不等於獨立審計,也不將系統級分數與只標模式級分數分開.
已知基準的高分表明,基準對被測試模型的區分已經越來越小。 它們不能保證對新的攻擊目標、新工具、長期互動或新社會工程的適應力。 OpenAI本身表示,它將繼續使用GPT-Red與人和第三方紅隊,分層保障和實時監測並列.
標題數字來自內部或內部複製的環境。 公共報道尚未給出外部羣體複製所有東西所需的整套攻擊、每個環境結果、信任間隔或分級程序。 這不會使結果失效;它確定了其證據限度。
代理也可以由幾個層次來保護:指令等級、最小優先級工具訪問、確認流量、沙箱、輸出過濾和監測。良好的評價可以確定哪個層次停止了故障。否則,團隊可能會將控制結果的模型記爲信用,或者錯過其他地方的脆弱控制。 用於LLM紅調的安全及越獄數據集 幫助使歸屬可以驗證。
爲什麼語言和方式需要聯合測試?
語言和模式需要聯合測試,因爲它們的效果相互作用。當同一攻擊用另一種語言運行或附着圖像時,英文文本中看起來最安全的模型會排列不同。
在一個 2026 預印本, Appen 研究人員評估了四個前沿多式聯運模式,包括: 363 對抗性假設情況 US 僅以文字和多式聯運條件編寫的英文和墨西哥西班牙文。 52,272 語言框架攻擊,例如角色扮演,在西班牙語中效果越來越差,而視覺上明確的多式聯運攻擊則更加有效,而且沒有保留各種語言之間對模型的易感排序(Ford等人,2026年).
接受圖像、閱讀文件和調用工具的多語種助理因此需要合併對抗評價,而不是孤立的單變套房。 土著語評估器和當地相關假設是其中的一部分,如本文所述。 爲地方政府管理課程建立多語種評價集 和 全球多語種AI基準. Lifewood 數據技術通過它支持這類工作。 多種語文數據收集 使用100+語言的服務。
團隊應如何評價 AI 特工們在練習?
團隊可以不用建立自動紅隊就應用GPT-Red的課。 精確定義失敗,將測試裝置真正保存在外,按環境報告結果,測試整個系統,並使用獨立的評估人員。
- 測試前定義失敗 。 指定受保護的資產,禁止的行動,攻擊者控制的表面和成功條件. "快速注射試驗"太模糊.
- 保持一個真正的 保持檔期。 將攻擊生成和防禦訓練環境與最後的套間分開,隨着攻擊的演進而更新. 被擱置的一組試驗案例從未用來訓練或調製被評價的系統。
- 環境報告,不是平均報告。 按威脅類,工具,任務類型和攻擊者預算來細分結果,並儘可能地有反覆嘗試的規則和不確定性.
- 測試系統以及模型。 練習真正的連接器,權限,用戶確認,檢索源和記錄,然後隔離層.
- 跨語言,模式和互動模式. 包括本地語言,長對話,文檔和圖像輸入以及工具一起使用.
- 也測量有用的行爲。 追蹤任務完成,錯誤拒絕,耐久和摩擦與攻擊抵抗並列.
- 使用獨立的評估人員。 與內部專家、外部專家以及部署後監測工作相結合進行自動搜索。 AI 模型評價和數據驗證 這是一種增加這種獨立性的方法, 領先的人類註解公司 是一個開始入圍的場所。