簡短回答： 三種決定在寫出任何提示之前就制約了紅組數據集:你採用的分類法,無論是構建、借出還是收集,以及你如何用自動方式分解人類測試。分類法最爲重要,因爲它決定了可以找到的東西——無論它外邊的是什麼,都是無形的,而不是缺失的,以及 CHI 2026 研究發現,構建方法本身決定了從業人員如何看待風險。 EU AI 8月,法案得到全面執行 2026,帶有第1條 55 要求有文件證明的對抗性測試 GPAI 具有系統性風險的模型。
核心重點
- CHI 2026研究發現,數據集創建的方法塑造了從業者對風險的概念化,分類學決定了可以找到的東西——無論它以外的什麼都是隱形的,而不是缺失的.
- 電話 EU AI 8月,法案得到全面執行 2026. 第 條 55 需要記錄對抗性測試 GPAI 具有系統性風險的模型,第2條 9 規定生命週期測試程序,罰款爲歐元35 百萬或 百萬 或 百萬 美元 7% 全球週轉額。
- 公共對抗數據集的可靠性降低,因爲模型越來越多地經過培訓,以便通過這些數據;培訓分發中的基準衡量記憶,而不是安全。
- 據報道,自動化框架發現的弱點是人工測試速度的3.9倍,但自動化提供寬度,而人類紅色團隊提供深度和新式攻擊發現。
- 布朗大學的研究發現,將不安全的提示翻譯成低資源語言,產生了大約80%的有害反應,79種語言的評價發現,不安全的反應率比英語高出25%。
建立紅色組裝數據集實際需要什麼?.
紅色的團隊化是故意用對抗性誘因來探究模型在真正用戶找到之前露出不安全或政策隔離行爲的做法. 建立數據集,可以追溯到在寫出任何迅速之前作出的三項決定:採用何種危害分類法,是建造、借用還是收集對抗材料,以及如何在自動工具測試者和人類測試者之間分出努力。
2026年CHI的一篇論文中發現了一個重新定義整個演練過程的紅色團隊做法。 研究人員詢問了從業人員如何構建對抗數據集,發現數據集創建方法塑造了他們對風險的觀念。 以現有數據集爲基礎的團隊繼承了源材料中已經嵌入的傷害定義;團隊從零開始建設則選擇了自己的類別.
該分類法不是用於發現的中性容器,而是決定可以找到什麼。 分類學 傷害類別是一組有文件記載的傷害類別,是對紅色小組方案進行的測試,一個有14類的方案將在14類中發現傷害——無論不屬於這些類別,都不是負面結果,而是無形的。
範圍說明:此片涉及安全數據集是如何作爲數據操作構建、配置和管理的。它不是攻擊技術的目錄,而是停留在方法而不是方法的層面上。從事這項工作的組織很好地公佈了其程序,而不是其有效載荷。
爲什麼現在紅色團隊合作是一項合規要求,而不僅僅是一項研究活動?
2026年監管地位大幅硬化,對抗性測試對於超過風險閾值的模型不再具有可選性.
電話 EU AI 8月,法案得到全面執行 2026. 第 條 55 要求有文件證明的通用對抗性測試 AI 具有系統性風險的模型。 9 規定風險管理制度,包括整個生命週期的測試程序。35 百萬或 百萬 或 百萬 美元 7% 全球年營業額。
在美國,NIST AI風險管理框架MEASURE職能將對抗性測試形式化爲標準做法,聯邦採購指南越來越多地將紅色團隊關係作爲要求. 大多數組織的問題已經從是否這樣做轉向如何以產生可證明的文件的方式這樣做——即數據集、分類、覆蓋面、方法和結果,而不是說進行了測試的簡要段落。
下游的一切都由哪三項決定決定?
早期做出的三項決定,制約了以下一切: 其分類學用來採納,是建立,借閱還是收集對抗性數據,以及如何平衡自動工具與人類測試者.
CHI的研究確定了這項工作的三個關鍵時刻:確定和設定任務、開發對抗性數據集以及評估與之相對的模型。 每一個都包含着限制之後一切的決定。
使用既定分類法可以使方法與公佈的結果保持一致和可比性,也意味着繼承他人爲他人部署背景而構建的傷害定義。 替代辦法——從你們自己的風險評估中得出的建築類別——產生了更相關的覆蓋面,使結果與任何其他人無比。 兩者都不是錯的;錯的在於默認的選擇,即一個團隊下載一個公共數據集並開始運行時,不檢查它做了什麼,也不劃分爲有害的,會發生什麼. 對一個廣泛使用的安全數據集的分析指出,顯示人類的情感或行爲的響應被貼上安全標籤,使情緒操縱風險完全超出測量範圍——不是註釋錯誤,而是從未抽取過的類別.
在構建、借用或收集方面:從業人員描述了三種具有明確分級的感知價值的來源。 使用衆所周知的數據集被視爲確保方法一致性的一種方式;從零開始構建或收集真正的人與LLM相互作用,被認爲是產生獨特和更加有價值的數據。 認知正確性這一難以操作的理由是,由於模型日益經過通過培訓,公共對抗數據集的可靠性降低。 基準 是一個固定的、公佈的測試集,一旦進入模型的訓練分佈,它就停止測量安全性,開始測量記憶。一個公共數據集告訴你,模型處理已知的攻擊,而沒有任何關於新穎的攻擊——這是全部問題。
關於自動化與人類測試:據報告,在2004年2月30日,自動化紅色團隊框架發現弱點。 3.9 與人工專家測試率乘以乘數,同時涵蓋多個威脅類別,這是真正的效率論據。但跨源的構建是,自動化工具提供寬度,而人紅隊提供深度、新穎的攻擊發現和域域專業知識。 Anthropic政策脆弱性測試和 OpenAI外部紅隊網絡的結構不同 但基於相同的前提:域專家人類構造探針 任何自動攻擊者都不會想到寫作
前沿AI實驗室公佈的紅調過程是什麼?.
邊疆實驗室發佈紅色團隊計數,國家和語言覆蓋,並命名方法文件,爲嚴肅覆蓋的外觀設定了參考標準.
GPT-4o系統卡報告29個國家超過100名外聘紅隊隊員使用45種不同語言,操作系統卡覆蓋OpenAI的網絡瀏覽代理,報告20個國家和24種語言具體用於該表面. OpenAI的方法由艾哈邁德和同事在"AI模型和系統外部紅色配對指南"中發表. Anthropic的"政策脆弱性測試"描述了與外部主題專家就特定使用政策專題進行的深入質量測試.
有兩個突出之處:外部參與的規模——這不是一個運行覈對表的內部團隊——以及語言和國家覆蓋被報告爲頭條標尺的事實。 45種語言是故意聲明安全行爲因語言而異,一種語言的測試並不普遍。 大多數企業紅色團隊方案只用英文測試,然後報告安全結果,因爲它適用於整個部署。
在大多數方案中,多語種差距爲何是最大的弱點?
安全校準按語言進行訓練,因此一個模型可以拒絕英文的請求,並以從未教過護欄的語言遵從同樣的請求。
這一點值得注意,因爲證據非常清楚,其影響沒有得到充分的承認。 護欄 布朗大學的研究人員通過使用不安全的英語提示、使用免費翻譯將它們翻譯成Zulu等低資源語言,併發送到GPT-4,來證明這一點。 這種方法產生了大約80%的有害反應,反對一個模式,該模式拒絕英語中的同樣請求.
情況已經演變而不是得到解決。 2026年的一項測試非洲語言的研究發現,直截了當的翻譯攻擊已不再那麼容易成功,即真正的進步,但跨越多個轉折的對話仍然以很高的速度成功。 79種語言的單獨評價發現,在從英語轉向低資源語言的提示性反應時,不安全的答覆率上升了多達25個百分點。
任何語言都無法使用的護衛裝置都是任何人都可以使用免費翻譯工具繞行的護衛裝置,這使得多語種安全數據成爲安全控制而不是多樣性舉措。 外地正在使用針對特定語言的安全數據集,包括阿爾巴尼亞語工作,但相對於所部署的語言模型數量而言,覆蓋面仍然很小。 企業規模的多語種數據收集 將語言覆蓋視爲測試要求,而不是事後考慮。
可用的紅色組裝數據集實際包含什麼?.
一個可用的數據集將每個對沖的提示與標註的模型反應,傷害類別,嚴重程度等級和結果判斷相配——單是提示列表並不是一個數據集.
2022年Anthropic紅隊發佈表明了這一差距:38,961個紅隊攻擊涉及20個類別,規模很大,但分析指出,沒有貼標籤的響應降低了它對於自動紅隊和評價的有效利用。 迅速或對話,包括酌情采用完整的多回合順序,因爲多回合是當前風險的大部分所在; 模型反應,逐字記錄; 一種來自有文件記載的分類分類的傷害類別標籤,其中記錄了分類的版本; 嚴重程度等級,因爲“不安全”不是一回事,補救的優先程度取決於程度; 判斷嘗試是否實現其目標; 跟蹤攻擊技術分類,以便衡量而不是假定技術的多樣性; 語言和語言; 註釋員身份和裁定歷史,原因相同; 任何註釋方案都需要有文件記錄的審查鏈.
一個從業人員組織指出,它培訓不同類別對抗技術的紅色團隊,並系統跟蹤技術多樣性,以確保在各種業務中全面覆蓋——這是值得模仿的學科,因爲沒有它,團隊就會向這些技術發展,個人發現最有成果和覆蓋面卻無聲無息地縮小。 在標籤哲學方面,從業者們的指引是一致的:保守的註釋,其中安全標籤錯誤地用於謹慎,爲防禦系統提供最可靠的培訓數據。 虛假的正面成本是拒絕的良性請求;虛假的負面成本是方案所要防止的。
紅色團隊節目如何悄悄失去覆蓋?.
覆蓋範圍縮小了三種故障模式,這些模式在儀表板上都看起來像成功:技術集中、類別不平衡和基準污染。
個人紅隊發展了偏好,並得到了更好的選擇。 沒有明確的跟蹤,一個隊伍的覆蓋範圍就縮小了,而總規模卻不斷上升 — — 關於人類紅隊的研究特別突出了重複測試相同概念的風險。 容易探測的類別比需要域內專門知識的類別積累得更快,因此數據集可能很大,在監管風險最大的領域仍然很薄。 而任何公開的數據集,或被反覆用於對付後來在類似分佈上訓練的模型,衰變作爲一種測量儀器;程序需要旋轉政策和一個從未公佈的擱置的數據集.
這三個人的補救辦法是 任何運行良好的紀律 附有明確的徵聘和認證說明的方案:衡量每一類別、每種技術和每種語言的覆蓋率,而不是總的,將總的上升幅度、統一類別覆蓋率視爲警告而不是進步。
是誰在做這些數據集的構建工作,他們需要什麼?
建立對抗性安全數據集,是指支付人們花費工作日生成和閱讀設計爲有害的內容,而承擔心理風險的標準註釋工作流程並不說明這一點.
方法指南中通常省略了這一點。 監管環境開始反映出這一點:肯尼亞於2026年公佈的AI政策草案,其目標具體是數據說明、內容節制和AI的質量評價作用,並提議在書面合同、薪酬透明度和申訴機制之外提供強制性心理社會支持。 在CHI 2026上發表的學術著作記載了這種勞動力在一些市場的先發制人.
業務影響:接觸限制和輪換,而不是連續分配到最令人痛苦的類別;獲得支持的機會,提供而不是張貼在招牌上;在招聘時對內容類型知情同意,不是在第一天發現;以及命名爲福利所有權,因此這是某人的工作,而不是每個人的假設。 這與一個直接的業務論點和道德論點聯繫在一起——紅色團隊合作的質量取決於域內的專門知識和對模型行爲的積累的熟悉程度,以及 數據提供者的公平同意和支付做法 持續對抗性測試需要專門的專門知識,而不是一次性的聘用,因爲團隊需要時間來學習系統行爲、發展新穎的攻擊和跟蹤不斷變化的威脅。 燒掉有經驗的紅隊 完全摧毀了計劃所依賴的能力
怎麼樣 Lifewood 接近紅色小組數據?
Lifewood 開展紅色團隊和安全評價,作爲 AI 數據服務,同時 RLHF 和優先數據收集,跨越50+語言,以人-在-在-在-在-在-在-作爲操作學科的評語.
由這種優勢提出的兩個觀察,它們不是投球,而是作爲觀察。第一個是大多數委託紅色團隊的組織都要求量和得到量。 更難和有用的規格是覆蓋:有多少類別、技術、多少語言、每個細胞深度、以及被故意排除的是什麼。 無法制作覆蓋矩陣的供應商正在銷售即時計數——這種區別值得對照任何 企業 LLM 培訓數據 夥伴們的實戰報告,不是它的投球甲板。
第二個問題涉及語言,即足跡相關之處。 在斯瓦希里語或西爾赫蒂語中生成真正的對抗性數據需要講文化流利的本地語的紅色隊友,因爲使用一種語言的攻擊是建立在其慣用語言、間接語和文化參考點上。 英文翻譯攻擊促使製作材料,測試翻譯,而不是語言——在方法問題之前就存在徵聘和交付問題,這項工作通過區域內小組而不是集中進行,結果通過同樣的檢查 數據驗證 適用於任何其他培訓數據集的紀律。
團隊應該怎麼開始?
首先寫下分類學,然後查看任何數據集,從你自己的部署背景和風險評估中得出,然後將其與既定分類學進行比較,並刻意說明哪些內容被排除在外,爲什麼。
建立一套從未公佈的擱置式工具,這是在公共基準模式培訓中存活下來的唯一工具。跟蹤技術的多樣性明確,而不僅僅是迅速的數量,並報告每個類別、每種技術和每種語言的覆蓋範圍,因爲彙總數完全掩蓋了其中的空白。級別重度,而不是僅僅標出,因爲補救優先需要它,因此可以證明文件。用每一種部署語言進行測試,將每種語言作爲單獨的方案,而不是翻譯。在招聘之前,而不是在第一人掙扎之後,建立福利框架。將方法記錄給標準監管者,因爲根據標準標準,一個監管機構會閱讀這種方法。 EU AI 行爲一——值得參照下列文書所涵蓋的做法制定標準: 大規模培訓數據提供者的比較.