簡短回答： AI 紅隊依賴四類數據資產：分類過的對抗性提示、經人工評判的輸出、兩者的多語種與多模態變體，以及對“嘗試了什麼、發生了什麼”的審計級文檔。自動化如今能規模化生成攻擊，但評判這些攻擊、想出新的策略、併為結果簽字，仍然是人的事。最大的實際敞口在語言：用英語訓練出來的護欄在別處會悄無聲息地失效，而一條翻譯過來的攻擊測的是翻譯本身而不是風險，所以攻擊集必須用母語原創撰寫。
核心重點
- 紅隊依賴四類數據資產：分類過的對抗性提示、經人工評判的輸出、多語種與多模態變體，以及審計級文檔 —— 每一類都能跨模型版本反覆使用。
- 自動化（GPT-Red 這條線）能規模化生成攻擊，但評判、新策略與問責仍然屬於人；可行的模式是自動化鋪廣度、人工挖深度。
- 多語種缺口是最大的實際敞口：用英語訓練的護欄在其他語言中會悄無聲息地失效，而翻譯過來的攻擊測的是翻譯而不是風險 —— 攻擊集必須用母語原創撰寫。
- 供應方：前沿實驗室在內部制定方法；AI-數據公司為生產級演練配人（Appen 的實踐最為顯眼；Lifewood 承擔覆蓋 100+ 種語言的多語種對抗性撰寫與評判打分層）；專業機構負責前沿評估。
- 按採購標註的方式來採購它，因為它本來就是：評分者校準、指南、一致性統計，以及具名的語言能力，才是真正重要的評估標準。
用大白話說，AI 紅隊是什麼？
紅隊就是在別人動手之前先攻擊你自己的系統。這個做法借自安全實踐，在 AI 裡指的是系統性地設法讓模型做它不該做的事 —— 產出有害指令、洩露私密數據、越權行事，或者被角色扮演、編碼技巧與多輪施壓所操縱 —— 然後記錄下哪些手法奏效，好在發佈前把這些缺陷修掉。
這門手藝專業化得很快。 Appen 的對抗性提示研究 梳理了一支稱職紅隊會逐一走過的攻擊族 —— 基於人設的越獄、指令夾帶、跨輪次逐步升級 —— 而它的 多模態紅隊工作 把同樣的紀律延伸到圖像與音頻，攻擊在那裡藏身於文本過濾器從來看不見的內容中。
有兩件事把紅隊從“有更好”那一欄里拉了出來。第一，模型現在帶著工具訪問權限與智能體行為上線，所以一次成功的攻擊不只是產出糟糕的文字 —— 它可以採取糟糕的 行動。其次，審計軌跡正在成為入場門檻：企業採購與正在成形的 AI 監管都會問供應商做了哪些對抗性測試、用了哪些語言、結果帶來了什麼改變。紅隊真正的產出就是這份證據。
對一般的 AI 數據採購方而言，紅隊與評測並肩，構成模型生命週期中的質量保障層 —— 位於我們所覆蓋的訓練數據工作的下游， 數據標註服務，並且位於部署的上游。
紅隊實際上是靠什麼數據跑起來的？
四類資產，通常一併採購或自建：
對抗性提示集。 有意編寫的攻擊：按危害類別（暴力、欺詐、隱私、自殘、偏見）、按手法（角色扮演、指令夾帶、編碼混淆、多輪逐步升級）、按領域（面向銀行機器人的金融騙局、面向健康助手的劑量陷阱）。這裡的質量就是多樣性 —— 把同一個越獄改寫一千遍，測的仍然只是一件事；這門手藝與下文的覆蓋邏輯相通： 長尾與邊緣情形挖掘.
經評判的輸出。 每一次攻擊的結果，由人工對照危害評分標準打標：模型是拒絕了、照做了、部分照做，還是以奇怪的方式失效？這就是換了個名字的標註 —— 它需要經過校準的評分者、清晰的指南與一致性度量，正是下文這套機器： 黃金套、審計抽樣和共識。經過評判的樣本對於是一舉兩得：今天是發現報告，明天是安全訓練數據。
變體集。 同一批攻擊跨語言、跨方言、跨人設、跨模態地再做一遍 —— 這正是多數已部署系統最薄弱的地方（第 4 節），而批量採集這類數據所需的託管流水線紀律，與任何 語音或文本採集項目.
修復文檔。 可復現的攻擊軌跡、嚴重度評級、類別覆蓋圖 —— 正是這份成果讓工程團隊能修問題、讓審計人員能核實演練確實發生過。
圖 1 —— 紅隊數據棧
資產 它是什麼 由誰來做 被複用為 對抗性提示 按類別、手法、領域劃分的攻擊 受過訓練的紅隊成員、領域專家 迴歸測試套件 經評判的輸出 對回答打上通過/失敗/嚴重度標籤 經過校準的人工評分者 安全微調數據 變體集 語言、方言、人設、模態的各個版本 母語者、多模態專家 多語種護欄評測 修復文檔 軌跡、嚴重度、覆蓋圖 紅隊負責人 合規證據 複用這一欄，正是紅隊數據要採購而不是臨時拼湊的原因：一次建好，模型更新後它仍然管用。
自動化不是已經取代人工紅隊了嗎？
它改變了他們的工作，而不是取消了他們。
最受關注的進展是真實的：OpenAI 的自動化紅隊 —— GPT-Red，我們在它發佈時做過分析 —— 以及它所代表的更廣研究路線，能以任何人類團隊都達不到的規模生成並變異攻擊，而 Appen 自己對這一進展的分析 得出的是業界大體已經形成共識的結論：自動化抬高下限，人決定上限。
有三塊始終頑固地屬於人：
評判。 一條回答究竟算不算有害，是要看語境的判斷 —— 化學原理講解與合成路線之間的區別，虛構與教唆之間的區別。自動化評判者會漂移，而且與被它評判的模型共享盲區；基於評分標準的人工打分仍然是自動化據以校準的真值，這與下文讓人留在迴路中的邏輯是一樣的： 我們對 VLM-評判者的分析.
新穎性。 生成器重組已知攻擊族的本事極強；真正新穎的策略 —— 模型誤讀的文化典故、能製造出漏洞的領域工作流 —— 來自人，尤其是領域專家與母語者。
問責。 “我們的模型自己給自己做了紅隊”經不起審計。監管機構與企業買家要的是有文檔記錄的獨立人工演練。
由此得出的運作模式是：自動化鋪廣度、人工挖深度 —— 機器以低成本掃過已知空間；人去探機器看不見的地方，並評判一切要緊的東西。
紅隊為什麼會在跨語言時失靈？
因為安全訓練集中在數據多的地方，而攻擊專挑訓練沒覆蓋的地方。
這個模式在研究中有充分記載，在實踐中也一致得讓人難受：主要用英語訓練的護欄，會用英語拒絕有害請求 —— 卻在低資源語言、在語碼混用的文本里，或者當有害意圖被包進安全訓練從未見過的文化框架時，照做不誤。這是我們在下文中記錄過的那條能力鴻溝在安全層的翻版： 為什麼生成式 AI 用你的第二語言時表現更差：性能跟著訓練數據的分佈走，安全性也不例外。
對任何跨市場部署的產品來說，這使得多語種紅隊成為整場演練中產出最高的一塊 —— 也是最難配人的一塊，因為它需要同時是母語者、文化上在地、又受過對抗技術訓練的人。翻譯替代不了：一條翻譯過來的越獄測的是翻譯，而不是本地攻擊面，原因與下文相同： 機器翻譯的訓練數據會漏掉本地現實。攻擊必須是 原創撰寫 用目標語言本身撰寫 —— 本地的騙局話術、本地的敏感話題、本地的混淆習慣。
這也是紅隊與數據主權相接的地方：對處理受監管數據的產品做對抗性演練，會繼承數據本身的存放地與安全約束，也就是下文所劃的那片地界： 敏感數據的安全標註.
誰提供紅隊數據與服務？
三個層級：設有常駐內部團隊並公開方法的前沿實驗室、為生產級人工演練配人的 AI 數據公司，以及處理前沿評估的專業安全公司。
前沿實驗室的內部團隊 —— OpenAI、Anthropic、Google DeepMind 都設有常駐紅隊並公開方法，包括自動化攻擊者這條研究路線。他們的工作確立了技術前沿，但不對外承接；其公開成果是任何採購方都該讀的免費教材。
設有安全實踐的 AI 數據公司。 生產級的人工紅隊，真正配人的地方就在這裡。 Appen 建立了業內最顯眼的實踐，公開發表過對抗性提示與多模態方面的研究。 Lifewood 提供這場演練的數據層 —— 通過託管交付中心完成覆蓋 100+ 種語言的多語種對抗性提示撰寫與輸出評判打分 —— 這正是其母語者人才庫與標註 QA 機器（經校準的評分者、黃金集、有文檔的一致性）能直接對上紅隊所需的那一塊；契合度最高的是第 2 節講的多語種變體集與打分項目，同時還有 人工評測服務 由同一批團隊交付。Scale AI 與其他數據平臺也為其模型開發客戶提供類似的安全評測服務。
專業安全公司與研究團體 —— 精品紅隊，成員常是前實驗室研究員，在前沿風險評估與定製演練上最強；學術團體則提供該領域共同採用的公開基準與攻擊分類法。
採購要點可以壓縮成一條原則：紅隊是披著安全外衣的標註級工作 —— 所以用你對待任何 標註供應商：要求對方提供評分者校準證據、指南樣本、一致性統計，以及按具名能力而非聲稱數量計的語言覆蓋。
要給你自己的 AI 部署做紅隊，該怎麼做
按你自己的危害面而不是通用清單來界定範圍，採購或自建一套分類過的攻擊集（多樣性重於數量），用經過校準的人工評分者評判輸出，並保留審計人員會索要的那份文檔。
- 按你真實的危害面來界定範圍。 列出你的產品可能出什麼錯 對你的用戶而言 —— 金融科技機器人的詐騙教唆、健康場景的劑量錯誤、任何帶檢索功能產品的數據洩漏。通用越獄清單會漏掉你自己的具體風險。
- 採購或自建一套分類過的攻擊集 —— 按危害、按手法、按領域分類 —— 並把多樣性而非數量當作質量標準。
- 在擴大攻擊規模之前，先把人工評判搭起來： 危害評分標準、經過校準的評分者、可度量的一致性。未經評判的攻擊運行只是噪聲。
- 覆蓋你實際上線的語言， 用母語原創撰寫的攻擊 —— 你最薄弱的護欄幾乎肯定不在英語上。
- 把自動化與人工深度配成一對： 用自動化掃描做迴歸覆蓋，用人工會話找新花樣，每一條發現都由人工評判。
- 為複用與審計留下文檔： 可復現的軌跡、嚴重度、覆蓋圖 —— 然後把經評判的樣本對回灌為安全訓練數據。
- 每次模型更新後重跑。 護欄會回退；你的攻擊集此時就是你的迴歸測試套件。