簡短回答: 會,而這個機制叫做間接提示注入。當一個 AI 代理取回一個頁面時,該頁面的文本就進入了模型的上下文,並且可能被當作指令而不是內容來讀取。OWASP 把提示注入列爲 LLM01,即其面向 LLM 應用的 Top 10 中的第一條。對一個發佈內容的品牌而言,暴露是雙向的:你的頁面可能被用來操控別人的代理,而讀取你競爭對手頁面的代理也可能被操控來對你不利。
有一類風險,是內容與市場團隊此前不必考慮的,因爲直到不久之前,除了人與搜索爬蟲之外沒有別的東西會讀他們的頁面。而這兩者都是被動的。AI 代理不是:它取回一個頁面,把文本放進模型的上下文窗口,然後採取行動。
這改變了一個頁面的性質。你站點上的一個段落,不再只是一條讀者可能會相信的主張。它同時也是某個系統的輸入,而那個系統可能擁有發郵件、調用 API 或完成一次購買的權限。OWASP 的表述對危害在哪裏放大這一點很精確:一次成功的提示注入,其影響的嚴重程度與性質,在很大程度上取決於模型所處的業務場景,以及模型被架構時所賦予的代理權限。
核心重點
- 間接提示注入 指的是通過模型所檢索的內容、而不是通過用戶輸入所投遞的注入。
- OWASP 將其定義爲:當一個 LLM 接受來自外部來源的輸入,例如網站或文件,而這些外部內容會以意料之外的方式改變模型行爲。
- 它被列爲 LLM01 ——位列第一——在 OWASP 面向 LLM 應用的 Top 10 之中。
- 影響程度取決於 代理權限。OWASP 將過度代理權限單列爲 LLM06,而兩者會疊加放大。
- 注入可能是 無意的。一個頁面並不需要由攻擊者撰寫,也能讓代理偏離正軌。
- 對發佈者來說,防守要問的問題是 內容完整性 和 評論與用戶生成內容的衛生,因爲任何出現在你域名下的東西,都是以你域名的權威在說話。
快速比較
| 直接提示注入 | 間接提示注入 | |
|---|---|---|
| 誰提供了惡意文本 | 使用該應用的人 | 掌控被檢索內容的人 |
| 誰是受害者 | 應用的運營方 | 用戶,以及頁面被濫用的那個品牌 |
| 攻擊者是否需要訪問對話 | 是 | 否 |
| 發佈者首要關心的問題 | 不適用 | 你自己域名上的內容完整性 |
| OWASP 分類 | LLM01 | LLM01,並與 LLM06 疊加 |
什麼是間接提示注入?
它是提示注入的一種變體:惡意或誤導性文本出現在模型取回的內容之中,而不是出現在用戶的提示詞裏。OWASP 將間接提示注入描述爲:當一個 LLM 接受來自網站或文件等外部來源的輸入,而這些外部內容在被模型解讀時,以意料之外或非預期的方式改變了模型的行爲。
與直接注入的區別關係到誰被暴露。在直接注入中,打字的人就是攻擊者,目標是應用自身的指令。在間接注入中,打字的人是受害者,攻擊者是掌控代理所訪問頁面的那個人,而兩者都不需要對這段對話有任何訪問權。
OWASP 還謹慎地指出,直接與間接注入都可能是有意的,也可能是無意的。這一點是大多數報道忽略的部分。一個恰好包含命令式文本的頁面——文檔中的一段指令塊、帶佔位命令的模板、被引用的一封郵件——都可能在無人意圖發動攻擊的情況下改變代理的行爲。
爲什麼被檢索到的文本會被當作指令?
因爲語言模型接收到的是一個單一、扁平的上下文。系統提示詞、用戶的問題與檢索到的頁面,都以文本形式進入同一個窗口,而格式本身並不會內在地標明其中哪一個帶有權威。
應用會嘗試做出標記。它們給各部分加標籤、用分隔符把檢索到的內容包起來,並指示模型把取回的素材當作數據。這些措施有幫助,但沒有一個是安全工程師會認可的那種邊界,因爲“忽略指令”這條指令本身也只是同一個窗口裏的更多文本,與其他文本爭奪模型的注意力。
這就是爲什麼防禦的重心已經轉向限制後果,而不是把檢測做到完美。如果一個代理無法匯出錢款,那麼它讀到的任何文本都無法讓它匯出錢款。
對一個發佈內容的品牌來說,暴露在哪裏?
有三種,而它們是歸屬不同的人的不同問題。
你自己的頁面可能被用作攻擊別人代理的武器。 如果攻擊者能把文本放到你的域名上——通過被攻破的 CMS、一個無人審覈的評論字段、一個用戶資料、一條評價,或者一個開放重定向——那段文本就繼承了你域名的可信度。一個因爲你是知名發佈者而信任你站點的代理,會帶着這份信任去讀那條被注入的指令。這裏的聲譽暴露是真實的,而且它屬於你,不屬於攻擊者。
你域名下任何由用戶生成的內容都是一個注入面。 評論、評價、論壇帖子、上傳的文檔與個人資料字段,都是代理可能在你主機名下取回的內容。這些字段的傳統威脅模型是跨站腳本與垃圾信息,而針對那種威脅所建的淨化手段並不能應對眼下這一種:注入的指令是純粹的文字,能完好無損地通過 HTML 轉義。
讀到關於你的信息的代理,可能正在讀某些被人爲植入的東西。 同一個機制既能讓人通過你的站點去操控代理,也能讓人通過任何其他提到你品牌的站點去操控代理。這就是與品牌監測令人不安的重疊之處:如果你在意 AI 助手如何談論你的公司,你就必須在意它們所讀的那些第三方頁面的完整性,而這直接連向 當有人假冒你的品牌時該怎麼做 以及 當 AI 答案引擎把你的品牌說錯時.
發佈者實際上應該做什麼?
把你的域名當作別人自動化系統的供應鏈輸入來對待,因爲它現在就是這個角色。
審查一下文本可以在未經審覈的情況下進入你頁面的所有路徑:評論字段、評價控件、個人簡介、上傳的文件名、以公開方式呈現的客服工單內容,以及任何聯合供稿或嵌入的第三方區塊。每一個都是一條讓你沒有寫過的文字以你的名義被呈現出去的通道。
審覈要針對指令,而不只是針對濫用。常規審覈尋找的是垃圾信息、騷擾與惡意標記。而被注入的指令不屬於其中任何一類:它是一個禮貌、結構完好的句子,告訴讀者去做某件事。真正的信號是面向助手的命令式文本,而現有的垃圾信息過濾器沒有一個是爲此調校的。
留意不可見的內容。用 CSS 隱藏的文本、白底白字、零字號字體、移到屏幕外的定位,以及嵌在圖片裏的內容,都會被那些並不以人眼方式渲染頁面的系統讀到。定期檢查爬蟲提取到的文本是否與讀者看到的文本一致,成本很低,而且既能發現這類問題,也能發現一系列常規的 SEO 問題。
把你自己的代理拴得短一些。如果你部署了一個會瀏覽網頁的代理,真正起作用的控制手段不是更好的提示詞,而是更窄的權限以及對有後果的操作要求人工確認。OWASP 之所以爲過度代理權限單列一條,正是因爲注入就在那裏轉化爲實際損害。