簡短回答： AI代理使用工具和功能調用,作爲語言模型和外部系統之間的結構化橋樑. 模型解釋用戶的目標,決定它需要什麼樣的能力,並要求一個有結構化參數的特定工具;周圍的應用程序驗證和執行該請求,返回結果,讓模型繼續工作流程.
核心重點
- 函數調用給語言模型提供了一種結構化的方式,可以請求外部能力,而不是僅僅生成文本.
- 應用程序或工具運行時間,而不是模型,控制執行,授權和驗證.
- 一個函數調用可以完全有效JSON,並且仍然是錯誤的商業動作.
- 工具權限應該遵循最小優先的設計:只披露任務實際需要的東西.
- 影響大的行動在運行之前需要獨立的驗證,並酌情需要人類的確認.
- 多語言、經人審查的評價顯示,一個狹窄的、只使用英語的測試集會錯過失敗。
工具和功能要求是什麼?
一個工具是提供給模型的一種外部能力——它可以搜索知識庫,讀取CRM記錄,計算一個值,查詢庫存,創建支持票,或者調用API. 函數調用是模型用來請求其中一種能力的結構化格式:它生成函數名稱和機器可讀參數,而不是執行任何本身.
區分關係很重要,因爲模型一般不運行您的業務功能. OpenAI的文檔描述函數調用,作爲將模型與外部工具和系統連接起來的一種方式. Google的文檔將模型的功能調用響應與應用程序實際執行功能的責任區分開來. Anthropic同樣描述了一種工具使用流程,其中模型請求一個工具,應用程序處理執行.
函數調用 是結構化的請求格式,是按名稱和參數要求工具的模型。 一個工具 是外部能力本身——應用軟件代表模型進行的API、數據庫查詢或動作。
模式分爲四個組成部分:工具定義(名稱、目的、參數和限制),說明模型的能力;模型決定,模型決定一個工具是否相關,構建結構化的參數;執行層,應用程序驗證授權並進行操作; 和工具結果,返回模型,以便它能夠繼續,調用另一個工具,或者回答.
例如,客戶可能詢問4812號訂單在哪裏,以及它是否已經發運。 get_order_status(order_id=4812); 應用程序檢查請求並查詢命令系統; 如果狀態顯示已發運, 模型會請求 get_tracking_link(order_id=4812); 最後的答案來自這些工具的結果。 這是基本的代理環路: 解釋、調用、執行、觀察、繼續。 對於企業團隊來說,價值不僅僅是一個模型可以稱爲API——那就是組織可以暴露一個狹窄的、可審計的能力,而不會讓模型不受限制地進入每個基礎系統。
工具調用循環在實踐中如何發揮作用?
機械學很簡單,可以繪製白板;可靠性來自模型周圍構建的一切。一個實用循環分七個步驟運行:用戶用自然語言描述一個結果;模型決定一個可用的工具是否能夠幫助;模型返回一個工具名稱和結構化參數;應用程序檢查計劃,權限, 身份和商號規則; 信任的運行時間調用API,數據庫或服務; 工具結果隨上下文返回; 模型答案, 提問, 或請求另一個工具.
模型需要精確描述函數的作用以及它期望的輸入——一個模糊的工具,比如 search_database 給解釋留下了太多的空間,而一個好的定義則說明了它的目的、參數、需要的字段和有意義的限制。Google 文檔函數聲明圍繞一個名稱、描述和參數的設置;OpenAI 支持對支持的函數調用配置嚴格遵守設置。 但計劃正確性不是商業正確性:一個請求可以完全有效JSON,並且仍然針對錯誤的客戶,金額,記錄或動作,所以驗證也必須發生在模型之外.
多工具的管絃樂是另一個新出現的模式. Google 文檔並行和組成函數調用,Anthropic 引入了高級工具使用能力,以具有非常大的工具庫的環境爲目標. 在實踐中,工具選擇本身就成爲一個設計問題——代理人需要相關工具,而不需要用每一個可能的定義來壓倒上下文。 培訓與評估數據 AI 代理商需要 通常認爲,具有代表性的工具使用記錄謄本與工具本身的定義一樣重要。
使用工具的AI特工能在哪裏破解?.
使用工具的代理商在調用模式外的事物時會中斷,而不是當模型僅僅錯誤地解釋原因時。 僅讀查詢的風險很低;發送電子郵件、更改客戶記錄、發佈內容或啓動付款是完全不同的風險類別。
失敗模式 設計時要對照以下內容: 模型選擇一個技術上可用的能力,而這種能力不符合任務; 電話結構上有效,但帶有錯誤的ID,數量,目的地,日期或範圍; 不信任輸入,其中工具返回的內容包含試圖影響後來的模型行爲的指示; 過度訪問, 代理獲得的授權超過任務要求; 串聯錯誤,導致下一場呼叫的輸入和整個工作流程的複合; 重複重複重複或狀態不明引起的行動; 數據曝光,敏感工具結果到達未經授權的用戶或下游進程; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 錯誤; 代理獲得的授權; 錯誤; 代理獲得的授權; 錯誤; 代理獲得的權限; 代理獲得的權限; 代理獲得的權限; 代理獲得的權限; 代理獲得的權限; 代理獲得的權限; 錯誤; 代理代理獲得的權限; 代理獲得的權限; 代理獲得的權限; 代理獲得的權限; 代理代理獲得的權限; 代理代理獲得的權限; 代理代理代理獲得的權限; 代理代理代理代理代理獲得的權限; 代理獲得的權限; 代理代理獲得的權限; 代理代理代理代理代理獲得的權限; 代理代理代理代理權限; 代理代理代理代理代理代理 以及沒有人類遏制或升級之路的間接行動。
工具越是影響,周圍的控制就越重要。 OpenAI的代理指導將工具視爲從推理到行動的橋樑,目前的"模型背景協議"指導強調用戶控制與授權圍繞工具引用,NIST關於工具使用代理系統的工作強調考慮風險,可靠性,訪問模式以及行動是可逆還是狀態. 有用的企業規則是設計上最不特權:客戶服務代理人可能需要閱讀訂單並創建票,但可能不需要許可即可刪除客戶賬戶. 同一原則也適用於工具輸出——企業應決定哪些字段被退回,哪些字段被修改,哪些可以影響隨後的行動。 計算機使用 GUI 直接在界面上行事的代理,其中動作表面甚至比固定的API更寬.
企業如何建立更安全的工具調用代理?
生產準備劑不是通過在即時器上添加更多的功能來創建的——它被設計成一個圍繞模型的控制系統,最強的架構結合了狹隘的工具,獨立驗證,權限,監測,評價和後果嚴重的人的監督.
實用的企業控制堆棧工作通過八個階段:儘量減少工作流程所暴露的工具,並將只讀與寫能力分開;授權使用在模型之外應用的身份、角色和資源級權限;在執行前驗證參數和業務規則,即使計劃有效;確認不可逆, 財務方面有必然影響或外部可見的行動,並獲得人類認可;通過記錄工具選擇、論證、結果、時間、錯誤和重複觀察;利用超時、限定重複、自失能和明顯的失敗狀態來恢復;評價工具選擇、論證準確性、政策遵守程度和端到端結果; 並將失敗和人文審查反饋到工具、提示、測試數據和工作流程中,從而改進。
Lifewood已經出版的《人與人》 AI 評價材料描述結構化測試、人審查、質量保證、多語種評價和反饋,以及人的評價和反饋。 QA 將模型培訓放在審查結果之後,從而改進數據或模型。 這自然地將數據或模型映射到代理系統:人類參與並不意味着批准每一個低風險搜索,它意味着人類定義評價標準,審查代表性樣本,檢查失敗,批准高風險行動,並監測在模型、工具或迅速變化之後工作流程是否仍然可靠。 Lifewood的,因爲 AI-數據提供說明 多種語文數據收集 和人類在下游驗證 100+ 語文和 40+ 跨省服務中心 30+ 利用發展中國家 56,000+ 對於工具使用代理商,同樣的基礎對於建立現實的評價數據集、創建多語種測試案例、審查產出、將失敗模式貼上可重複的質量循環——後面的紀律——都很重要 爲AI系統設計企業評價基準.
一個生產準備的工具召喚建築應該是什麼樣子?
開始小:給代理一個有限的工具集,明確的計劃,最小優先權限,獨立的驗證,強的日誌和對相應動作的明確批准門,然後測試完整的工作流程,而不是僅僅測試模型是否能夠產生一個有效的函數調用.
製作清單應確認工具說明具有足夠具體性,可以使選擇明確;論據獨立於模型;應用程序可以拒絕一個有效但未經授權的請求;在適當時將讀寫工具分開;影響大的行動可以逆轉或得到人類的批准; 工具輸出被視爲潛在的不信任輸入; 重複的重複被限定,防止重複行動; 團隊可以重建代理從日誌中所做的; 多語種和邊緣情況假設是評價的一部分; 工具、模型或商業規則改變時存在反饋循環。
工具生態系統也超越了一次性功能的呼聲. OpenAI 現在描述內置工具,自定義函數工具以及 MCP-其代理堆棧內連接的工具; Google 支持內置和自定義工具的組合,包括多步和並行函數調用;以及 Anthropic 正在探索動態工具的發現和加載,以使用非常大的工具庫的環境。下一個挑戰是“可以”更少。 AI 代理人使用工具?",以及更多組織是否能夠管理一個不斷增長的工具生態系統而不失去控制的問題——這個問題直接與從“控制”到“控制”的更廣泛轉變聯繫在一起。 基因AI系統設計的代理 企業團隊正在瀏覽中。 領導人員比較 LLM 培訓數據公司 和他們自己的 AI 數據驗證 將一種劑放大到生產之前的工藝。