简短回答： AI代理使用工具和功能调用,作为语言模型和外部系统之间的结构化桥梁. 模型解释用户的目标,决定它需要什么样的能力,并要求一个有结构化参数的特定工具;周围的应用程序验证和执行该请求,返回结果,让模型继续工作流程.
核心要点
- 函数调用给语言模型提供了一种结构化的方式,可以请求外部能力,而不是仅仅生成文本.
- 应用程序或工具运行时间,而不是模型,控制执行,授权和验证.
- 一个函数调用可以完全有效JSON,并且仍然是错误的商业动作.
- 工具权限应该遵循最小优先的设计:只披露任务实际需要的东西.
- 影响大的行动在运行之前需要独立的验证,并酌情需要人类的确认.
- 多语言、经人审查的评价显示,一个狭窄的、只使用英语的测试集会错过失败。
工具和功能要求是什么?
一个工具是提供给模型的一种外部能力——它可以搜索知识库,读取CRM记录,计算一个值,查询库存,创建支持票,或者调用API. 函数调用是模型用来请求其中一种能力的结构化格式:它生成函数名称和机器可读参数,而不是执行任何本身.
区分关系很重要,因为模型一般不运行您的业务功能. OpenAI的文档描述函数调用,作为将模型与外部工具和系统连接起来的一种方式. Google的文档将模型的功能调用响应与应用程序实际执行功能的责任区分开来. Anthropic同样描述了一种工具使用流程,其中模型请求一个工具,应用程序处理执行.
函数调用 是结构化的请求格式,是按名称和参数要求工具的模型。 一个工具 是外部能力本身——应用软件代表模型进行的API、数据库查询或动作。
模式分为四个组成部分:工具定义(名称、目的、参数和限制),说明模型的能力;模型决定,模型决定一个工具是否相关,构建结构化的参数;执行层,应用程序验证授权并进行操作; 和工具结果,返回模型,以便它能够继续,调用另一个工具,或者回答.
例如,客户可能询问4812号订单在哪里,以及它是否已经发运。 get_order_status(order_id=4812); 应用程序检查请求并查询命令系统; 如果状态显示已发运, 模型会请求 get_tracking_link(order_id=4812); 最后的答案来自这些工具的结果。 这是基本的代理环路: 解释、调用、执行、观察、继续。 对于企业团队来说,价值不仅仅是一个模型可以称为API——那就是组织可以暴露一个狭窄的、可审计的能力,而不会让模型不受限制地进入每个基础系统。
工具调用循环在实践中如何发挥作用?
机械学很简单,可以绘制白板;可靠性来自模型周围构建的一切。一个实用循环分七个步骤运行:用户用自然语言描述一个结果;模型决定一个可用的工具是否能够帮助;模型返回一个工具名称和结构化参数;应用程序检查计划,权限, 身份和商号规则; 信任的运行时间调用API,数据库或服务; 工具结果随上下文返回; 模型答案, 提问, 或请求另一个工具.
模型需要精确描述函数的作用以及它期望的输入——一个模糊的工具,比如 search_database 给解释留下了太多的空间,而一个好的定义则说明了它的目的、参数、需要的字段和有意义的限制。Google 文档函数声明围绕一个名称、描述和参数的设置;OpenAI 支持对支持的函数调用配置严格遵守设置。 但计划正确性不是商业正确性:一个请求可以完全有效JSON,并且仍然针对错误的客户,金额,记录或动作,所以验证也必须发生在模型之外.
多工具的管弦乐是另一个新出现的模式. Google 文档并行和组成函数调用,Anthropic 引入了高级工具使用能力,以具有非常大的工具库的环境为目标. 在实践中,工具选择本身就成为一个设计问题——代理人需要相关工具,而不需要用每一个可能的定义来压倒上下文。 培训与评估数据 AI 代理商需要 通常认为,具有代表性的工具使用记录誊本与工具本身的定义一样重要。
使用工具的AI特工能在哪里破解?.
使用工具的代理商在调用模式外的事物时会中断,而不是当模型仅仅错误地解释原因时。 仅读查询的风险很低;发送电子邮件、更改客户记录、发布内容或启动付款是完全不同的风险类别。
失败模式 设计时要对照以下内容: 模型选择一个技术上可用的能力,而这种能力不符合任务; 电话结构上有效,但带有错误的ID,数量,目的地,日期或范围; 不信任输入,其中工具返回的内容包含试图影响后来的模型行为的指示; 过度访问, 代理获得的授权超过任务要求; 串联错误,导致下一场呼叫的输入和整个工作流程的复合; 重复重复重复或状态不明引起的行动; 数据曝光,敏感工具结果到达未经授权的用户或下游进程; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 错误; 代理获得的授权; 错误; 代理获得的授权; 错误; 代理获得的权限; 代理获得的权限; 代理获得的权限; 代理获得的权限; 代理获得的权限; 代理获得的权限; 错误; 代理代理获得的权限; 代理获得的权限; 代理获得的权限; 代理获得的权限; 代理代理获得的权限; 代理代理获得的权限; 代理代理代理获得的权限; 代理代理代理代理代理获得的权限; 代理获得的权限; 代理代理获得的权限; 代理代理代理代理代理获得的权限; 代理代理代理代理权限; 代理代理代理代理代理代理 以及没有人类遏制或升级之路的间接行动。
工具越是影响,周围的控制就越重要。 OpenAI的代理指导将工具视为从推理到行动的桥梁,目前的"模型背景协议"指导强调用户控制与授权围绕工具引用,NIST关于工具使用代理系统的工作强调考虑风险,可靠性,访问模式以及行动是可逆还是状态. 有用的企业规则是设计上最不特权:客户服务代理人可能需要阅读订单并创建票,但可能不需要许可即可删除客户账户. 同一原则也适用于工具输出——企业应决定哪些字段被退回,哪些字段被修改,哪些可以影响随后的行动。 计算机使用 GUI 直接在界面上行事的代理,其中动作表面甚至比固定的API更宽.
企业如何建立更安全的工具调用代理?
生产准备剂不是通过在即时器上添加更多的功能来创建的——它被设计成一个围绕模型的控制系统,最强的架构结合了狭隘的工具,独立验证,权限,监测,评价和后果严重的人的监督.
实用的企业控制堆栈工作通过八个阶段:尽量减少工作流程所暴露的工具,并将只读与写能力分开;授权使用在模型之外应用的身份、角色和资源级权限;在执行前验证参数和业务规则,即使计划有效;确认不可逆, 财务方面有必然影响或外部可见的行动,并获得人类认可;通过记录工具选择、论证、结果、时间、错误和重复观察;利用超时、限定重复、自失能和明显的失败状态来恢复;评价工具选择、论证准确性、政策遵守程度和端到端结果; 并将失败和人文审查反馈到工具、提示、测试数据和工作流程中,从而改进。
Lifewood已经出版的《人与人》 AI 评价材料描述结构化测试、人审查、质量保证、多语种评价和反馈,以及人的评价和反馈。 QA 将模型培训放在审查结果之后,从而改进数据或模型。 这自然地将数据或模型映射到代理系统:人类参与并不意味着批准每一个低风险搜索,它意味着人类定义评价标准,审查代表性样本,检查失败,批准高风险行动,并监测在模型、工具或迅速变化之后工作流程是否仍然可靠。 Lifewood的,因为 AI-数据提供说明 多种语文数据收集 和人类在下游验证 100+ 语文和 40+ 跨省服务中心 30+ 利用发展中国家 56,000+ 对于工具使用代理商,同样的基础对于建立现实的评价数据集、创建多语种测试案例、审查产出、将失败模式贴上可重复的质量循环——后面的纪律——都很重要 为AI系统设计企业评价基准.
一个生产准备的工具召唤建筑应该是什么样子?
开始小:给代理一个有限的工具集,明确的计划,最小优先权限,独立的验证,强的日志和对相应动作的明确批准门,然后测试完整的工作流程,而不是仅仅测试模型是否能够产生一个有效的函数调用.
制作清单应确认工具说明具有足够具体性,可以使选择明确;论据独立于模型;应用程序可以拒绝一个有效但未经授权的请求;在适当时将读写工具分开;影响大的行动可以逆转或得到人类的批准; 工具输出被视为潜在的不信任输入; 重复的重复被限定,防止重复行动; 团队可以重建代理从日志中所做的; 多语种和边缘情况假设是评价的一部分; 工具、模型或商业规则改变时存在反馈循环。
工具生态系统也超越了一次性功能的呼声. OpenAI 现在描述内置工具,自定义函数工具以及 MCP-其代理堆栈内连接的工具; Google 支持内置和自定义工具的组合,包括多步和并行函数调用;以及 Anthropic 正在探索动态工具的发现和加载,以使用非常大的工具库的环境。下一个挑战是“可以”更少。 AI 代理人使用工具?",以及更多组织是否能够管理一个不断增长的工具生态系统而不失去控制的问题——这个问题直接与从“控制”到“控制”的更广泛转变联系在一起。 基因AI系统设计的代理 企业团队正在浏览中。 领导人员比较 LLM 培训数据公司 和他们自己的 AI 数据验证 将一种剂放大到生产之前的工艺。