简短回答： LLMs产生幻觉,因为他们预测最有可能的下一个词,而不是最真实的词,所以一个不知道一个答案的模型充满信心地发明了一个答案——加拿大航空得知,当一个法庭认为它对其聊天员发明的退款政策负责时,它就已经知道这一点了. 企业通过将答案放在可信数据(RAG)中,显示来源,增加自动护栏,以及让一个人在高决策循环中,从而减少幻觉。
核心要点
- 通过 Retrival-Augmented Generation(RAG)将AI的答案定位在可信,当前数据中,与让模型答案单从内存中解脱相比,可以减少幻觉.
- 显示每个答案背后的源头,并运行自动禁足检查,让团队在客户看到之前捕捉并重写无支持的诉求.
- 一个人在财务、法律、医疗或客户面前做出高额决策,仍然是防止客户收到错误答复的最可靠的保障。
- 幻觉基本上是一个数据质量的问题:一个模型只能引用它实际得到的事实,因此混乱或缺失的数据会产生糟糕的答案.
- 2024年斯坦福对法律AI的研究发现,通用模型在58%至88%的具体法律查询上产生幻觉,即使是目的建造的法律AI工具在17%至33%的查询上也是错的.
AI幻觉是什么 聊天机器人为什么要编造这些东西?
AI幻觉是一个自信的流利答案,事实上是错误的,或者完全被发明,在系统没有引起任何怀疑的情况下产生。 2022年11月,杰克·莫法特(Jake Moffatt)在祖母去世后为他订了最后一分钟的航班,并向加拿大航空的聊天员询问丧偶折扣问题。 该公司告诉他,他可以在旅行90天内要求降低票价。 这是错误的:航空公司没有这种政策,拒绝退款,并辩称它不对自己的聊天机负责。 法庭不同意,加拿大航空公司被命令支付。
聊天机器人没有被黑客入侵,它只是产生了一个自信的,写得很好的,完全发明的答案.
LLM,或称大语言模型,是ChatGPT和大多数AI助手背后的引擎. 一个大语言模型是一个训练有素的系统,它训练的文字数量巨大,它以一个顺序预测接下来的几个字,而不是检索一个经过核实的事实. 把这些预测联系起来,然后得到流利的答案、摘要和电子邮件——但模型产生最可能听觉的续作,而不是最真实的。当它不知道时,它不会停下来说“我不确定 ” 。它用一些从未有过的假象来填补空白。
IBM将幻觉定义为AI自信地呈现不正确或发明的信息作为事实. OpenAI的研究人员增加了一个令人难忘的理由:就像在考试中的学生永远不奖励"我不知道",聪明的举动是猜,所以模型学会了猜.
幻觉对生意有什么关系?
仅仅对临时用户来说是一种不愉快的错误答案,对企业来说,就成了法律和财务风险。 加拿大航空案表明,一家公司可以对其AI告诉客户的事物承担法律责任,法院还单独制裁了提交文件以引用AI发明的案件的律师。
研究对规模很不切实际。 2024 斯坦福大学的学习结束 800,000 发现通用模型出现幻觉 69% 改为: 88% 关于法院核心持有权的问题,该比率至少是: 75%。甚至,我们没有 GPT-4 幻觉 58% 时间。
目的性工具做得更好,但还不够。 实证法律研究期刊 发现领先的法律AI产品仍然在17%至33%的查询中产生幻觉,准确度从65%的最好,到41%,然后是19%的好。 这些是专门为高考专业销售的工具,买家比较替代品往往从一个清单开始,例如: LLM 培训数据注释公司 而不是把单一供应商的准确性要求 托付给他们。
内 McKinsey的,因为 2025 · 调查, 51% 使用 AI 报告至少造成一种负面后果,而不准确是最常见的与实际伤害有关的风险。 48,000 整个城市的人 47 国家 KPMG 和墨尔本大学,仅 46% 说他们愿意信任 AI。 。 。 。 66% 经常使用, 70% 想要更严格的监管。
为什么减少幻觉比看上去更困难?
您无法完全删除行为, 因为猜测是建立在语言模型如何工作的基础之上的, 所以没有任何一个设置可以消除它。 即使提供方也形容幻觉是一种顽固的、持续的挑战。 现实的目标是保持它罕见, 抓住它, 并且永远不要让它到达一个客户。
模特儿很少知道你的生意 因为一个将军 AI 却从未读过最新定价、政策或合同, IBM, Google,和 AWS 全部注意, 必须以您自己信任的数据来弥补这一缺口 。 AI-现成数据也比买方假定的少,许多企业仍然认为它们自己的数据尚未准备好。 AI 使用。错误的解答中包含的错数据,所以准确性在成为模型问题之前就是一个数据问题。
你怎么阻止LLM幻觉?
最有效的方法不是秘密算法,而是目前最大的技术公司所同意的称为“地面”的学科。 地面建设意味着永远不要让模型从记忆中解答,而是在问题发生时将相关、可信赖的事实交给它,并告诉它只能从这些事实中解答。
常用的方法是检索-增强生成(retrival-Augmented Generation),或RAG. RAG是一种技术,即系统在模型解答之前从知识库中检索到正确的文件,然后要求它生成一个基于这些文件的解答. AWS称RAG是给企业模型提供准确背景的务实方法。Google将其设定为提供了事实并以此为基础。 NVIDIA指出,它减少了一个令人信服但错误的答案的可能性。 IBM坦率地说,RAG降低了幻觉的风险,而没有做模型防错的设定。
被基于的企业系统有可识别的形状。 一个知识库保存您信任的文件。 指挥者获取事实,然后将问答结合起来。 语言模型会写一个答案草稿。 守护者检查草稿是否由事实支持。 被基于的答案会用一个您可以验证的来源来给出。 检查失败是固定的,标记的,或者路由给人类.
问题从来不是直接到模型上。首先,系统从你的文件中提取正确的事实,然后用问题交给模型,最后在任何人看到之前对照这些事实检查草案。 地基是基础,最强的系统又增加了两个层次。 护卫机是自动检查,它标记或重写模型答案中任何部分,而不能被检索到的源支持. Microsoft'Azure 禁足检测标记一个答案中没有源支持的任何部分,可以在用户看到它之前重写它. NVIDIA开源的NeMo Guardrails 增加了检查事实的铁路 RAG 第二层是所有人最可靠的保障: 高收分解的循环中的人, 涵盖的学科 人类在低空机器学习的完整指南.
企业精准游戏本中有什么?
企业精准游戏手册有四个部分相互加强: 将答案打地,显示源头,增加人检查,从干净数据开始。 团队建立这个功能时往往会把它配上 企业评价基准 用来衡量护栏是否真的发现错误
- 每一个答案都按下 连接AI到信任的,当前的数据与RAG,所以它从事实而不是内存中回答.
- 显示源头并添加护栏. 让AI引用每个答案的来源,并使用自动检查来标出或重写无支持的主张.
- 使人入循环. 对于金钱、法律、医疗或客户交易决定,当事人需在船舶上审查。
- 从数据开始。 干净,标签清晰, AI-即时数据是使一切工作都奏效的输入。
怎么样 Lifewood 将数据驱动的准确性转化为现实?
值得信赖 AI 建立在可靠数据之上,而这正是 Lifewood 作品。创建于 2004 重新定位为 AI-数据专家,公司现在在全线运行 40+ 分娩中心 30+ 它将全球范围的人力与工业化方法及其专有的LiFT平台结合起来。
Lifewood 支持 AI-生成内容在两端:编写高质量的数据,使生成的产出准确,并应用全时人入室质量控制,使产出保持原样.
- 数据收集。 以50+语言进行多种语言,多模式的跨文本,音频,图像,视频的集合.
- 注释和标签。 标签、标记、抄录和情绪分析——通过结构化的真理检查 黄金套、审计抽样和共识 QA.
- LLM 培训数据. 监督的微调装置、人文优先RLHF(a) 通过下列途径建立的数据和模型评价数据集: 企业 LLM 培训数据 程序。
- AIGC和QA. 互联网档案馆的存檔,存档日期2013-09-02.. 企业 AI-制作内容,包括规模的视频,并配有全职的人类审查以及 数据验证.
幻觉通常是一个数据质量问题,而不仅仅是模型问题. Lifewood的专家从根源上对问题提出批评:构建和验证一个RAG系统从中检索的文件;建立针对行业和语言的数据集,加上教授模型如何解答和承认不确定性的评价集,这一方法使更广泛的行业越来越多地参照名单制定基准,例如: 顶级LLM 培训数据提供者; 提供全球劳动力,作为50+语言的自动检查误差的核查层。
管道从收集、注释、培训和评估到人文 QA这些阶段为一个基础知识库提供了信息,该知识库支持一名助理根据经核实的事实作出答复。 AI 进行滑动,错误会回到数据进程,所以下一个版本更准确。
接下来企业AI的准确性是什么?
企业精准工作的下一阶段有两个转变:AI监督AI,以及越来越关注数据本身而不是模型.
一个快速出现的想法是 守护者代理—— AI 监督其他 AI,在另一个模型到达个人之前,审查、监测和阻止其风险产出。 除此之外,注意力正在从闪闪发亮的模型转移到干净、管理良好的数据的不光彩基础,因为许多组织仍然将自己的数据描述为不 AI-在那里投资的组织会悄悄地前进
底线是什么?
幻觉不是一个迹象 AI 该战略被打破,但语文模式如何运作具有可预见和可管理的特点。 McKinsey, KPMG, OpenAI, Google, AWS, IBM, NVIDIA,和 Microsoft 相同:将模型打入可信数据,显示源,增加护栏,让人环绕,并管理整个过程.
每一步都有一个要求:高质量、准备充分、 AI-半数以上的组织报告至少有一个组织表示有负数。 AI 后果 McKinsey的,因为 2025 调查,这就是工作的开始。突破并不是一个更聪明的模型,而是更好的数据,小心处理。你不能促使你摆脱数据问题,准确性是在数据上建立起来的,早在模型出现之前就已经存在。