簡短回答： LLMs產生幻覺,因爲他們預測最有可能的下一個詞,而不是最真實的詞,所以一個不知道一個答案的模型充滿信心地發明了一個答案——加拿大航空得知,當一個法庭認爲它對其聊天員發明的退款政策負責時,它就已經知道這一點了. 企業通過將答案放在可信數據(RAG)中,顯示來源,增加自動護欄,以及讓一個人在高決策循環中,從而減少幻覺。
核心重點
- 通過 Retrival-Augmented Generation(RAG)將AI的答案定位在可信,當前數據中,與讓模型答案單從內存中解脫相比,可以減少幻覺.
- 顯示每個答案背後的源頭,並運行自動禁足檢查,讓團隊在客戶看到之前捕捉並重寫無支持的訴求.
- 一個人在財務、法律、醫療或客戶面前做出高額決策,仍然是防止客戶收到錯誤答覆的最可靠的保障。
- 幻覺基本上是一個數據質量的問題:一個模型只能引用它實際得到的事實,因此混亂或缺失的數據會產生糟糕的答案.
- 2024年斯坦福對法律AI的研究發現,通用模型在58%至88%的具體法律查詢上產生幻覺,即使是目的建造的法律AI工具在17%至33%的查詢上也是錯的.
AI幻覺是什麼 聊天機器人爲什麼要編造這些東西?
AI幻覺是一個自信的流利答案,事實上是錯誤的,或者完全被髮明,在系統沒有引起任何懷疑的情況下產生。 2022年11月,傑克·莫法特(Jake Moffatt)在祖母去世後爲他訂了最後一分鐘的航班,並向加拿大航空的聊天員詢問喪偶折扣問題。 該公司告訴他,他可以在旅行90天內要求降低票價。 這是錯誤的:航空公司沒有這種政策,拒絕退款,並辯稱它不對自己的聊天機負責。 法庭不同意,加拿大航空公司被命令支付。
聊天機器人沒有被黑客入侵,它只是產生了一個自信的,寫得很好的,完全發明的答案.
LLM,或稱大語言模型,是ChatGPT和大多數AI助手背後的引擎. 一個大語言模型是一個訓練有素的系統,它訓練的文字數量巨大,它以一個順序預測接下來的幾個字,而不是檢索一個經過覈實的事實. 把這些預測聯繫起來,然後得到流利的答案、摘要和電子郵件——但模型產生最可能聽覺的續作,而不是最真實的。當它不知道時,它不會停下來說“我不確定 ” 。它用一些從未有過的假象來填補空白。
IBM將幻覺定義爲AI自信地呈現不正確或發明的信息作爲事實. OpenAI的研究人員增加了一個令人難忘的理由:就像在考試中的學生永遠不獎勵"我不知道",聰明的舉動是猜,所以模型學會了猜.
幻覺對生意有什麼關係?
僅僅對臨時用戶來說是一種不愉快的錯誤答案,對企業來說,就成了法律和財務風險。 加拿大航空案表明,一家公司可以對其AI告訴客戶的事物承擔法律責任,法院還單獨制裁了提交文件以引用AI發明的案件的律師。
研究對規模很不切實際。 2024 斯坦福大學的學習結束 800,000 發現通用模型出現幻覺 69% 改爲: 88% 關於法院核心持有權的問題,該比率至少是: 75%。甚至,我們沒有 GPT-4 幻覺 58% 時間。
目的性工具做得更好,但還不夠。 實證法律研究期刊 發現領先的法律AI產品仍然在17%至33%的查詢中產生幻覺,準確度從65%的最好,到41%,然後是19%的好。 這些是專門爲高考專業銷售的工具,買家比較替代品往往從一個清單開始,例如: LLM 培訓數據註釋公司 而不是把單一供應商的準確性要求 託付給他們。
內 McKinsey的,因爲 2025 · 調查, 51% 使用 AI 報告至少造成一種負面後果,而不準確是最常見的與實際傷害有關的風險。 48,000 整個城市的人 47 國家 KPMG 和墨爾本大學,僅 46% 說他們願意信任 AI。 。 。 。 66% 經常使用, 70% 想要更嚴格的監管。
爲什麼減少幻覺比看上去更困難?
您無法完全刪除行爲, 因爲猜測是建立在語言模型如何工作的基礎之上的, 所以沒有任何一個設置可以消除它。 即使提供方也形容幻覺是一種頑固的、持續的挑戰。 現實的目標是保持它罕見, 抓住它, 並且永遠不要讓它到達一個客戶。
模特兒很少知道你的生意 因爲一個將軍 AI 卻從未讀過最新定價、政策或合同, IBM, Google,和 AWS 全部注意, 必須以您自己信任的數據來彌補這一缺口 。 AI-現成數據也比買方假定的少,許多企業仍然認爲它們自己的數據尚未準備好。 AI 使用。錯誤的解答中包含的錯數據,所以準確性在成爲模型問題之前就是一個數據問題。
你怎麼阻止LLM幻覺?
最有效的方法不是祕密算法,而是目前最大的技術公司所同意的稱爲“地面”的學科。 地面建設意味着永遠不要讓模型從記憶中解答,而是在問題發生時將相關、可信賴的事實交給它,並告訴它只能從這些事實中解答。
常用的方法是檢索-增強生成(retrival-Augmented Generation),或RAG. RAG是一種技術,即系統在模型解答之前從知識庫中檢索到正確的文件,然後要求它生成一個基於這些文件的解答. AWS稱RAG是給企業模型提供準確背景的務實方法。Google將其設定爲提供了事實並以此爲基礎。 NVIDIA指出,它減少了一個令人信服但錯誤的答案的可能性。 IBM坦率地說,RAG降低了幻覺的風險,而沒有做模型防錯的設定。
被基於的企業系統有可識別的形狀。 一個知識庫保存您信任的文件。 指揮者獲取事實,然後將問答結合起來。 語言模型會寫一個答案草稿。 守護者檢查草稿是否由事實支持。 被基於的答案會用一個您可以驗證的來源來給出。 檢查失敗是固定的,標記的,或者路由給人類.
問題從來不是直接到模型上。首先,系統從你的文件中提取正確的事實,然後用問題交給模型,最後在任何人看到之前對照這些事實檢查草案。 地基是基礎,最強的系統又增加了兩個層次。 護衛機是自動檢查,它標記或重寫模型答案中任何部分,而不能被檢索到的源支持. Microsoft'Azure 禁足檢測標記一個答案中沒有源支持的任何部分,可以在用戶看到它之前重寫它. NVIDIA開源的NeMo Guardrails 增加了檢查事實的鐵路 RAG 第二層是所有人最可靠的保障: 高收分解的循環中的人, 涵蓋的學科 人類在低空機器學習的完整指南.
企業精準遊戲本中有什麼?
企業精準遊戲手冊有四個部分相互加強: 將答案打地,顯示源頭,增加人檢查,從乾淨數據開始。 團隊建立這個功能時往往會把它配上 企業評價基準 用來衡量護欄是否真的發現錯誤
- 每一個答案都按下 連接AI到信任的,當前的數據與RAG,所以它從事實而不是內存中回答.
- 顯示源頭並添加護欄. 讓AI引用每個答案的來源,並使用自動檢查來標出或重寫無支持的主張.
- 使人入循環. 對於金錢、法律、醫療或客戶交易決定,當事人需在船舶上審查。
- 從數據開始。 乾淨,標籤清晰, AI-即時數據是使一切工作都奏效的輸入。
怎麼樣 Lifewood 將數據驅動的準確性轉化爲現實?
值得信賴 AI 建立在可靠數據之上,而這正是 Lifewood 作品。創建於 2004 重新定位爲 AI-數據專家,公司現在在全線運行 40+ 分娩中心 30+ 它將全球範圍的人力與工業化方法及其專有的LiFT平臺結合起來。
Lifewood 支持 AI-生成內容在兩端:編寫高質量的數據,使生成的產出準確,並應用全時人入室質量控制,使產出保持原樣.
- 數據收集。 以50+語言進行多種語言,多模式的跨文本,音頻,圖像,視頻的集合.
- 註釋和標籤。 標籤、標記、抄錄和情緒分析——通過結構化的真理檢查 黃金套、審計抽樣和共識 QA.
- LLM 培訓數據. 監督的微調裝置、人文優先RLHF(a) 通過下列途徑建立的數據和模型評價數據集: 企業 LLM 培訓數據 程序。
- AIGC和QA. 互聯網檔案館的存檔,存檔日期2013-09-02.. 企業 AI-製作內容,包括規模的視頻,並配有全職的人類審查以及 數據驗證.
幻覺通常是一個數據質量問題,而不僅僅是模型問題. Lifewood的專家從根源上對問題提出批評:構建和驗證一個RAG系統從中檢索的文件;建立針對行業和語言的數據集,加上教授模型如何解答和承認不確定性的評價集,這一方法使更廣泛的行業越來越多地參照名單制定基準,例如: 頂級LLM 培訓數據提供者; 提供全球勞動力,作爲50+語言的自動檢查誤差的核查層。
管道從收集、註釋、培訓和評估到人文 QA這些階段爲一個基礎知識庫提供了信息,該知識庫支持一名助理根據經覈實的事實作出答覆。 AI 進行滑動,錯誤會回到數據進程,所以下一個版本更準確。
接下來企業AI的準確性是什麼?
企業精準工作的下一階段有兩個轉變:AI監督AI,以及越來越關注數據本身而不是模型.
一個快速出現的想法是 守護者代理—— AI 監督其他 AI,在另一個模型到達個人之前,審查、監測和阻止其風險產出。 除此之外,注意力正在從閃閃發亮的模型轉移到乾淨、管理良好的數據的不光彩基礎,因爲許多組織仍然將自己的數據描述爲不 AI-在那裏投資的組織會悄悄地前進
底線是什麼?
幻覺不是一個跡象 AI 該戰略被打破,但語文模式如何運作具有可預見和可管理的特點。 McKinsey, KPMG, OpenAI, Google, AWS, IBM, NVIDIA,和 Microsoft 相同:將模型打入可信數據,顯示源,增加護欄,讓人環繞,並管理整個過程.
每一步都有一個要求:高質量、準備充分、 AI-半數以上的組織報告至少有一個組織表示有負數。 AI 後果 McKinsey的,因爲 2025 調查,這就是工作的開始。突破並不是一個更聰明的模型,而是更好的數據,小心處理。你不能促使你擺脫數據問題,準確性是在數據上建立起來的,早在模型出現之前就已經存在。