我指的大語言模型的說謊問題，還不是傳統分析式AI的結果不準確那么簡單。而是它會一本正經的瞎編。

當你在使用大語言模型試圖完成一個長文本輸出的過程中，會發(fā)現大語言模型在完成創(chuàng)作時所引入的很多案例、數據，看似合理嚴謹，但其實壓根就不存在，全部都是它自己瞎編。

在本周我與一位同行的交流中，我的這個觀點也得到了印證。

據她說，如今很多人在被委托寫商業(yè)稿時，為了圖省事已經由AI完全代筆來交稿。這類文章自然流暢，所以欺騙性很高，一般人還真的不容易發(fā)覺哪里是錯的，往往都是當事企業(yè)的資深親歷者（基本就是甲方負責人）會提出質疑：「我怎么不知道有過這回事？」一篇AI稿，直接把負責人、媒體、作者都裝進去了。

這就很尷尬了。

同行管這種現象叫「AI幻覺」。典型表現就是：1、數據幻覺，根據邏輯編數據；2、關鍵信息編造；3、企業(yè)發(fā)展故事亂編；4、語言表達套話多、模板多。

所以在她的收稿要求里，AI創(chuàng)作已經是三令五申的絕對禁止了。

甚至最后，她還說了一句和我在「AI紀」第一期同樣的話：「堅決呼喚真人創(chuàng)作，商業(yè)寫作要有人味�！�——嗯，這個結論要算是我本周聽到過最鼓舞人心的一句話了。

但問題是，大語言模型為什么要說謊呢？

01 琢磨不透的涌現能力

1950年，計算機之父圖靈在它的論文《計算機器與智能》中提出了一個觀點：「學習機器有一個重要的特征，即它的老師往往對機器內部運行情況一無所知。」

這句話，成了如今的人們對大語言模型所展現出的恐怖「涌現能力」的最佳概括。

人們琢磨不透，為什么訓練提供的數據（預訓練語言模型）是可控的，所使用的架構（transformer架構）也是可控的，偏偏數據在架構上跑了一遍之后，所呈現出的結果與能力就徹底不可控了。

典型的「大語言模型涌現能力」有這么幾種：

上下文學習：GPT-3首次引入了這種能力，大語言模型不再需要額外的訓練或參數更新，而是可以通過對自然語言指令的上下文理解來執(zhí)行任務；指令遵循：在A任務上經過指令微調后的大模型，在被要求去執(zhí)行完全不同的、未曾出現過的B任務時，也能照A任務畫瓢，且完成得很好。逐步推理：采用「思維鏈」推理策略的大模型，相比小語言模型擁有對某一復雜問題的逐步解決能力。

這些能力不是單純靠數據投喂出來的，也不是序列到序列的transformer架構所提供的，大語言模型為什么能做到這些？沒人知道。目前對涌現能力，我們只能表述觀察到的奇特現象，卻完全無法理解它為什么會發(fā)生。

類似的問題還有，涌現是在多大參數規(guī)模出現的？哪些調整會影響能力的涌現？會涌現出哪些方向的能力？我們能控制它嗎？……

這些問題統統沒有答案。

因為搞不懂這一切究竟是如何發(fā)生的，所以我們管transformer架構下的大語言模型的運行模式，叫「黑盒模式」。

甚至變現優(yōu)秀的大語言模型，還會展現出很好的多模態(tài)能力。比如，當有人給GPT-4看了一張由雞塊拼成的類世界地圖的照片時，GPT-4不僅準確理解了圖片所指，它甚至還理解到了圖片背后作者的幽默感。

獨立學習，甚至能理解人類情感，是不是意味著AI可以有情感了？

它是不是有自我意識了？

我們是不是離AGI更進一步了？

一些人眼里，這畫面有點美。但是在另一些人眼里，這一點都不美。畢竟，開頭我們就說了，它是會故意說謊的。

而LLM之所以會說謊，就是因為這個沒人能解釋的涌現能力。

02 為什么會說謊

2018年圖靈獎得主、在深度學習領域的三位前沿巨頭之一的、「卷積神經網絡之父」、Yann LeCun（楊立昆），在2023年的一次演講中，為我們簡要描述了大語言模型說謊的底層邏輯。

本質上來說，今天所看到的LLM等生成式AI的學習能力，與人類、動物的學習能力是有差距的。注意，不是差別，而是差距。

上節(jié)提到過，基于指令微調+transformer架構，對于如今的AI訓練來說，數據投喂是第一步，針對數據的調理是第二步，為了讓海量的數據得到高效、精準的處理，我們有了transformer架構，這個架構的特點之一，是會捕捉指令中的依賴關系。

但，當捕捉不到所需內容時，transformer架構會用「預測」的方式，來補全缺失的部分。且，系統在進行預測時，并不是預測所有缺失單詞，而是僅預測最后一個標記。系統不斷預測下一個標記（token），然后將標記移入輸入，再預測下一個標記，再移入，再標記，不斷重復。

這種預測方式有一個專門的稱謂，「概率生成」，「token by token」。

當不必推理、預測，每一步都有事實可依時，結論無疑會精準且自然；但當每一步都有缺失、都需要預測時，它的最終結論，反而很可能在一個錯誤結論的基礎上，不斷錯上加錯。

所呈現的效果就是，大語言模型在一本正經的胡說八道、在說謊。

按照Yann LeCun的說法，「如果你將這些模型訓練在一萬億個 Token 或兩萬億個 Token 的數據上，它們的性能是驚人的。但最終，它們會犯很愚蠢的錯誤。它們會犯事實錯誤、邏輯錯誤、不一致性，它們的推理能力有限，會產生有害內容�！�

這個錯誤，無關乎大語言模型的產品力，而是其運行邏輯所決定的，它只要運行，必然有概率說謊。因為這一切都是基于transformer架構下的自回歸、自監(jiān)督、自學習，所以你甚至都無法得知，它會在哪個部分說謊。

說謊，是transformer架構下無法解決的問題。

所以，在很多人將transformer架構認為是AGI的實現路徑時，以Yann LeCun為首的一派，對此持否定態(tài)度。

我傾向于此判斷。我們無法把核心問題、關鍵領域，去放心交給一個會有概率自欺欺人的AI，尤其是你還不知道它到底在哪一節(jié)在說謊。

而倘若核心問題上無法被依仗，它就無法被視作AGI。

所以實現AGI，可能還得繼續(xù)換路線。

除非它不再說謊。

03 不說謊的大模型

針對基于transformer架構下大模型說謊的問題，Yann LeCun等人的解決辦法是，直接換路線。

他提出的方向，是旨在讓大模型能夠具備人類一樣的學習、推理、規(guī)劃能力。

舉例來說，人類在嬰兒時期，會先掌握非常多世界運作方式的基礎概念，比如物體永恒、世界是三維的、有機與無機的區(qū)別、穩(wěn)定的概念、重力的概念，有研究指出，嬰兒在9個月左右就會具備這些能力。

根據Yann LeCun團隊的研究，如果向 5 個月大的嬰兒展示下面左下角的場景，其中一個小汽車在平臺上，你將小汽車從平臺上推下來，它似乎漂浮在空中，5 個月大嬰兒不會感到驚訝。但是 10 個月大的嬰兒會非常驚訝，因為這個階段的嬰兒已經知道了物體不應該停留在空中，它們應該在重力下下落。

Yann LeCun認為，「我們應該用機器復制這種通過觀察世界或體驗世界學習世界運作方式的能力�！够�于此，他在2022年的論文《A Path Towards Autonomous Machine Intelligence》中，提出了「世界模型」（World Model）的概念。

世界模型下，大模型可以想象一個場景，并基于此場景的框定，去預測行動的結果。且這種場景框定和現今大模型的角色扮演還不一樣。讓大模型不再是基于數據進行概率預測，而是要讓其能理解現實空間、物理規(guī)律等世界運行的基礎概念。

最關鍵的，是其推理必須基于現實，而不是黑盒，必須可視、可預測，而不能無法解釋。從這個角度來講，大語言模型令人驚嘆的涌現能力，反倒可能是LLM誤入歧途？

應當指出的是，世界模型聽上去很美好，但這是一個很有遠見、同時也是極具難度的事情。一旦完成了從LLM到世界模型的跨越，或許我們在有生之年，就真的要見證AGI了。

同時，相比世界模型這種徹底換路線的方案，也有一些人在嘗試用基于LLM縫縫補補、想辦法讓它不說謊的方法解決問題。

比如最近，我國上海交大趙海教授團隊發(fā)布了首個宏觀模擬人類大腦全局機制的大語言模型，「BriLLM」，它強調以腦科學神經系統為靈感，用受大腦啟發(fā)的動態(tài)信號傳播，替代自注意力機制，旨在擺脫傳統transformer架構的某些限制。

「人類大腦無需擴容就能處理終身記憶，這才是 AGI 該有的樣子！」論文一作趙海教授指出。目前，該項目已入選上海交大「交大2030」計劃2025年度重點項目資助。

而這個BriLLM 模型與世界模型相似之處是，他們都強調模型中所有節(jié)點都具備100%可解釋性。

而無論最終結果如何，無論是「BriLLM」還是「世界模型」，他們的觀點似乎都意味著，針對LLM說謊的問題，前沿的解決方案都渴望先擺脫其涌現能力。

參考

[1]機器之心Pro.告別Transformer，重塑范式：上海交大首個「類人腦」大模型誕生.今日頭條.2025

[2]凌梓郡、Li Yuan.深度學習三巨頭之一 Yann LeCun：大語言模型帶不來 AGI.極客公園.2023

[3]珊瑚.大語言模型火爆的今天，我們?yōu)槭裁催�要擁抱世界模型？.腦極體.2025

[4]大語言模型、楊立昆等.百度百科.2025

‍‍‍

-原創(chuàng)不易 歡迎分享 未經授權 禁止轉載-

       原文標題 : AI學習筆記｜大語言模型為什么會說謊？