作者 李越

編輯 重點君

12月18日，2025騰訊ConTech大會暨騰訊科技Hi Tech Day正式播出，中國工程院院士、知名專家和學(xué)者、頭部科技企業(yè)創(chuàng)始人及知名投資人齊聚一堂，共同探討智能時代的機遇與挑戰(zhàn)。

在圓桌論壇環(huán)節(jié)，當主持人把話筒遞給階躍星辰首席科學(xué)家張祥雨，詢問關(guān)于模型架構(gòu)未來時，這位學(xué)術(shù)大牛拋出了一枚“深水炸彈”：現(xiàn)有的Transformer架構(gòu)無法支撐下一代Agent。

而就在不久前，斯坦福大學(xué)教授、“AI教母”的李飛飛在一次深度訪談中，直言不諱地指出：現(xiàn)有的Transformer架構(gòu)可能難以產(chǎn)生如相對論般的高級抽象。在未來五年內(nèi)，行業(yè)需要尋找一種新的架構(gòu)突破，讓AI從統(tǒng)計相關(guān)性跨越到真正的因果邏輯和物理推理。

作為GPT系列的核心締造者、前OpenAI聯(lián)合創(chuàng)始人Ilya Sutskever，也在近日的一場深度訪談中表達了相同的判斷：單純依賴堆疊算力和數(shù)據(jù)的“規(guī)�；瘯r代”正在遭遇瓶頸，行業(yè)正重新回歸注重底層創(chuàng)新的“研究時代”。

過去七年，從Google的BERT到OpenAI的GPT系列，再到橫空出世的DeepSeek，幾乎所有震撼世界的AI模型都基于Transformer。它讓英偉達的市值沖破天際，讓無數(shù)創(chuàng)業(yè)公司拿到巨額融資。

但現(xiàn)在，最懂它的人開始質(zhì)疑。

人類似乎又走到了一場范式革命的前夜。當ScalingLaw（尺度定律）的邊際效應(yīng)開始遞減，當萬億參數(shù)的模型依然不懂得如何像人類一樣在物理世界中行走，我們不得不面對這個問題：

原本能夠帶領(lǐng)我們通往AGI的Transformer，是否已經(jīng)觸碰到了天花板？

只會做題的優(yōu)等生

在2017年之前，AI自然語言處理（NLP）的主流方式還是RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）和LSTM（長短期記憶網(wǎng)絡(luò)）。它們處理信息的方式像一個勤懇的閱讀者，必須按順序一個字一個字地讀，效率低下且難以捕捉長距離的語義關(guān)聯(lián)。

2017年，Google論文《Attention Is All You Need》橫空出世，徹底改變了這一切。

Transformer架構(gòu)拋棄了循環(huán)，引入了“自注意力機制”。它不再按順序閱讀，而是能同時關(guān)注句子中的所有詞，并計算它們之間的關(guān)聯(lián)權(quán)重。

這一架構(gòu)讓并行計算成為了可能。只要有足夠的算力（GPU）和數(shù)據(jù)，模型就能展現(xiàn)出驚人的智能涌現(xiàn)能力。這就是后來的Scaling Law（尺度定律）。

Transformer與GPU的結(jié)合，就像是內(nèi)燃機遇上了石油，直接引爆了第三次工業(yè)革命級的人工智能浪潮。

然而，Transformer的歸根結(jié)底是一個極致的統(tǒng)計學(xué)家。

李飛飛指出：生成式AI最重大的突破之一，是發(fā)現(xiàn)了“下一個Token預(yù)測”這個目標函數(shù)。這聽起來很優(yōu)美，但也很局限。Transformer的核心邏輯是基于海量數(shù)據(jù)的概率預(yù)測。它讀了互聯(lián)網(wǎng)上所有的書，所以當你從懸崖跳下時，它知道下一句該接墜落，而不是飛翔。

Ilya也給出了一個比喻：目前的模型就像是為了贏得編程比賽而練習(xí)了一萬小時的學(xué)生。他背下了所有算法和技巧，見過所有可能的考題，通過數(shù)據(jù)增強覆蓋了所有盲區(qū)。他看起來很強，能拿高分，但本質(zhì)上只是在進行記憶提取。

相比之下，一個真正有天分的學(xué)生可能只練習(xí)了一百小時，但他擁有深刻的品味和直覺，具備真正的泛化能力。當前的Transformer模型就像那個死記硬背的優(yōu)等生，一旦遇到未曾見過的領(lǐng)域，其表現(xiàn)就會大打折扣。

Ilya認為，這正是因為模型缺乏某種特質(zhì)因素，讓它們學(xué)會了迎合評估標準，卻未真正掌握推理。

李飛飛也給出了類似判斷：“目前大多數(shù)生成式視頻中展現(xiàn)的水流或樹木擺動，并非基于牛頓力學(xué)計算，而是基于海量數(shù)據(jù)的統(tǒng)計學(xué)涌現(xiàn)。”

換句話說，AI只是看過無數(shù)次水流的樣子，并模仿了出來。它并沒有理解水分子之間的張力，也沒有理解重力加速度。

Transformer是一條完美的曲線擬合器，它能無限逼近現(xiàn)實，但無法推導(dǎo)出現(xiàn)實背后的那套規(guī)則。因為它只有相關(guān)性，沒有因果性。

長上下文的詛咒與慢思考的缺失

2025年，AI行業(yè)的一個明顯趨勢是長文本。但在張祥雨看來，這可能是一個陷阱：“我們今天的Transformer，不管號稱發(fā)布出來說支持到多少Token，基本上到8萬個就不可用了……即便上下文長度可以很長，但是測試基本上也都是8萬個就退化。”

這里所謂的退化，不是指模型記不住了，而是智商隨著文本變長而快速下降。

張祥雨揭示了背后的數(shù)學(xué)邏輯——Transformer的信息流是單向的：“所有的信息只能從第L-1層流向第L層，不管context是多長，模型的深度是不會增加的，它只有L層。”它的思考深度是固定的，不會因為書變厚了，腦子就變得更深邃。

這與Ilya所強調(diào)的價值函數(shù)類似。他指出，人類之所以高效，是因為我們擁有內(nèi)在的價值函數(shù)——你不需要下完一整盤國際象棋才知道自己丟了一個子是錯誤的，在中間過程就能獲得信號。

目前的Transformer缺乏這種機制。它必須把所有信息平鋪開來，每次做一個決定都要去翻閱這一生的流水賬 。類似于人類的快思考直覺反應(yīng)，脫口而出，卻無法進行慢思考。

Ilya認為，真正的智能不僅僅是預(yù)測下一個Token，而是在行動之前就能通過內(nèi)部的價值函數(shù)預(yù)判路徑的優(yōu)劣 。對于未來的Agent而言，它需要在無限流的世界中生存，如果繼續(xù)沿用Transformer這種要把所有記憶平鋪的架構(gòu)，不僅計算上不可持續(xù)，邏輯上也行不通 。

視覺失語與物理盲區(qū)

Transformer的危機，不僅僅局限于語言和邏輯，更在于它理解物理世界時的無力感 。

李飛飛認為：“僅靠語言不足以構(gòu)建通用人工智能。” 現(xiàn)有的Transformer在處理視覺任務(wù)時，往往簡單粗暴地將預(yù)測下一個詞移植為預(yù)測下一幀，導(dǎo)致生成的視頻缺乏時空一致性 。

這里還存在一個更深層次的矛盾：樣本效率。

Ilya在訪談中提出了一個問題：為什么一個青少年僅需十幾個小時就能學(xué)會開車，而AI卻需要海量的數(shù)據(jù)訓(xùn)練？

答案在于“先驗知識”。人類擁有進化賦予的強大先驗知識和直覺（即由情緒和本能構(gòu)成的價值函數(shù)）。我們不需要看過一百萬次車禍才能學(xué)會避讓，我們的生物本能讓我們對物理世界的危險有天然的感知。

何小鵬在大會上也表達了類似的洞察：書本無法教你走路，物理世界的技能必須通過交互習(xí)得。

目前的Transformer模型缺乏這種基于物理和生物直覺的世界模型。它們試圖通過窮舉所有數(shù)據(jù)來掩蓋對物理規(guī)律認知的匱乏。Ilya指出，預(yù)訓(xùn)練數(shù)據(jù)的紅利終將耗盡，數(shù)據(jù)是有限的。當你把規(guī)模擴大100倍后，單純的量變可能不再帶來質(zhì)變 。

物理AI需要的是一個內(nèi)置了3D結(jié)構(gòu)、因果邏輯和物理規(guī)律的“數(shù)字容器”，而不是一個只會基于概率猜測下一幀畫面的語言模型

回歸研究時代

如果Transformer可能是死胡同，那路在何方？

Ilya給出了宏觀的判斷：我們正在告別“規(guī)�；瘯r代”（2020-2025），重新回到“研究時代”（2012-2020）。這并不是歷史的倒退，而是螺旋式上升——我們現(xiàn)在擁有了巨大的算力，但我們需要尋找新的配方。

這個新配方，不會是單一技術(shù)的修修補補，而是一場系統(tǒng)性重構(gòu)。

李飛飛的World Labs致力于構(gòu)建具有“空間智能”的模型，建立看、做和想象的閉環(huán) 。未來的架構(gòu)極可能是一種混合體：內(nèi)核是高度抽象的因果邏輯（隱式），接口是豐富多彩的感官世界（顯式） 。

張祥雨透露了極具前瞻性的“非線性RNN”方向。這種架構(gòu)不再是單向流動，而是可以在內(nèi)部進行循環(huán)、反芻、推理。這正如Ilya所設(shè)想的，模型需要具備像人類一樣的“價值函數(shù)”，在輸出結(jié)果前進行多步的內(nèi)部思考和自我修正 。

Ilya認為，未來的突破在于如何讓AI擁有像人類一樣的“持續(xù)學(xué)習(xí)”能力，而非靜態(tài)的預(yù)訓(xùn)練成品。這需要更高效的強化學(xué)習(xí)范式，從單純的模仿（Student A）轉(zhuǎn)向具備直覺和品味的專家（Student B） 。

如果底層架構(gòu)發(fā)生劇變，整個AI產(chǎn)業(yè)鏈也將面臨一場洗牌。

目前的硬件基礎(chǔ)設(shè)施，從英偉達的GPU集群到各種通訊互聯(lián)架構(gòu)，很大程度上是為Transformer量身定做的。

一旦架構(gòu)從Transformer轉(zhuǎn)向非線性RNN或者其他圖算結(jié)合的模式，專用芯片可能會面臨挑戰(zhàn)，而通用GPU的靈活性將再次成為護城河。

數(shù)據(jù)的價值也將被重估。視頻數(shù)據(jù)、物理世界的傳感器數(shù)據(jù)、機器人的交互數(shù)據(jù)，將成為新的石油。

結(jié)語

訪談的結(jié)尾李飛飛說了一段意味深長的話：“科學(xué)是多代人思想的非線性傳承。”

我們往往喜歡單一英雄神話，比如是牛頓發(fā)現(xiàn)了物理定律，是愛因斯坦發(fā)現(xiàn)了相對論，是Transformer開啟了AI時代。但實際上，科學(xué)是一條河流，無數(shù)支流匯聚、改道、回流。

Transformer是一座豐碑，但它或許不是終點。它讓我們看到了智能的曙光，但在因果推理、物理理解和無限上下文上的先天缺陷，注定只是通往AGI道路上的一塊墊腳石，而不是最終的鑰匙。

李飛飛說行業(yè)需要尋找新的架構(gòu)突破，Ilya說Scaling時代已過，張祥雨說Transformer無法支撐下一代Agent，并非全盤否定它的歷史功績，而是在提醒我們：不要在舒適區(qū)里沉睡。

未來五年，我們或許會看到Transformer逐漸退居幕后，成為一個子模塊，而一種全新的、融合了空間智能、具身交互和深度邏輯推理的新架構(gòu)將走上臺前。

對于身處其中的科技公司而言，這既是巨大的挑戰(zhàn)，也是再一次難得的機遇。

       原文標題 : Transformer能否支撐下一代Agent？