此技術(shù)有望讓推理時(shí)延大幅降低，成本也跟著減少，推理效率更是能大幅提升，堪稱 AI 超級(jí)加速器。

看組數(shù)據(jù)，國(guó)外那些主流 AI 模型，一秒能輸出 200 多個(gè)詞，延遲低到只有 5 毫秒，快得讓人以為開了掛。而國(guó)內(nèi)，大多一秒連 60 個(gè)詞都費(fèi)勁，延遲能飆到 50-100 毫秒。

這一對(duì)比，差距就出來了。所以，解決推理效率和用戶體驗(yàn)這兩大難題是非常迫切的。

那 UCM 到底是啥狠角色？簡(jiǎn)單來說，它就是 AI 的 "記憶管家"。AI 思考時(shí)會(huì)記一堆 "臨時(shí)筆記"（業(yè)內(nèi)叫 KV Cache），UCM 能把這些筆記分好類、排好序，需要的時(shí)候一秒就能調(diào)出來，不用再瞎琢磨浪費(fèi)時(shí)間。這么一來，推理上下文窗口擴(kuò)大了，高吞吐、低時(shí)延的推理體驗(yàn)就這么實(shí)現(xiàn)了，每 Token 推理成本也降低了，可謂一箭三雕。

從具體技術(shù)實(shí)現(xiàn)路徑來看，它有個(gè) “全局前綴緩存” 的本事，就像你跟 AI 嘮嗑時(shí)，它不用每次都從頭回憶，直接調(diào)取之前的聊天記錄，首條回復(fù)的延遲最多能砍 90%。而且它還特聰明，能把重要的記憶存在不同的 “抽屜” 里，處理長(zhǎng)文本時(shí)，每秒能搞定的字?jǐn)?shù)是原來的 2-22 倍，能記住的東西也一下子多了 10 倍不止。

這技術(shù)已經(jīng)在銀聯(lián)試過水了。銀聯(lián)的 “客戶之聲” “營(yíng)銷策劃” “辦公助手” 這三個(gè)場(chǎng)景，用上 UCM 之后效果立竿見影。

同時(shí)，隨著 AI 應(yīng)用越來越深入各種實(shí)際場(chǎng)景，處理的文字量瘋了一樣漲。就說火山引擎，去年 5 月每天處理的字?jǐn)?shù)才 16.4 萬億，今年直接飆了 137 倍，背后的服務(wù)器維護(hù)、電費(fèi)都是天文數(shù)字。想讓 AI 用著順，就得砸更多錢搞算力，這平衡太難找了，整個(gè)行業(yè)都在犯愁。

面對(duì)此局，華為宣布 9 月要把 UCM 開源。到時(shí)候先在魔擎社區(qū)放出來，之后再給其他主流社區(qū)，還會(huì)共享給業(yè)內(nèi)所有 Share Everything（共享架構(gòu)）存儲(chǔ)廠商和生態(tài)伙伴。

華為希望行業(yè)里更多企業(yè)一起努力，推動(dòng)推理框架、標(biāo)準(zhǔn)的形成。