Titans 是具體的架構(gòu)（工具），而 MIRAS 是推廣這些方法的理論框架（藍圖）。它們共同推進了測試時記憶的概念，即人工智能模型能夠在運行過程中，無需專門的離線重新訓(xùn)練，就能通過整合意外信息來維持長期記憶。

MIRAS 框架實現(xiàn)了向?qū)崟r自適應(yīng)的重要轉(zhuǎn)變。該架構(gòu)并非將信息壓縮成靜態(tài)狀態(tài)，而是隨著數(shù)據(jù)流的流入主動學(xué)習(xí)并更新自身參數(shù)。這一關(guān)鍵機制使模型能夠即時將新的、具體的細節(jié)融入其核心知識中。

泰坦：快速學(xué)習(xí)新知識

雖然注意力機制擅長精確的短期記憶，但 Titans 引入了一種新型的神經(jīng)長期記憶模塊。該模塊以深度神經(jīng)網(wǎng)絡(luò)（一個多層感知器 ）的形式運行。這種記憶模塊顯著提升了模型的表達能力，使其能夠在不丟失重要上下文的情況下概括大量信息。

值得注意的是，Titans 并非被動地存儲數(shù)據(jù)，而是主動學(xué)習(xí)如何識別并保留連接整個輸入數(shù)據(jù)中各個標(biāo)記的重要關(guān)系和概念主題。

在 Titans 的背景下，當(dāng)模型檢測到它當(dāng)前記憶的內(nèi)容與新輸入告訴它的內(nèi)容之間存在較大差異，會產(chǎn)生一個“驚喜指標(biāo)”。

該模型使用這種內(nèi)部誤差信號，使得 Titans 架構(gòu)能夠選擇性地僅使用最新穎和打破上下文的信息來更新其長期記憶，從而保持整個過程的快速和高效。

模型還分別使用動量（捕捉相關(guān)后續(xù)信息）和遺忘（允許模型丟棄不再需要的信息）兩個因素來改進機制。

MIRAS：序列建模的統(tǒng)一視圖

MIRAS 的獨特性在于它看待人工智能建模的方式。它把不同的架構(gòu)視為解決同一問題的不同途徑：高效地將新信息與舊信息相結(jié)合，同時又不遺漏關(guān)鍵概念。

MIRAS 通過四個關(guān)鍵設(shè)計選擇定義了序列模型：

1. 內(nèi)存架構(gòu)：存儲信息的結(jié)構(gòu)（例如，向量、矩陣或像 Titans 中的那種深度多層感知器）。

2. 注意力偏差：模型優(yōu)化的內(nèi)部學(xué)習(xí)目標(biāo)，決定了模型優(yōu)先考慮的內(nèi)容。

3. 記憶保持閘門：記憶調(diào)節(jié)器。MIRAS 將“遺忘機制”重新解釋為特定的調(diào)節(jié)形式，以平衡新知識的學(xué)習(xí)和對過去知識的保留。

4. 內(nèi)存算法：用于更新內(nèi)存的優(yōu)化算法。

利用 MIRAS，研究人員創(chuàng)建了三個特定的無注意力模型：

1. YAAD：采用更溫和的數(shù)學(xué)懲罰（ Huber 損失 ）來處理錯誤，因此不會對個別問題反應(yīng)過度。這使得模型在輸入數(shù)據(jù)混亂或不一致的情況下也更加穩(wěn)健。

2. MONETA：該模型探索了使用更復(fù)雜、更嚴格的數(shù)學(xué)懲罰方法。

3. MEMORA：該模型致力于通過強制其內(nèi)存像嚴格的概率映射一樣運行，來實現(xiàn)最佳的內(nèi)存穩(wěn)定性。通過這種約束，它確保每次更新內(nèi)存狀態(tài)時，變化都得到控制和平衡。但是，所有成功的現(xiàn)有序列模型都依賴均方誤差 (MSE) 或點積相似度來確定其偏差和保留率。這種依賴性可能使模型對異常值敏感，并限制其表達能力。

實驗結(jié)果

在標(biāo)準(zhǔn)語言建模數(shù)據(jù)集和零樣本推理任務(wù)中，模型始終表現(xiàn)出更高的準(zhǔn)確率。

消融實驗表明，比較相同大小但深度不同的長期記憶模塊時，記憶深度更深的模塊在語言建模中始終表現(xiàn)出更低的困惑度。此外，它們還展現(xiàn)出更好的擴展性，即使序列長度顯著增加，也能保持性能。

在要求對分布在極長文檔中的事實進行推理的 BABILong 基準(zhǔn)測試中，Titans 的性能優(yōu)于所有基線模型，包括像 GPT-4 這樣規(guī)模龐大的模型，盡管其參數(shù)量要少得多。Titans 還進一步證明了其能夠有效地擴展到超過 200 萬個 token 的上下文窗口大小。相關(guān)人員表示，這項研究為新一代序列模型打開了大門，這些模型將循環(huán)神經(jīng)網(wǎng)絡(luò)的高效性與長上下文人工智能時代所需的表達能力相結(jié)合。

參考資料：

https://research.google/blog/titans-miras-helping-ai-have-long-term-memory/