IT之家 11 月 10 日消息，谷歌研究院于 11 月 7 日發布博文，為攻克 AI 模型在持續學習新知識時遇到“災難性遺忘”難題，介紹了嵌套學習（Nested Learning）全新機器學習范式。

當前的大語言模型盡管強大，但其知識仍局限于預訓練數據或有限的上下文窗口，無法像人腦一樣通過“神經可塑性”（Neuroplasticity，指大腦能夠根據經驗、學習和環境變化來調整自身結構和功能的能力）持續學習新技能而不遺忘舊知識。

若直接(jie)用新數據更(geng)新模(mo)型(xing)，往往會導致“災難性(xing)遺忘”(Catastrophic Forgetting)，即(ji)學會新任務(wu)后，舊任務(wu)的性(xing)能(neng)會嚴重下降。為解決(jue)這一根本(ben)性(xing)挑戰(zhan)，谷歌研究院的研究人員提出了全新的解決(jue)思路。

在發表于 NeurIPS 2025 的論文中，谷歌推出(chu)了(le)“嵌套學習”（Nested Learning）范式(shi)。該范式(shi)從根(gen)本上統(tong)一了(le)模型架構與優化算法這兩個傳(chuan)統(tong)上被(bei)分開處理的概念。

該范式(shi)認為，一(yi)個復雜的(de)(de)(de)機器學習(xi)模型，其本質是(shi)一(yi)系列相互嵌套或(huo)并(bing)行的(de)(de)(de)優化(hua)問題，每個問題都有(you)自己獨立的(de)(de)(de)“上下文流(liu)”和(he)更(geng)新速率。這一(yi)視(shi)角(jiao)揭示了一(yi)個全新的(de)(de)(de)設計維(wei)度，允許研究人(ren)員構建計算深度更(geng)深的(de)(de)(de) AI 組件，從而有(you)效緩解災難性遺忘問題。

基于嵌套學習范(fan)式，研(yan)究團隊(dui)提出了兩項(xiang)具(ju)體的(de)技術改進：

• 第一是“深度優化器”（Deep optimizers），通過將優化器本身也(ye)視為一個(ge)學習模塊，并改進其(qi)底層目標(biao)函數(shu)，使其(qi)對不(bu)完美的數(shu)據(ju)更(geng)具(ju)魯棒性（一個(ge)系統(tong)或(huo)過程(cheng)在面對不(bu)確定(ding)性、變化、錯誤輸入或(huo)異(yi)常(chang)情況時，仍能保持其(qi)功能和穩(wen)定(ding)性能的能力(li)）。

• 第二是“連續體內存系統”（Continuum Memory Systems，CMS），它將模型(xing)的(de)(de)(de)內存(cun)(cun)視為(wei)一個由多個不(bu)同更(geng)新頻率的(de)(de)(de)模塊組成的(de)(de)(de)光(guang)譜，從短期記憶(yi)平滑過渡到長期記憶(yi)，創建了一個更(geng)豐富(fu)、更(geng)高效的(de)(de)(de)持續學習(xi)內存(cun)(cun)體(ti)系。

為了驗(yan)證上(shang)述理論，研究(jiu)團隊(dui)設計并實(shi)現了一款名為“Hope”的概念(nian)驗(yan)證模型。Hope 是一種基于 Titans 架構的自(zi)修改循環網(wang)絡，它深度集成了連續體(ti)內(nei)存系統(tong)（CMS），能(neng)夠通過(guo)(guo)自(zi)我參(can)照的過(guo)(guo)程優化自(zi)身內(nei)存，從而(er)實(shi)現近乎(hu)無限層級(ji)的上(shang)下文(wen)學習。

在一系列公開(kai)的語言建模和常識推理任務中，Hope 架(jia)構的困(kun)惑度(du)更低，準確性顯著高于現(xian)代(dai)循環模型和標準 Transformer。

尤(you)其在考(kao)驗模型長(chang)文(wen)本記(ji)憶能(neng)力的(de)“大海撈針”（Needle-In-Haystack，NIAH）測試(shi)中(zhong)，Hope 展(zhan)現出卓越(yue)的(de)內(nei)存管理(li)能(neng)力，證明連續體內(nei)存系(xi)統(tong)是處理(li)超長(chang)信息序列的(de)有效方案，為(wei)實現真正能(neng)“溫故知新”的(de) AI 鋪平了道路。

NIAH 是一種用于評測大型(xing)語言(yan)模型(xing)長文本(ben)理解(jie)和信息檢(jian)索能力的基準測試，要求模型(xing)從(cong)非常長的文本(ben)（草堆(dui)，Haystack）中精準地找出并回答一個(ge)特定的信息點(dian)（針，Needle）。

IT之家附上參(can)考地址

廣(guang)告聲明(ming)：文內(nei)含有(you)的對外(wai)跳轉(zhuan)鏈接(jie)（包(bao)括不限(xian)于超鏈接(jie)、二維碼(ma)、口令(ling)等形式），用(yong)于傳遞(di)更多信息，節省甄選時(shi)間，結果僅供參考，IT之家所有(you)文章均包(bao)含本聲明(ming)。