你知道有個全球年度詞匯叫“腦損傷”（Brain Rot）嗎？特指(zhi)那些因人(ren)長(chang)期接觸碎片化、低價值網絡(luo)信息(xi)而(er)逐(zhu)漸(jian)變得記憶紊亂、注意力下降的(de)情況(kuang)（俗稱(cheng)碎片化垃(la)圾(ji)信息(xi)刷(shua)多了(le)）。在 2024 年，這個(ge)詞一度(du)被選為牛津年度(du)詞匯。

然鵝(e)！最新研究結論顯示，AI 也一樣。大模(mo)型(xing)灌多(duo)了垃圾內容也會變蠢(chun)降智腦損傷，而且(qie)后面變不回來了。

就在(zai)最近，幾個 AI 研(yan)究(jiu)者找來了(le)幾個月的高流行但低價值的 Twitter 數據（現??），統統“喂(wei)”給大模型后發現：

• 模型推理能力下降了 23%；

• 模型長上下文記憶下降了 30%；

• 模型性格測試顯示，其自戀和精神病態的現象激增。

更可怕(pa)的是，即使后來又在干(gan)凈、高質(zhi)量的數據上進(jin)行重(zhong)新訓練(lian)，這(zhe)些(xie)已經造成的損傷，無法完全(quan)修復。

好嘛，本來以為只(zhi)是簡(jian)單的“輸入壞數據 → 輸出壞數據”（種瓜得瓜也(ye)不難(nan)理解(jie)），結果你告訴我(wo)一次錯誤就會造成永久性的認知漂移。（os：AI 貌(mao)似(si)比人類更(geng)慘(can)？）

細思極恐(kong)，“這可能是 2025 年最(zui)令人不安的 AI 論(lun)文(wen)了”。

以及諸多討論之中，“垃圾進垃圾出”這一(yi)計算機習語也再度被頻頻提(ti)及（doge），堪稱“計算機第一(yi)性原理”了。

所以這個研(yan)究怎么進行的？又究竟說了(le)什么？

提出并驗證“LLM 腦損傷假說”

概括而(er)言，論(lun)文想要探究(jiu)一個核心問題：

大語言模型(xing)（LLM）持續接(jie)觸垃圾數據(ju)后(hou)，是否(fou)會像人類一樣出現認(ren)知衰退？（即(ji)“LLM 腦損傷假說”）

要想搞清這個問題，第一步就是要定義：對于 LLM 來說，什么是“垃圾數據”？

之(zhi)前的研究僅關注“惡意數據(ju)”（如后(hou)門、有毒(du)的文(wen)(wen)本等），而(er)這項(xiang)研究聚焦于生活中(zhong)更普遍的“非惡意低(di)質(zhi)(zhi)量(liang)數據(ju)”，也就是(shi)短平快(kuai)的熱門推文(wen)(wen)、標題黨內容等，以此來(lai)填補“日常化數據(ju)質(zhi)(zhi)量(liang)如何影響 LLM 認知(zhi)”這一空(kong)白(bai)領(ling)域。

具體(ti)而(er)言，研究人員從(cong)兩個(ge)維(wei)度（避(bi)免(mian)單一標準偏(pian)差(cha)）來定義“垃(la)(la)圾數據(ju)”，這些數據(ju)均源自(zi)??平臺上的(de)公開內容，而(er)且通過讓(rang)“垃(la)(la)圾組”與“對照組”的(de) token 數量一致來排除數據(ju)量差(cha)異的(de)干擾：

• M1（參與度維度）：把“短文本(ben)(ben) + 高(gao)熱度”的內(nei)容歸為(wei)垃圾(ji)數(shu)據(ju)，具(ju)體是指長度小于(yu) 30 token+ 點贊 / 轉(zhuan)發 / 回復(fu)大于(yu) 500，然后把“長文本(ben)(ben) + 低熱度”定義為(wei)對照數(shu)據(ju)。

• M2（語義質量維度）：用(yong) GPT-4o-mini 結合人工驗證，把含(han)標題黨語言（如“WOW”“TODAY ONLY”）、陰(yin)謀論、無論斷依據的文(wen)本歸(gui)為垃圾數據；對照(zhao)組則是事實(shi)準(zhun)確、有教育(yu)價值或深度分析的內(nei)容，比(bi)如含(han)專業知識、邏輯(ji)推理的推文(wen)。

基于上(shang)述兩類數據，然后進行(xing)模型訓(xun)練。

研究人員選了 4 個不同的大語言模型（Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct、Qwen3-4B-Instruct），給每個(ge)模型(xing)分別“喂”這兩類數據(ju)，讓它們持續預訓練。

等預(yu)訓練結(jie)束(shu)，接(jie)著讓(rang)所有模型(xing)統一再(zai)進行指令(ling)微調，以此來確保模型(xing)最后輸出(chu)的“垃圾內容(rong)”不是因為格式(shi)問(wen)題導致(zhi)的（排除(chu)其他因素，只留下“認知損傷”這一種可能）。

然后(hou)，研(yan)究人員(yuan)從四(si)個認知維度(du)來測試這些大模型的(de)核心能力(li)：

• ARC（檢測推理能力）：基于網格的視覺(jue)程序歸納謎題(ti)，用于測試概念抽象(xiang)能力。

• RULER（檢測記憶與多任務處理能力）：用于評估長(chang)(chang)上下文(wen)理(li)解能(neng)力，以及(ji)從長(chang)(chang)上下文(wen)中檢(jian)索(suo)多個查(cha)詢結果。

• HH-RLHF&AdvBench （檢測道德規范）：測(ce)試大語言模型是否會遵循(xun)有害指(zhi)令，評估其安全(quan)性。

• TRAIT（檢測 AI 人格特質）：經過心理測(ce)量學驗證(zheng)的(de)小型(xing)人(ren)類問卷，用于評估模型(xing)類似人(ren)類的(de)人(ren)格傾向。

結果(guo)得(de)出了以下發(fa)現 ——

真?垃圾進垃圾出！且損傷不可逆

首先，大(da)模(mo)型確(que)實和人類(lei)一(yi)樣存在“腦損傷（Brain Rot）”問(wen)題。

整體上(shang)(shang) M1 和(he) M2 兩(liang)種維度上(shang)(shang)的(de)“垃(la)圾數(shu)據”均(jun)會導致模型(xing)認知下降，但需要(yao)注意(yi)的(de)是 ——M1 所(suo)帶來的(de)負面(mian)(mian)影響更為顯著，尤其在安全性(xing)和(he)人格層面(mian)(mian)（M1 會導致安全性(xing)評分(fen)下降，同時自(zi)戀 / 精神病特質明顯增強）。

而且，這一損害明顯存在“劑量效應”，即垃(la)圾數據攝入越多，AI 認知損(sun)傷越嚴(yan)重(zhong)。

至于導致 AI 認知受損的背后原因，研究人員也做了一番探查。結果發現，主要原因竟是“思維跳躍”（俗稱 AI 懶(lan)得一步(bu)步(bu)思考(kao)）。

具體而言，研究人員通(tong)過分析 ARC 題的(de)錯(cuo)誤答案，發現失敗多源于模型(xing)要么直接給答案不(bu)解釋，要么規劃(hua)了(le)推(tui)理步驟卻跳過關鍵環節（如(ru)解數學(xue)題漏(lou)了(le)公式(shi)推(tui)導）。

尤其是(shi) M1 組，70% 以上的錯誤都是(shi)“無(wu)思(si)考直接回(hui)答(da)”，就好像(xiang)人類(lei)刷多了短視頻(pin)后(hou)“不愿意再深度思(si)考”。

與此(ci)同時，相比人類可以通過其(qi)他(ta)措施來緩解類似的認知下(xia)降問題，AI 卻對此(ci)“束手(shou)無策”。研究嘗試了兩(liang)種修(xiu)復(fu)方法(fa)，結果都無法(fa)讓其(qi)恢復(fu)如初：

其一是外部反思。研究人(ren)員用 GPT-4o-mini 給受損(sun)模(mo)型(xing)提錯(cuo)誤(wu)(wu)反(fan)饋，雖然(ran) 6 輪下來“思維跳躍”這一錯(cuo)誤(wu)(wu)誘因(yin)減少了(le)，但(dan)推理準確率(lv)仍差(cha)基(ji)線 17.3%。如果換成讓模(mo)型(xing)自我反(fan)思糾錯(cuo)，則模(mo)型(xing)還會因(yin)為“認知不足”而判(pan)斷錯(cuo)誤(wu)(wu)，導致(zhi)誤(wu)(wu)差(cha)更高。

其二是大規模微調。研究人員(yuan)把指令微調數據從 5k 增至 50k，雖(sui)然修(xiu)復(fu)效果優于(yu)“持續對照(zhao)數據預訓練(lian)”，但即使使用 4.8 倍(bei)于(yu)垃(la)圾數據量的指令數據，仍無法恢(hui)復(fu)基(ji)線性能。

這(zhe)說明，即(ji)使(shi)事后進(jin)行大量指令微調(diao)或使(shi)用高質量數(shu)據(ju)進(jin)行重新(xin)訓練(lian)，也(ye)都無(wu)法完全恢復模型的初(chu)始性能。

一句(ju)話，只能緩解(jie)無法根治。

整體而言(yan)，這項(xiang)研(yan)究給行業(ye)帶(dai)來(lai)了以下(xia)幾點(dian)新的啟發(fa)：

1、首次把“持(chi)續預(yu)訓練的數據篩(shai)選(xuan)”歸為“訓練時安全問題(ti)”，提醒行業不能只(zhi)關注“訓練后(hou)對齊”（如(ru)安全微調(diao)），更要在源頭把控數據質(zhi)量。

2、給大(da)模型加(jia)上“認知體檢”非常(chang)重(zhong)要，建議部署大(da)模型時(shi)使用 ARC、RULER 等基準測試 AI 認知，避(bi)免(mian) AI 長期接觸低質(zhi)量數(shu)據導(dao)致(zhi)能力退(tui)化(hua)。

3、類似“熱度”這(zhe)樣的(de)指標比文本長度更(geng)能(neng)判斷數(shu)據(ju)質量，未來篩選訓(xun)練數(shu)據(ju)時(shi)，可優先排除(chu)“短 + 高傳(chuan)播(bo)”的(de)碎片化內容，尤其是社交平臺數(shu)據(ju)。

背后團隊：華人含量爆表

最后說一下這項研究的背后團(tuan)隊 —— 一共 8 人，其中 7 人為華人。

兩位共同一作分別為 Shuo Xing 和 Junyuan Hong（兼通訊作者）。Shuo Xing（邢朔），目前(qian)(qian)是得克薩斯 A&M 大(da)(da)學計算機科學博士(shi)，寧夏大(da)(da)學本科、南開大(da)(da)學碩士(shi)。研(yan)究方向為多模(mo)態大(da)(da)語言模(mo)型、機器學習、可(ke)信人工(gong)智能、具身智能等，剛好目前(qian)(qian)也在谷歌(ge)實習（方向為多模(mo)態基礎模(mo)型）。

Junyuan Hong，個人主(zhu)頁顯(xian)示(shi)即將(jiang)赴任新國立電子與計算機工程系助理教(jiao)授，之前(qian)曾在麻省總(zong)醫院和哈佛(fo)醫學(xue)院工作。

更早之前，他還在 IFML 機器學習(xi)基礎研究所從事(shi)博(bo)士(shi)后研究，一直(zhi)對健康和可信人工智(zhi)能感興趣。

另一位通訊作者是 Zhangyang Wang，他之前是(shi)德(de)(de)克薩(sa)斯(si)大學奧斯(si)汀分校錢德(de)(de)拉家族(zu)電氣(qi)與計(ji)算機工程系（簡(jian)稱 Texas ECE）的終身副教授。

從 2024 年(nian) 5 月開始，他選擇暫時離開學(xue)界，全(quan)職出任全(quan)球頂尖(jian)量化交(jiao)易公司 XTX Markets 的研究總(zong)監(jian)，主導算法交(jiao)易與深度(du)學(xue)習交(jiao)叉領域的研究工作。

個人主頁顯示(shi)，他(ta)還是中國科學(xue)技術大學(xue)校友，2012 年(nian)獲得該校電(dian)子信息系統學(xue)士(shi)學(xue)位。

此外，兩位核心貢獻者分別為 Yifan Wang 和 Runjin Chen。Yifan Wang，現普渡大學(xue)四年級博士生，論文(wen)唯一(yi)外國(guo)作(zuo)者 Ananth Grama 是(shi)(shi)其指導老師(shi)。本科(ke)畢業于(yu)中國(guo)科(ke)學(xue)技術大學(xue)電子信息工程(cheng)系，同時輔(fu)修人工智能專(zhuan)業。自本科(ke)埋下對 AI 的(de)好奇心(xin)后(hou)，目前(qian)對大模型(xing)后(hou)訓練、如何(he)提升模型(xing)訓推效率感興趣。（hhh，頭像一(yi)看就(jiu)是(shi)(shi)標準(zhun)的(de) 90 后(hou)或 00 后(hou)）

Runjin Chen，目前(qian)是(shi)德克薩斯(si)大(da)學(xue)奧(ao)斯(si)汀分(fen)校二年(nian)級博士生，導師為(wei)(wei)前(qian)面(mian)提到的 Zhangyang Wang 教授(shou)。本(ben)碩均畢業于上海交通大(da)學(xue)，而且她從今年(nian) 3 月(yue)起擔(dan)任(ren) Anthropic 研究(jiu)員。個人(ren)研究(jiu)方向(xiang)為(wei)(wei)大(da)語言(yan)模型的安全、對(dui)齊和推理。

其余三位支持者分別為 Zhenyu Zhang、Ananth Grama 和 Zhengzhong Tu。Zhenyu Zhang，目前是德(de)克薩斯(si)大學奧斯(si)汀分校電(dian)氣與計算機工(gong)程(cheng)系在讀博士(shi)，導師(shi)也是前面提到的 Zhangyang Wang。本碩(shuo)均畢業于中國科學技術大學，研究興趣主要集中在生(sheng)成式模型的訓推(tui)方面。

Ananth Grama，這項研究(jiu)唯一的(de)外國作者。目前是普渡大學信息科學中心副主任，同時也是該校計(ji)(ji)算(suan)機(ji)(ji)科學領域的(de)杰出榮譽教授。他的(de)研究(jiu)重點為(wei)并(bing)行和分布式計(ji)(ji)算(suan)，致(zhi)力于將其應用(yong)于復雜物理系(xi)統的(de)建模、設(she)計(ji)(ji)、先進制造、機(ji)(ji)器學習等領域。

Zhengzhong Tu，目前是得克薩(sa)斯 A&M 大學計算機科學與(yu)工程系助理教授(shou)，也(ye)是論文(wen)一作邢朔的(de)導師。同時，他還兼任(ren)該校可信、自主(zhu)、以人為本與(yu)具身(shen)智能研究(jiu)組(zu)（TACO-Group）負責人一職。個人主(zhu)頁顯(xian)示，他至今已發表 30 多篇國際(ji)期刊 / 會(hui)議論文(wen)，而且(qie)曾(ceng)擔任(ren)超 18 個國際(ji)期刊 / 會(hui)議的(de)技(ji)術(shu)審稿人。

整體(ti)看下來，這又是(shi)一(yi)場典型(xing)的老(lao)師帶學生、同事帶同事的合作典范。

One More Thing

其實“垃圾進垃圾出”這一習語，計算機(ji)早期時代就有了。

十九世紀(ji)，計(ji)算(suan)機(ji)先驅查爾斯?巴貝奇（曾提出著(zhu)名差分機(ji)與(yu)分析機(ji)的(de)設計(ji)概念）就(jiu)意識到(dao)了這(zhe)條編(bian)程的(de)基本原則：

我(wo)曾兩度被(bei)問(wen)到(dao)：“請問(wen)巴貝(bei)奇先生，如果給機器輸入錯誤的數(shu)字，它(ta)能得(de)(de)出正確的結(jie)果嗎？”我(wo)完全想不透，思(si)維何等混亂的人(ren)才問(wen)得(de)(de)出這種問(wen)題。

瞧瞧他(ta)的用詞，只有思緒混(hun)亂之(zhi)人才會(hui)對這個問題(ti)感到疑惑(huo)，觀點不(bu)可謂不(bu)鮮明。

在這(zhe)之后，在一篇 1957 年介紹(shao)美國陸軍數學(xue)家所(suo)做(zuo)的(de)計算機工作的(de)報紙文章中，其中一位軍隊專家也曾(ceng)表示：

計算機自己(ji)不(bu)能思考，因此輸(shu)入(ru)粗劣(lie)的數據將不(bu)可避免(mian)地產生錯誤的輸(shu)出。

后來相關理論不斷被提出、被熱議，并逐漸誕生了“Garbage in, garbage out”這一習語。

實際上，在前(qian) AI 的時代，這句話是(shi)計(ji)算機(ji)原(yuan)理也是(shi)一(yi)種“以機(ji)為鏡”的哲學思考，對于計(ji)算機(ji)和(he)人類，物種不同，但殊途同歸。

但 AI 開始(shi)進入智能涌現(xian)階段(duan)后，這(zhe)個命題(ti)變得(de)更加值得(de)思考。現(xian)階段(duan)的(de)(de)大模(mo)型垃圾喂多了(le)“腦損傷”后難以修復…… 那(nei)有沒有方(fang)法和手段(duan)改變？而(er)人(ren)類發展進化歷(li)史里充滿(man)了(le)“浪子回頭”、“痛改前(qian)非”的(de)(de)故事，又是(shi)否代表著(zhu)另一種高級的(de)(de)智能機制，幫(bang)助人(ren)類個體(ti)實(shi)現(xian)自(zi)我革新(xin)和凈(jing)化？

你說呢……

項目主頁：

論文：

參考鏈接：

[1]

[2]

本(ben)文來自(zi)微(wei)信公眾號(hao)：，作者：一水

廣告聲明：文內含有的對外跳轉鏈(lian)接（包括(kuo)不限于(yu)超鏈(lian)接、二維碼、口(kou)令等形式），用(yong)于(yu)傳遞更多(duo)信息(xi)，節(jie)省甄選時間，結果(guo)僅供參考，IT之家所有文章(zhang)均(jun)包含本(ben)聲明。