大语言模型也可能患上了“脑腐”!

书接上回,我们继续聊AI。

昨天的文章中,自留地君分享了麻省理工学院等学校的学者合作撰写的,那篇《使用 ChatGPT 时你的大脑状态:在借助 AI 助手完成论文写作任务时的认知负债累积》。

在那篇文章中,作者提出了“大语言模型短期提升人的产出效率,但存在潜在的长期认知成本,尤其在学习环境中可能累积成“认知负债””这个重要的议题。

今天,我们接着聊另外一篇很有意思的文章,这篇文章是德州农工大学、得克萨斯大学奥斯汀分校,以及普渡大学的学者合作完成的,题目是《大语言模型也可能患上了“脑腐”!》(LLMS can Get “BRAIN ROT”!)。

https://llm-brain-rot.github.io

在这篇文章中,作者试图回答这样一个核心问题:

LLM 自身是否会因为持续预训练/微调时吸收大量“垃圾”网络文本(例如,高度流行但语义浅薄的社交媒体内容)而出现“能力退化”(analogue of brain rot)?

换言之,数据质量是否会成为导致 LLM 能力下降的因果因素? 

研究人员用 Twitter/X 语料构造“junk”(垃圾)与“control”数据集,通过两种度量构造干预(M1:基于参与度/popularity 与短文本;M2:基于语义质量/风格),在 token 规模与训练操作相匹配的条件下对多种 LLM 进行持续预训练/再训练(controlled continual pretraining),然后,研究人员评估了其在推理、长上下文理解、安全性等任务的性能。

研究结果发现:

1、与对照组相比,持续在“junk”(垃圾)语料上再训练的模型在多项认知类基准上出现显著下降(效果量 Hedges’ g > 0.3,多项任务上的跌幅显著),包括推理能力、长文理解、安全性指标,甚至在某些指标上出现“暗黑人格”倾向(如语言上呈现更高的自恋/psychopathy 评分)。

例如,在 M1 干预下,ARC-Challenge(含 chain-of-thought)从 74.9 降至 57.2;RULER-CWE 从 84.4 降至 52.3 随着“junk”比例上升。

2、错误分析揭示的主要 failure mode 是 “thought-skipping”(推理链中断或跳过),模型倾向于截短/省略复杂的链式推理,从而导致错误率上升。 

3、缓解尝试(例如,用干净数据做 instruction tuning 或更大量的高质量数据继续训练)可以部分恢复性能,但不能完全回到基线,暗示存在“表征漂移(representational drift)”,而非仅仅是格式/微调问题。 

一个出人意料的发现是:

在 M1(基于热度/参与度)中,“流行度”比文本长度更能预测“脑腐”( brain-rot)效应;也就是说,高度被放大的短内容更具“腐蚀性”。

作者由此提出:数据策展、持续训练时的语料质量监管应被视为训练期的安全问题,并建议进行“认知健康检查”。

Photo by Johnnie Walker

文章的局限性也是显著的。

首先,“垃圾 (junk) 数据”定义及构造可能过于简化/主观;其次,研究中所用 benchmark / 评估任务的代表性问题。

仅靠这些 benchmark 的下降,就断言模型能力整体“退化”,是一个过于强势 (overgeneralizing) 的结论。

“认知退化 / 脑腐 (Brain Rot)” 作为类比是否恰当,值得进一步讨论。把“语料质量退化 → 模型表现下降”称作“脑腐”,本质上是形容性比喻 (metaphor) —— 并不意味着模型真的像人脑那样“衰老 / 生病 /神经退化”。

现实训练语料与使用语料的多样性远高于实验设定。

文章首次系统提出与定义“模型脑腐(Model Brain Rot)”这一新概念,文章提出了“大语言模型脑腐”(LLM Brain Rot) 假说,用实验性证据把“网络垃圾/高度流行但浅薄的内容”与 LLM 能力退化建立因果联系,同时给出故障模式与初步缓解方向,作者呼吁在持续预训练与模型维护中重视数据质量管控。

文章揭示了“AI学习生态污染”(AI training ecosystem pollution)这一系统级风险。

论文指出:当LLM在网络上输出大量内容,而未来的LLM又从网络上获取训练数据时,就会导致训练数据被大规模“AI污染”,产生某种闭环式退化。

联系这篇文章,不难发现,

两篇研究报告尽管分别关注人类与AI,但其共同结论惊人地一致:

无论是人,还是AI,在面对低质量语言输入时,均会以相似的机制退化。

更重要的是:在当前人工智能教育应用飞速发展的大背景下,在教育情境中,人类认知退化与AI模型退化似乎正在互相强化,并可能导致学习系统整体崩解和人工智能时代学习生态的恶化。

两篇文章共同为这个问题敲响了前所未有的警钟。