GPT4变笨的原因揭秘

最新：GPT ，编辑 ：机器之心

变笨的本质是知识没进脑子。

自发布以来，曾被认为是世界上最强大的 GPT-4 也经历了多场「信任危机」。

如果说今年早些时候那次「间歇式降智」与 OpenAI 重新设计 GPT-4 架构有关，前段时间的「变懒」传闻就更搞笑了，有人测出只要告诉 GPT-4「现在是寒假」，它就会变得懒懒散散，仿佛进入了一种冬眠状态。

大模型变懒、变笨，具体是指模型在新任务上的零样本性能变差。尽管上述原因听起来很有趣，但问题到底怎么解决呢？

在最近的一篇论文中，加州大学圣克鲁斯分校研究者的新发现或可解释 GPT-4 性能下降的深层原因 ：

「我们发现，在训练数据创建日期之前发布的数据集上，LLM 的表现出奇地好于之后发布的数据集。」

它们在「见过的」任务上表现出色，而在新任务上则表现糟糕。这意味着，LLM 只是基于近似检索的模仿智能方法，主要是记忆东西，而没有任何程度的理解。

说白了，就是 LLM 的泛化能力「没有说的那么强」—— 基础不扎实，实战总有出纰漏的时候。

造成这种结果的一大原因是「 任务污染 」，这是数据污染的其中一种形式。我们以前熟知的数据污染是测试数据污染，即在预训练数据中包含测试数据示例和标签。而「任务污染」是在预训练数据中加入任务训练示例，使零样本或少样本方法中的评估不再真实有效。

研究者在论文中首次对数据污染问题进行了系统分析：

论文链接：https://arxiv.org/pdf/2312.16337.pdf

看完论文，有人「悲观」地表示：

这是所有不具备持续学习能力的机器学习（ML）模型的命运，即 ML 模型权重在训练后会被冻结，但输入分布会不断变化，如果模型不能持续适应这种变化，就会慢慢退化。

这意味着，随着编程语言的不断更新，基于 LLM 的编码工具也会退化。这就是为什么你不必过分依赖这种脆弱工具的原因之一。

不断重新训练这些模型的成本很高，迟早有人会放弃这些低效的方法。

目前还没有任何 ML 模型能够可靠地持续适应不断变化的输入分布，而不会对之前的编码任务造成严重干扰或性能损失。

而这正是生物神经网络所擅长的领域之一。由于生物神经网具有强大的泛化能力，学习不同的任务可以进一步提高系统的性能，因为从一项任务中获得的知识有助于改善整个学习过程本身，这就是所谓的「元学习」。

「任务污染」的问题有多严重？我们