人工智能依靠人工智能创造的数据而成长的时代，未来可能是“自我毁灭”。随着人工智能生成的内容在互联网上泛滥，下一代人工智能将别无选择，只能将其纳入学习数据，输出逐渐恶化的“模型崩溃”威胁正在迫近，成为真正的威胁。然而，2026 年 5 月 14 日由伦敦国王学院领导的一组研究人员发现了防止这种崩溃的一个令人惊讶的简单关键。您所需要的只是来自外界的一份数据。为什么单个“真实”数据在无数人工智能生成的数据中如此有效？阅读《物理评论快报》上发表的研究内容。
来自伦敦国王学院、挪威科技大学和阿卜杜勒·萨拉姆国际理论物理中心的研究小组发现了一种防止人工智能模型崩溃的方法。
模型崩溃是2024年提出的概念，指的是用人工智能生成的数据训练的人工智能模型无法产生准确结果并产生不准确输出的现象。研究人员分析了一系列称为指数族的统计模型，结果表明，仅将外部世界的一个数据点纳入训练中就可以在所有情况下防止模型崩溃。即使机器生成的数据点数量无限，这种效应也成立。在受限玻尔兹曼机中也观察到类似的现象。
该研究发表在《物理评论快报》杂志上，由伦敦国王学院数学系的 Yasser Rowdy 教授介绍。
【编辑部评论】
这个消息现在摆在我们面前的是生成人工智能时代的一个非常基本的问题。随着人工智能生成的内容在互联网上持续快速增加，下一代人工智能正被迫陷入一种别无选择，只能将其纳入“学习数据”的境地。。研究人员将这种现象称为“数据同类相食”或“数据自噬”。
2024 年，Ilya Shumaylov 及其同事在《自然》杂志上发表了一篇论文，模型崩溃的概念广为人知。结果表明，当人工智能使用其生成的数据反复递归地进行训练时，数据分布的“尾部”就会丢失，模型最终会失去多样性，导致毫无意义的输出。这不是未来会出现的假设威胁，而是训练数据的获取已经达到极限的真实问题。。
这项以伦敦国王学院为中心的研究的独特之处在于，我们刻意关注一种称为“指数分布族”的简单统计模型，而不是复杂的大规模语言模型。由于LLM的内部行为是一个黑匣子，因此无法准确解释为什么会出现幻觉。通过回到具有良好可视性的数学环境，研究团队试图阐明导致模型崩溃的“原理”。
这里得出的结论是这项研究中最令人震惊的部分。仅将外部世界的一个数据点添加到闭环学习中可以防止模型在所有情况下崩溃。而且，即使机器生成的数据无限增加，那一点的效果也不会消失。， 那是。这种直观上令人难以置信的结果源于称为最大似然估计的标准学习方法的数学特性（在论文中称为“鞅主义”）。
另一种预防措施是引入先验信念。这对应于贝叶斯统计中的先验分布，或者将“先前获得的知识”纳入学习的方法。这可以说是一项成就，从数学上支持了维护人类积累的知识体系作为“锚”的重要性，而不是让人工智能从白纸上学习。。
研究小组报告说，在受限玻尔兹曼机上观察到了类似的效果，这表明这一发现可能适用于更广泛的模型，而不仅仅是指数分布族。下一个要测试的主题是支持现代人工智能的神经网络。未来的研究将很有趣，看看从第一原理得出的指导方针是否可以推广到像 ChatGPT 这样的大规模模型。
从积极的一面来看，关于使用合成数据的人工智能开发，首次演示“数学安全阀”可以提及。到目前为止，合成数据的使用在很大程度上依赖于经验规则，但这项研究可以作为设计指南的起点，该指南指出，“如果满足最低要求，系统就不会崩溃。”这也将在不浪费数据中心计算资源的情况下开辟一条可持续的人工智能训练之路。
然而，潜在的风险也不应被忽视。 “只要1分就够了”的结果意味着这就产生了一个新问题：“我们如何确保这一点？”。随着网络上的文本充斥着人工智能产品，我们如何识别和保存纯粹由人类生成的“基本事实”？这不仅是一个技术问题，更是一个关于版权和信息溯源的系统设计问题。
作为innovaTopia，我们希望关注以下几点：这项研究揭示了“人工智能不能完全独立于人类知识”的哲学含义是。陷入闭环的机器会自毁。从数学上来说，人类参与这个过程是有空间的。这将成为“科技促进人类进化”主题重新思考人类与人工智能关系的重要线索。
从长远来看，这项研究也可能对人工智能发展的监管和治理产生影响。随着训练数据的来源和质量控制在各国的监管讨论中变得更加重要，包括欧盟人工智能法案，也许有一天，“对人类数据的最低保障”的概念将被称为政策指南。。
【术语解释】
模型崩溃
模型通过继续使用人工智能生成的数据进行递归训练，失去其原始数据分布多样性并生成不准确且无意义的输出的现象。这是一个通过 Shumailov 等人的研究在 2024 年广为人知的概念。
データ共食い(Data Cannibalism) / データ自食症(Data-autophagy)
这个术语形象地描述了当人工智能继续导入其生成的数据作为其他人工智能的学习数据时，整个生态系统恶化的状态。他将其比作“自噬”，即生物体分解自身组织的过程。
幻觉
一代AI以似是而非的方式输出与现实不同的内容的现象。在日语中，也被翻译为“幻觉”。
指数型分布族(Exponential Families)
共享特定数学结构的概率分布类别的通用术语，例如正态分布、泊松分布和伯努利分布。它是一个简单但极其强大的统计建模框架，广泛应用于机器学习的基础理论。
闭环学习
使用模型本身生成的数据重复重新训练模型的过程。它是指一种封闭的循环结构，外部新的信息不会进入。
最尤推定(Maximum Likelihood / 最尤推定法)
统计学中的一种标准方法，以最好地产生观测数据的方式估计模型参数。这项研究表明，当这种方法应用于闭环时，总是会发生模型崩溃。
事前信念(Prior Belief) / 事前分布
在贝叶斯统计的框架中，它指的是模型在观察数据之前所拥有的知识和假设。该论文表明，可以通过使用“最大后验估计”来避免模型崩溃。
受限玻尔兹曼机 (RBM)
它是一种具有两层结构的随机神经网络，并已作为生成模型的基础进行研究。该模型在深度学习的早期发挥了重要作用。
大型语言模型（法学硕士）
执行自然语言处理并接受大量文本数据训练的神经网络模型的通用术语。例子包括 ChatGPT 和 Claude。
合成データ(Synthetic Data)
这是指不是从现实世界收集的数据，而是使用人工智能模型或计算方法人工生成的数据。近年来，它作为弥补人工智能训练数据缺乏的手段而受到关注。
[参考链接]
伦敦国王学院官方网站(外部)
世界领先的研究型大学之一，总部位于伦敦。成立于 1829 年。这是这项研究的主导机构。
Yasser Rowdy 教授简介（伦敦国王学院官方）(外部)
本研究通讯作者的研究概况，一位专门研究无序系统的教授。研究大脑和机器的信息处理。
挪威科技大学（NTNU）官方网站(外部)
挪威最大的综合性大学，科技实力雄厚的研究机构。该研究的联合研究机构之一。
阿卜杜勒·萨拉姆国际理论物理中心（ICTP）官方网站(外部)
隶属于联合国教科文组织的国际研究机构，位于意大利的里雅斯特。因其理论物理研究而广为人知。
物理评论快报官方网站(外部)
美国物理学会出版的物理学领域主要学术期刊之一。这是本研究将发表的地方。
论文预印本《Lost in Retraining》(arXiv)(外部)
本研究的预印本版本。您可以查看Yasser Rowdy教授等人的详细数学公式和实验结果。
《自然》杂志上发表的论文“当对递归生成的数据进行训练时，人工智能模型会崩溃”(外部)
这是 Ilya Shumailov 等人在 2024 年普及模型崩溃概念的原创论文。
[参考文章]
分析表明，单个现实世界数据点可能会阻止人工智能模型崩溃(外部)
Tech Xplore 发表的一篇文章解释了这项研究。它详细介绍了三个研究机构之间的合作以及引入一个外部数据点或先验信念的反崩溃效果。
迷失在再训练中：指数族中的闭环学习和模型崩溃(外部)
有关本研究同行评审论文的官方信息。数学上表明，使用最大似然估计的参数估计会产生鞅特性，并收敛到放大初始偏差的吸收状态。
当对递归生成的数据进行训练时，人工智能模型会崩溃(外部)
2024 年 7 月，Ilya Shumailov、Yarin Gal 等人在《自然》杂志上发表的论文。这是提出模型崩溃概念的基础文献，并表明当生成式人工智能用人工智能生成的数据进行递归训练时，原始分布的尾部消失了。
研究人员表示，使用人工智能来训练人工智能：法学硕士可能会面临模型崩溃(外部)
Tech Xplore 评论文章基于 Shumailov 等人的研究，2024 年 7 月。数学模型用于解释 AI 模型递归学习时可能发生的模型崩溃。
迷失在再训练中：在闭环学习下漫游指数族参数空间(外部)
Janjou、Marsili 和 Rowdy 的论文预印本。我们讨论数据自噬的病理进展取决于训练数据的合成数据比率。
Yasser Roudi 教授简介（伦敦国王学院官方）(外部)
此页面用于确认本研究通讯作者 Yasser Rowdy 教授的从属关系和专业领域。
[相关文章]
生成式AI自毁之日——模型崩溃机制与AI数据质量的未来
一篇全面阐述模型崩溃机制和AI数据质量问题的文章。非常适合了解本文的背景。
人们发现了“模型崩溃”现象的严重风险，即生成式人工智能重新学习其生成的数据。牛津大学的一项实验证实，到了第10代，输出变得毫无意义。人工智能学生...
innovaTopia – (InnovaTopia) – …
ChatGPT“GPT语言”正在侵蚀人类对话；马克斯·普朗克研究所警告文化多样性危机
本文讨论了人类和AI语言形成闭环、文化多样性变得同质化的风险。
事实证明，在 SNS 帖子和短视频上训练的 AI 中出现了“大脑腐烂”
它涉及低质量数据破坏人工智能认知功能的现象，并解释了与模型崩溃研究相对应的内容。
[编者后记]
在人工智能使用其生成的数据进行自我学习的循环中，单个外部数据成为救世主——我不禁认为这一发现的意义超出了技术惊喜。你在 SNS 上发布的一句话、你在博客上写的一个想法、你拍摄的一张照片。
未来，它们可能会被视为人工智能的“真实数据”。在即将到来的生成人工智能与人类共同进化的时代，“人类创造的事物的价值”将如何重新定义？ innovaTopia编辑部愿与大家一起继续思考这个问题。请随时向我们发送您对本文的想法和意见。