Meta FAIR 和新加坡国立大学的研究人员开发了一种新的强化学习框架，用于自我改进人工智能系统，称为 SPICE（语料库环境中的自我游戏）。
在这个框架中，单一模型承担了“挑战者”和“推理者”的双重角色，并在没有人类监督的情况下与自身竞争。挑战者从大量文档中生成问题，推理者无需访问源文档即可解决问题。这种信息不对称克服了传统自我匹配方法面临的问题，例如幻觉积累和陷入重复模式。
研究团队对 Qwen3-4B-Base 和 OctoThinker-3B-Hybrid-Base 等模型进行了评估，发现它们在数学和一般推理任务上始终优于基线。实验中，推理者的通过率从55%提高到85%，证明了挑战者和推理者的共同进化。
从： 
Meta 的 SPICE 框架让人工智能系统能够自学推理
【编辑部评论】
SPICE之所以受到关注，是因为它为解决人工智能“自我完善”这一长期存在的挑战提供了一种新方法。传统的强化学习依赖于人类准备的问题集，规模有限。 SPICE 有潜力克服这一限制。
这项技术的核心在于“信息不对称”。在这种结构中，挑战者通过参考文档来提出问题，推理者无需查看文档即可解决问题，这种结构不断创造出真正的新挑战。这类似于围棋AI AlphaGo通过对战而变得更强，但应用到语言模型上可以说是革命性的。
值得注意的是如何应对“幻觉”问题是。如果人工智能只学习自己的输出，则存在错误信息被放大的风险。 SPICE 通过植根于大量真实文档来避免这个问题。
实验结果也很有趣，数学推理的平均性能提升了 8.9%，一般推理的平均性能提升了 9.8%。虽然 Reasoners 的通过率从 55% 增加到 85%，但挑战者现在可以提出问题，使最初的 Reasoners 的通过率从 55% 增加到 35%，证实了两者的共同进化。
这项技术预示着未来人工智能将从人造教材中毕业，并从与现实世界的互动中学习。研究团队的最终目标是不仅从文本中学习，还从物理世界、互联网、视频和音频等多模态信息中学习。
不过，这只是现阶段的概念验证，在投入实际使用之前仍有问题需要解决。用于学习的文档语料库的质量和偏差可能会影响结果，同时还需要考虑自我改进过程朝非预期方向进行的风险。
尽管如此，实现无需人类监督即可不断提高其能力的人工智能可以加速其在医疗诊断和法律分析等高度专业化领域的应用。 SPICE可以说是作为迈向AGI（通用人工智能）的重要一步，未来发展备受瞩目的研究成果。
【术语解释】
SPICE（语料库环境下的自我对弈）
文档语料库环境中自我竞争的缩写。它是由 Meta FAIR 和新加坡国立大学开发的强化学习框架，其中单个 AI 模型承担挑战者和推理者的双重角色，是一种无需人类监督的自我改进方法。
RLVR（具有可验证奖励的强化学习）
具有可验证奖励的强化学习。这是一种当模型提供问题的正确答案时奖励模型的方法，并且在正确答案明确的领域（例如数学和编码）非常有效。
语料库
为特定目的收集的大量文本数据。 SPICE是指现有文档的集合，它为AI学习提供外部知识的基础。
[参考链接]
Meta FAIR（元基础人工智能研究）（外部）
Meta的基础AI研究部门。促进广泛的人工智能研究，包括计算机视觉、自然语言处理和强化学习。
新加坡国立大学（NUS）（外部）
新加坡国立大学。作为亚洲领先的研究机构，活跃于工程、医学和计算机科学领域
Qwen（通义千问）- Alibaba Cloud（外部）
阿里巴巴开发的大规模语言模型系列。多语言支持、推理能力强的AI模型
[参考文章]
语料库环境中的自我对弈提高了推理能力（外部）
SPICE框架原创论文，数学推理性能提升8.9%，一般推理性能提升9.8%
SPICE：语料库环境中的自我对弈提高了推理能力（外部）
Hugging Face 的论文介绍。数学推理和一般推理基准的性能评估总结
[编者后记]
人工智能在没有人类帮助的情况下继续自主学习的未来可能比预期更近。像SPICE这样的自我完善的人工智能会对我们的工作和创意活动产生什么影响？
如果其在专业领域的应用不断进步，需要先进知识的服务，例如医疗诊断和法律咨询，可能会变得更容易获得。另一方面，您认为人工智能独立发展的世界需要什么样的道德框架？我们很想听听您的想法。