前沿超巨型AI模型成功运行! AMD技术突破1万亿参数,开启超级计算新时代

Frontier超级计算机利用AMD技术实现了突破,运行了1万亿参数的大规模语言模型(LLM)。这一成就使位于田纳西州橡树岭国家实验室、由能源部管理的 Frontier 能够与 ChatGPT-4 等先进的人工智能模型竞争。 Frontier配备AMD第三代EPYC“Torrent”CPU和Instinct MI250X AI GPU加速器,拥有8,699,904个核心和1.194 exaflops的性能,奠定了自己计算能力庞然大物的地位。

Frontier 的优势还得益于 HPE Cray EX 架构和 Slingshot-11 互连的进步,这使其在 Top500.org 排行榜上名列前茅。 1万亿参数LLM运行的成功归功于超参数的微调和训练过程的优化,这是使用3,000个旧版Instinct MI250X AI GPU加速器进行测试的。

尽管拥有 37,000 个 MI250X GPU,Frontier 团队仅用 3,000 个加速器就实现了 LLM 运行记录。由于 AMD 计划推出 MI300 GPU 加速器,人们对未来的进步抱有很高的期望。

Frontier 的 1 万亿参数 LLM 的成功执行代表了超级计算领域的一个开创性时刻。随着技术不断进步,AMD 和 Frontier 的合作伙伴关系巩固了 Frontier 作为全球领导者的地位。使用部分 GPU 池的效率显示了生成式 AI 领域进一步创新的潜力。 Frontier 展示了尖端技术与战略优化相结合所带来的不可思议的可能性。有关人工智能、数据科学和 GenAI 的最新创新,请在 Google 新闻上关注我们。

世界上最强大的超级计算机实现 1 万亿参数 LLM 运行.