Nvidia、Hugging Face 和 ServiceNow 宣布推出 StarCoder2，这是一种用于代码生成的新型大规模语言模型 (LLM)。该模型经过 600 多种编程语言的训练，可加速开发工作流程中的各种与代码相关的任务。 StarCoder2 是 BigCode 项目的一部分，旨在负责任地开发和使用大规模语言模型。根据开放负责任的 AI 许可证 (OpenRAIL) 免版税提供。
StarCoder2 具有三种不同的大小：3B、7B 和 15B，并接受 619 种编程语言的训练。它使用新的训练技术，可以理解并生成COBOL等低资源语言。最小的3B模型是使用ServiceNow的Fast LLM框架开发的，7B模型是使用Hugging Face的nanotron框架开发的。同时，最大的15B模型使用Nvidia NeMo云原生框架和Nvidia TensorRT-LLM软件进行训练和优化。
企业可以使用这些模型进一步微调各种应用程序的组织数据，包括应用程序源代码生成、工作流生成、文本摘要、代码完成、高级代码摘要和代码片段捕获。通过更广泛和更深入的训练，模型提供存储库上下文并实现准确的上下文预测。
StarCoder2 系列中的所有型号均可在 Open RAIL-M 许可下免版税访问和使用，并且支持代码可在 BigCode 项目的 GitHub 存储库中获取。所有模型也可以从 Hugging Face 下载和使用。 Nvidia 训练的 15B 模型也可在 Nvidia AI Foundation 上获取，允许开发人员直接从浏览器或 API 端点进行实验。
【新闻评论】
Nvidia、Hugging Face 和 ServiceNow 宣布推出 StarCoder2，这是一种新的大规模语言模型 (LLM)，旨在加速开发工作流程中的各种与代码相关的任务。该模型接受了超过 600 种编程语言的训练，尤其是像 COBOL 这样的低资源语言。 StarCoder2 具有三种不同的大小（3B、7B、15B），每种大小都使用不同的框架开发。这使得企业可以选择适合其需求的模型，并进一步微调其组织数据。
该技术使开发人员能够自动执行代码生成、工作流生成和文本摘要等任务，从而更高效地工作。此外，通过提供存储库上下文，可以做出更准确的上下文预测，有助于加速开发过程。
该技术的积极方面包括提高开发人员的工作效率以及支持低资源语言以适应各种编程环境。另一方面，潜在风险包括自动生成代码的质量控制和安全问题。此外，随着此类技术变得更加普遍，所需的编程技能水平可能会发生变化。
监管影响可能需要有关人工智能代码生成的透明度和问责制的准则。未来，这项技术可能会进一步发展，并通过自动化更复杂的开发任务来改变软件开发的范式。
StarCoder2 根据 Open RAIL-M 许可证免版税提供，可通过 GitHub、Hugging Face 和 Nvidia AI Foundation 访问。这使得开发人员可以轻松地试验该技术并将其应用到自己的项目中。这种开放获取是促进技术采用和创新的关键因素。
从Nvidia、Hugging Face 和 ServiceNow 发布了用于代码生成的新 StarCoder2 LLM。