随着 Nvidia 的收入同比增长 265%，总部位于硅谷的 Groq 正在开发一款用于大规模语言模型 (LLM) 推理的新型 AI 芯片。 Groq 首席执行官 Jonathan Ross 声称，鉴于推理成本较高，该公司的芯片对于法学硕士应用来说是“超快”且廉价的选择。罗斯预测，到今年年底，“许多初创公司将使用我们的基础设施”，并表示他将为初创公司提供比其他公司更低的成本。
根据 Groq 的网站，该公司的 LPU（语言处理单元）是一种新型的端到端处理单元系统，可为处理连续数据的计算密集型应用程序（例如人工智能语言应用程序（LLM））提供最快的推理处理速度。相比之下，Nvidia 的 GPU 针对并行图形处理进行了优化，对于 LLM 应用程序来说并不理想。 Groq 的 LPU 可以绕过 GPU 和 CPU 难以应对的两个领域：计算密度和内存带宽，从而更快地提供 LLM 输出。
罗斯声称，Groq 与 OpenAI 等公司不同，因为它不训练模型，并且可以将聊天查询保密。据估计，Groq 的芯片将使 ChatGPT 的速度提高 13 倍以上，但 Ross 没有具体提及与 OpenAI 的合作关系。
Ross 相信 Groq 的技术将改变人工智能推理的游戏规则。该公司目前免费提供 API 访问权限，在 Shumer 发帖后 24 小时内，已有 3,000 多人请求访问 API。罗斯于 2016 年离开谷歌，创立了 Groq，并一直在开发自己的芯片。该公司计划到今年年底拥有每秒 2500 万个代币的处理能力，并计划通过全国硬件部署来增加这一数字。
[相关文章]
Groq，AI革命的先驱，为开发者解决问题！
[参考网站]
格罗克官方网站（外部）
【新闻评论】
Groq 是一家总部位于硅谷的公司，正在开发一款专门用于大规模语言模型 (LLM) 推理的新型 AI 芯片。与传统GPU和CPU相比，该芯片的特点是显着加快AI语言应用中的推理处理速度。 Groq 首席执行官 Jonathan Ross 预测，该技术对于初创公司来说将是一种经济高效的选择，许多初创公司将在今年年底前使用 Groq 的基础设施。
Groq 开发的 LPU（语言处理单元）为处理连续数据（尤其是 LLM 推理）的计算密集型应用程序提供最快的处理速度。这是为了绕过计算密度和内存带宽问题而设计的，并采用了与传统 GPU 不同的并行优化方法。
Groq 还保护用户隐私，因为它不训练模型并且可以保持聊天查询的私密性。这是数据隐私敏感应用程序的一个主要优点。
该技术的引入有望显着提升AI语言处理的响应速度，实现近实时交互。这有可能推动各个领域的创新，包括客户支持自动化、实时翻译以及需要高级自然语言理解的应用程序。
然而，这项技术的广泛使用也面临一些挑战。例如，转向新的芯片架构涉及到与现有系统的兼容性以及开发人员的学习成本。此外，解决人工智能技术加速发展带来的社会和伦理问题也将是一个重要问题。
从长远来看，Groq 的技术可能成为人工智能推理领域的新标准。这有望进一步扩大人工智能的应用范围，并提供更先进的人工智能服务。与此同时，这项技术的发展将促使人们寻找新的解决方案来应对人工智能的道德使用和数据隐私保护等挑战。
从AI 芯片竞赛：Groq 首席执行官与 Nvidia 较量，声称大多数初创公司将在 2024 年底前使用快速 LPU.