微软功能强大的 Copilot+ PC神经处理单元 (NPU)专为小语言模型 (SLM)、介绍 Phi-Silica做过。该模型拥有 3.3 亿个参数，将于 2023 年 6 月 Copilot+ PC 上市时整合到所有设备中。
Phi-Silica 的初始令牌延迟为每秒 650 个令牌，功耗约为 1.5 瓦。这可以释放 PC 的 CPU 和 GPU 资源来处理其他计算。此外，令牌生成重用了 NPU 的 KV 缓存，在 CPU 上每秒生成大约 27 个令牌。
据微软发言人介绍，Phi-Silica是Windows第一个本地部署的语言模型，并在Copilot+ PC的NPU上进行了优化，为设备带来快速的本地推理。这标志着 3P 开发人员开始构建出色的 1P 和 3P 体验以提高 Windows 生态系统内的生产力和可访问性的关键时刻。
Phi-Silica 是 Phi-3 模型的第五个变体，继 Phi-3-mini（38 亿个参数）、Phi-3-small（70 亿个参数）、Phi-3-medium（140 亿个参数）和 Phi-3-vision（42 亿个参数）之后。
[编者注]术语解释
- Φ-二氧化硅：一个小型人工智能模型（小语言模型，SLM），设计用于在微软新的 Copilot+ PC 上本地运行。该模型与传统的基于云的大语言模型 (LLM) 的不同之处在于它在本地环境中高效运行。 Phi-Silica 主要利用 NPU（神经处理单元）提供高性能 AI 体验，同时保护用户隐私。 Microsoft 使用 3.3 亿个参数模型，并提供既准确又快速的小型模型。
- NPU（神经处理单元）：专用AI处理芯片，相比CPU，AI计算速度可提升数千倍。
- 副驾驶+电脑：微软的新 PC 产品配备了 Phi-Silica。边缘人工智能处理成为可能。
[参考链接]
微软官方网站（外部）
[相关文章]
在 innovaTopia 上阅读与 Copilot+PC 相关的更多文章
【新闻评论】
Microsoft 发布了 Phi-Silica，这是一种专为 Copilot+ PC 设计的小语言模型 (SLM)。该模型拥有 3.3 亿个参数，计划完全纳入 Copilot+ PC 中，该 PC 将于 2023 年 6 月开始销售。Phi-Silica 使用约 1.5 瓦功率，初始令牌延迟为每秒 650 个令牌。这可以释放 PC 的 CPU 和 GPU 资源来处理其他计算。此外，令牌生成重用了 NPU 的 KV 缓存，并在 CPU 上每秒生成大约 27 个令牌。据微软介绍，Phi-Silica是Windows第一个本地部署的语言模型，并在Copilot+ PC的NPU上进行了优化，为设备带来快速的本地推理。这标志着第三方开发人员开始构建出色的第一方和第三方体验以提高 Windows 生态系统内的生产力和可访问性的关键时刻。 Phi-Silica 是 Phi-3 模型的第五个变体，与其他变体相比也是最小的。
这项技术的引入有可能通过显着提高人工智能的本地处理能力来改善用户体验。与基于云的处理相比，快速本地推理可显着减少延迟，从而无论互联网连接的质量或速度如何，都能顺利交付 AI 功能。这是一个巨大的好处，特别是对于需要实时响应的应用程序或在隐私很重要的环境中。
Phi-Silica的引入也有助于优化PC资源使用。通过将 AI 处理卸载到专用 NPU，可以释放 CPU 和 GPU 来专注于其他任务，从而提高整体性能。这使得用户可以同时流畅地运行多个应用程序，从而有助于提高工作效率。
然而，实施这项技术也存在潜在的风险。例如，如果设备安全性不高，本地人工智能处理可能会使设备更容易受到恶意攻击。先进人工智能功能的扩散也可能引发隐私问题。应对这些风险需要制定严格的安全和隐私保护法规和指南。
未来，预计Phi-Silica等技术将进一步发展，本地AI处理将在更多设备中普及。这将扩大人工智能的应用范围，使提供更加个性化的用户体验并创造新的商业模式成为可能。然而，另一方面，需要继续讨论和应对技术发展带来的社会和伦理问题。