微软研究院推出新技术,开启人工智能和数学推理的未来

微软研究院提出了一种改进数学推理的新方法“CoT-Influx”。该技术通过充分利用有效且简洁的思维链示例来提高大规模语言模型(LLM)的数学推理性能。 CoT-Influx 在各种 LLM(例如 LLaMA2-7B、13B 和 70B)以及五个数学数据集上取得的结果显着优于传统的即时基线。

微软研究院的研究人员提出了一种以用户为中心的方法来了解用户偏好并为基于人工智能的生产力代理开发个性化解决方案。这项研究将促进利用 GPT-4 的个性化生产力代理的开发,为提高信息工作者的生产力提供新的机会。

微软研究院还推出了一种名为“LongRoPE”的新方法,将预训练的 LLM 上下文窗口扩展到 204.8 万个 token。该方法是在保留原始短上下文窗口的性能的同时实现的,而不需要直接微调极长的文本。

为了支持对话式 AI 助手进行调试,微软研究院受对话分析的启发,设计了一款名为“Robin”的新型 AI 助手。 Robin 与开发人员合作,假设错误的原因,使用 IDE 的调试功能进行测试,并提出修复建议。

此外,微软研究院还开展了研究,以了解和减轻人机交互中的生产力损失。这项研究提出了一种通过将人为因素研究应用于 GenAI 系统的设计来减少生产力损失的方法。

【新闻评论】

微软研究院最近发表的一系列研究代表了人工智能 (AI) 和大规模语言模型 (LLM) 发展的重要进展。这些研究的重点是改进数学推理、个性化生产力工具、扩展上下文窗口、增强用于调试的对话式人工智能助手,以及理解和减轻人类与人工智能交互中的生产力损失。

改进数学推理的“CoT-Influx”方法旨在提高大规模语言模型解决数学问题的推理能力。该方法充分利用了有效、简洁的思维链示例,取得了明显优于传统基于提示的方法的结果。这显示了法学硕士能够解决更复杂的数学问题的潜力。

基于人工智能的生产力代理的研究涉及个性化解决方案的开发,以通过以用户为中心的方法提高信息工作者的生产力。这项研究强调了深入了解用户的需求和偏好并相应提供定制帮助的重要性。

使用 LongRoPE 扩展上下文窗口使 LLM 能够处理更长的文本,从而可以解决更复杂的问题并生成详细的对话。这有可能显着扩大法学硕士的应用范围。

Robin是一款用于调试的对话式人工智能助手,其开发将帮助开发人员更有效地识别和解决错误。这种方法预计将加速开发过程并有助于提高软件质量。

最后,对人机交互中生产力损失的研究表明,在 GenAI 系统设计中应用人为因素研究的重要性。这使得在不牺牲生产力的情况下设计利用人工智能的系统成为可能。

这些研究表明,人工智能和法学硕士的进步将对我们的工作和解决问题的方式产生重大影响。同时,它还强调,这些技术的正确设计和应用对于最大限度地发挥其潜力并最大限度地减少潜在风险至关重要。

研究重点:2024 年 3 月 18 日当周.