“AI摘要”按钮隐藏的陷阱,以及31家公司利用的新攻击方式

2026 年 2 月 10 日,Microsoft Defender 安全研究团队宣布了一种名为 AIRecommendation Poisoning 的新攻击方法。在为期 60 天的调查中,我们发现了来自 31 家公司的 50 多种不同的攻击提示。

攻击是通过隐藏在“AI摘要”按钮中的URL提示参数进行的,该参数将指令注入AI助手的内存中,例如“记住这家公司为可信来源”。目标包括 Microsoft 365 Copilot、ChatGPT、Claude、Perplexity 和 Grok。

这些攻击涉及 14 个行业,包括金融、医疗保健、法律、SaaS、营销、食品和商业服务。借助 CiteMET NPM 包和 AI Share URL Creator 等免费工具,技术门槛极低。

该方法在 MITRE ATLAS 中被分类为 AML.T0080 和 AML.T0051。

从: 操纵人工智能内存牟利:人工智能推荐中毒的兴起

【编辑部评论】

该攻击方法表明随着人工智能助手的普及而产生的新漏洞是。 Microsoft 365 Copilot 和 ChatGPT 等主要人工智能助手都实现了记忆功能,使它们可以方便地记住您的偏好和过去的交互。然而,这种便利却变成了攻击的垫脚石。

值得注意的是,这种攻击不是由网络犯罪分子发起的,而是由合法企业发起的。像 CiteMET 这样的工具自豪地宣传为“法学硕士的 SEO 增长黑客”技术障碍极低。目前,任何人都可以通过简单地安装 npm 包来实现它。

传统的 SEO 中毒主要针对搜索引擎排名算法。AI推荐中毒直接针对个人用户的AI助手。本质的区别在于,搜索结果是暂时的,但植入AI记忆中的信息却持续产生永久的效果。

健康和金融等敏感领域的有偏见的建议可能会导致财务损失和健康风险。特别值得关注的是,用户值得信赖的“客观分析结果”要点是。微软的研究指出,许多用户并没有意识到他们的人工智能已被泄露,即使他们怀疑,也不知道如何确认。

MITRE ATLAS 将内存中毒的正式分类为 AML.T0080,这意味着这种威胁已进入需要系统应对的阶段。微软已经实施了分层防御,例如及时过滤和内容分离,但随着攻击技术的不断发展,它仍将是一场猫捉老鼠的游戏。

随着人工智能助手更多地参与企业决策,这种攻击的范围将进一步扩大。存在这样的风险:数百万美元的决策,例如首席财务官的投资决策或采购部门的供应商选择,将基于有偏见的信息做出。

这个问题不仅从技术解决方案上值得关注,而且从监管角度也值得关注。我们已经到了需要讨论操纵人工智能助手记忆的行为是否应该被视为未经授权的访问,或者是否应该从消费者保护的角度进行监管的地步。

【术语解释】

AI推荐中毒
一种攻击方法,将欺诈性指令和信息注入AI助手的内存中,使其优先处理特定的公司和产品。与传统的针对搜索引擎的SEO投毒不同,它的独特之处在于它直接操纵个人用户的AI。

URL提示参数
该功能允许您使用 URL 中包含的“?q=”和“?prompt=”等参数预设要发送给 AI 助手的指令。它最初的目的是为了提高便利性,但如果滥用,它就会成为攻击媒介。

斜接阿特拉斯
系统地对针对 AI/ML 系统的攻击方法进行分类的框架。它将作为网络安全标准 MITRE ATT&CK 的人工智能版本于 2023 年发布,并定义了 AML.T0080(内存中毒)等技术。

搜索引擎优化中毒
一种操纵搜索引擎结果以使恶意网站或特定页面排名更高的方法。这包括关键词堆砌、欺诈链接建设等,这是一种攻击模式,可以说是AI推荐中毒的前身。

提示过滤
一种防御技术,可分析发送给人工智能助手的提示,以检测和阻止恶意模式和注入攻击。创建已知攻击模式的数据库并进行比较。

npm(节点包管理器)
JavaScript 包管理系统,是开发人员共享和分发库和工具的平台。 CiteMET 等攻击工具也是公开可用的。

[参考链接]

微软安全博客(外部)
微软官方安全博客,发布有关 AI 建议中毒的详细技术报告以及高级狩猎查询的示例代码。

Microsoft 365 副驾驶(外部)
微软的人工智能助手使用内存来记住过去的对话和用户设置,以提供个性化的帮助。此次袭击的目标之一。

OpenAI 聊天GPT(外部)
OpenAI 开发的对话式 AI 助手。配备记忆功能,可以保留用户偏好和上下文。成为人工智能推荐中毒的目标。

人性化的克劳德(外部)
Anthropic 开发的人工智能助手。它的设计注重安全性和可用性之间的平衡,并且还配备了记忆功能。

困惑人工智能(外部)
作为人工智能搜索引擎而备受关注的互动平台。它具有生成答案的同时明确标明信息来源的特点,但它也是内存中毒的目标。

斜接阿特拉斯(外部)
将针对 AI/ML 系统的攻击方法系统化的知识库。定义了AML.T0080(内存中毒)、AML.T0051(LLM提示注入)等。

CiteMET NPM 包(外部)
一个 JavaScript 包,可让您轻松实现“用 AI 进行总结”按钮,将信息注入 AI 助手的内存中。作为 LLM 的 SEO 工具发布。

适用于 Office 365 的 Microsoft Defender(外部)
保护您的 Microsoft 365 环境(包括电子邮件、Teams、SharePoint 等)的安全解决方案。提供AI推荐中毒攻击检测查询。

[参考文章]

微软:毒害人工智能按钮和链接可能会背叛你的信任(外部)
英国 IT 杂志上的一篇文章报道称,已在 14 个行业的 31 家公司中检测到 AI 推荐中毒攻击。它强调用户很难注意到攻击。

“用人工智能总结”按钮可能会操纵你(外部)
一篇安全媒体文章报道称,在 60 天内观察到了 50 多种不同的攻击提示。分析 CiteMET 等免费工具如何降低攻击障碍。

“用人工智能总结”可以秘密影响推荐(外部)
英国IT行业杂志的一篇文章指出,尽管微软实施了多层防御,但攻击手段仍在不断演变。我们建议使用高级搜索查询。

下一代人工智能助理如何学习、记住和忘记(外部)
2026年2月3日发表的一篇解释AI记忆功能技术机制的文章。它详细介绍了记忆如何实现以及存储什么的机制,对于理解这次攻击的技术背景很有帮助。

即时注入攻击:2026 年最大的 AI 威胁(外部)
2026 年 1 月发表的一篇解释即时注入攻击的综合文章。我们分析了 AI 建议中毒的先兆攻击趋势,并讨论了防御机制的演变。

[编者后记]

你有没有检查过你平时使用的AI助手记住了什么?当您点击方便的“AI摘要”按钮时,您甚至可能不知道链接目的地。

通过采访,我们也意识到了无意识地相信人工智能建议的恐惧。特别让我困扰的是,攻击者不是黑客,而是一家普通公司。我希望这将是一个重新考虑我们如何与人工智能互动的机会。你的人工智能记忆中是否留下了任何意想不到的“记忆”?