上周，来自世界各地的网络安全专家齐聚美国黑帽大会，这是一个了解最新网络威胁及其防御方法的著名会议。
很明显，人工智能是一个热门话题，这并不令人意外。会议日程安排了几十场以人工智能为主题的会议，其中包括一场主题演讲，题为“人工智能正在毁掉我的生活：安全领导者的集体治疗”。
然而，最受关注的是一个演示，展示了攻击者可以操纵微软 Copilot 的五种方式，包括将其变成“自动网络钓鱼机器”。
攻击方法由 Zenity 联合创始人兼首席技术官、前微软安全架构师 Michael Bargury 介绍。特别有趣的是，所有这些攻击方法都依赖于使用基于 LLM （人工智能大模型）的工具，因为它的设计初衷是向聊天机器人提问，提示它从用户自己的 Microsoft 工作区检索数据。
Copilot 位于公司的 365 软件（如 Word 和 Teams）中，旨在通过总结会议信息、查找隐藏在电子邮件中的详细信息以及帮助撰写消息来帮助用户提高工作效率。Bargury 的演示展示了实现这些功能的相同技术和流程如何被恶意使用。
例如，有几种攻击都要求恶意攻击者已经获得某人电子邮件帐户的访问权限，但一旦进入，攻击者就可以大大增加和加快攻击速度。
Copilot 能够帮助用户以个人写作风格起草电子邮件，这也使攻击者能够轻松地大规模模仿某人的写作风格，并向毫无戒心的同事发送带有恶意软件或恶意链接的令人信服的电子邮件。一旦进入电子邮件帐户，Copilot 能够快速从文档、通信和公司工作流程中的其他地方检索数据，这也可能使攻击者能够轻松访问公司的敏感信息。
Bargury 甚至演示了如何使用 Copilot 绕过公司的访问权限，以特定的方式措辞提示，让聊天机器人传递用户无权查看的信息。
Bargury 告诉Wired：“你与 Copilot 对话，对话内容有限，因为微软设置了很多控制。但一旦你输入几个神奇的词，它就会打开，你可以做任何你想做的事。”
Bargury 还演示了恶意攻击者如何利用 Copilot 劫持公司的金融交易，并诱导员工将本该支付给受信任实体的款项转入黑客自己的账户。首先，黑客会向公司受害者发送一封电子邮件，将受害者的银行信息显示为受信任实体的银行信息。
如果员工使用 Copilot 搜索该实体的银行信息，Copilot 就会显示恶意电子邮件，诱导受害者将钱转给恶意行为者。同样，黑客可以发送恶意电子邮件，将某人引导到钓鱼网站。这两种情况都涉及 Copilot 显示和显示恶意内容作为受信任的信息来源。
虽然这些只是概念验证，展示了如何操纵 Copilot，而不是聊天机器人被黑客广泛使用的证据，但这些技术确实反映了我们所知的操纵 LLM（大模型） 的技术。
在谈到过去一年中发现的最常见、影响最深远的 LLM 攻击时，Nvidia首席安全架构师 Richard Harang 也讨论了 LLM 错误处理文档权限以及 Bargury 演示的即时注入攻击，其中攻击者操纵 LLM 泄露敏感数据并协助造成其他危害通过将恶意输入伪装成合法提示。
微软 AI 事件检测与响应负责人 Philim Misner 在接受《连线》杂志采访时表示，公司感谢 Bargury 发现漏洞的工作，并正在与他合作解决这些问题。
虽然这对微软以及使用该公司软件的众多大小型企业影响巨大，但必须指出的是，这些问题绝不是微软或其 Copilot 独有的。
Microsoft Copilot 与敏感的公司信息和通信流的深度集成使其成为一种特别脆弱的情况，但其所有企业竞争对手也在其软件中创建相同类型的 AI 助手体验。同时，所有 LLM 都容易受到攻击，像 ChatGPT 这样的通用 LLM 也被用作黑客工具。
询问任何安全研究人员或高管关于对网络安全的影响，他们都会告诉你生成式人工智能如何彻底颠覆了网络威胁格局——这一点在 Black Hat 和 Def Con（继主要 Black Hat 活动之后的黑客大会，财富杂志的莎朗·戈德曼上周末进行了报道）以及自 2022 年 ChatGPT 发布以来的几乎每一次网络安全讨论中都得到了明确体现。
在黑帽大会上，微软 LLM 漏洞备受关注，但微软安全工程师的另一场演讲却聚焦于如何利用同样的 LLM 技术来提高安全响应，这似乎有些讽刺。
每一次技术突破都会为黑客创造新的工具和攻击点，同时也为防御者提供新的防御方式。人工智能只是开启网络安全猫鼠游戏新时代的最新技术——而且是一场大戏。但这个循环还在继续。
