OpenAI ChatGPT 可用的第三方插件可能成为威胁行为者寻求未经授权访问敏感数据的新攻击面

网络安全研究人员发现，为 OpenAI ChatGPT 可用的第三方插件可能成为威胁行为者寻求未经授权访问敏感数据的新攻击面。

根据 Salt Labs 发布的新研究，直接在 ChatGPT 中以及生态系统内发现的安全漏洞可能允许攻击者在用户不知情的情况下安装恶意插件，并劫持像 GitHub 这样的第三方网站上的账户。

正如名称所示，ChatGPT 插件 是旨在运行在大型语言模型（LLM）之上的工具，目的是获取最新信息、运行计算或访问第三方服务。

OpenAI 还引入了GPTs，这是为特定用例量身定制的 ChatGPT 版本，同时减少了对第三方服务的依赖。截至 2024 年 3 月 19 日，ChatGPT 用户将不再 能够安装新插件或与现有插件创建新对话。

Salt Labs 发现的一个漏洞涉及利用OAuth 工作流程 来欺骗用户安装任意插件，利用的事实是 ChatGPT 不验证用户是否真的开始了插件安装。

这实际上可能允许威胁行为者拦截和窃取受害者共享的所有数据，其中可能包含专有信息。

网络安全公司还发现了 PluginLab 的问题，威胁行为者可以将其武器化，以进行零点击账户接管攻击，使他们能够控制组织在像 GitHub 这样的第三方网站上的账户并访问其源代码仓库。

“‘auth.pluginlab[.]ai/oauth/authorized’ 端点不验证请求，这意味着攻击者可以插入另一个 memberId（即受害者），并获得代表受害者的代码，”安全研究员 Aviad Carmel 解释道。“有了那个代码，他可以使用 ChatGPT 并访问受害者的 GitHub。”

可以通过查询端点 “auth.pluginlab[.]ai/members/requestMagicEmailCode” 来获取受害者的 memberId。没有证据表明有任何用户数据是使用该漏洞被泄露的。

在包括 Kesem AI 在内的多个插件中也发现了 OAuth 重定向操作漏洞，这可能允许攻击者通过向受害者发送特制链接来窃取与插件本身相关的账户凭据。

这一发现是在 Imperva 详细描述了 ChatGPT 中的两个跨站脚本（XSS）漏洞 几周后，这些漏洞可以被链接起来控制任何账户。

2023 年 12 月，安全研究员 Johann Rehberger 展示了恶意行为者如何创建自定义 GPTs，这些 GPTs 可以网络钓鱼用户凭据并将窃取的数据传输到外部服务器。

AI 助手上的新型远程键盘记录攻击

这些发现也紧随本周发表的新研究 之后，该研究讨论了一种 LLM 侧信道攻击，该攻击使用令牌长度作为隐秘手段从网络上的 AI 助手提取加密响应。

“LLM 以一系列令牌（类似于单词）的形式生成并发送响应，每个令牌在生成时从服务器传输到用户，”来自本-古里安大学和 Offensive AI 研究实验室的一组学者说。

“虽然这个过程是加密的，但顺序令牌传输暴露了一个新的侧信道：令牌长度侧信道。尽管加密，数据包的大小可以揭示令牌的长度，可能允许网络上的攻击者推断在私人 AI 助手对话中共享的敏感和机密信息。”

这是通过一种旨在通过训练一个能够将令牌长度序列翻译成其自然语言句子对应物（即明文）的 LLM 模型来破译加密流量中的响应的令牌推断攻击来实现的。

换句话说，核心思想 是拦截与 LLM 提供商的实时聊天响应，使用网络数据包头来推断每个令牌的长度，提取和解析文本段，并利用自定义 LLM 来推断响应。

实施攻击的两个关键前提是一个在流模式下运行的 AI 聊天客户端和一个能够捕获客户端和 AI 聊天机器人之间网络流量的对手。

为了抵消侧信道攻击的有效性，建议开发 AI 助手的公司应用随机填充来隐藏令牌的实际长度，将令牌以较大的组而不是单独传输，并一次性发送完整的响应，而不是逐个令牌地发送。

“在安全性、可用性和性能之间取得平衡是一个复杂的挑战，需要仔细考虑，”研究人员总结道。

觉得这篇文章有趣？在Twitter  和 LinkedIn 上关注我们，阅读我们发布的更多独家内容。