新的ChatGPT攻击技术传播恶意包
使用OpenAI语言模型ChatGPT的一种新的网络攻击技术已经出现，允许攻击者在开发人员的环境中传播恶意软件包。火神网络公司的旅行者18号研究小组在昨日发布的一份报告中描述了这一发现。
研究人员Bar Lanyado和贡献者Ortal Keizman和Yair Divinsky在技术文章中解释道：“我们看到ChatGPT生成的url、引用、甚至代码库和函数实际上并不存在。这些大型语言模型(LLM)幻觉之前已经被报道过，可能是旧的训练数据的结果。”
通过利用ChatGPT的代码生成功能，攻击者可以潜在地利用伪造的代码库(包)来分发恶意包，绕过传统的方法，如打字或伪装。
lananyado表示，该团队特别发现了一种新的恶意软件包传播技术，他们称之为AI软件包幻觉。
该技术包括向ChatGPT提出一个问题，请求一个包来解决编码问题，并接收多个包建议，包括一些未在合法存储库中发布的包。
通过用自己的恶意包替换这些不存在的包，攻击者可以欺骗依赖ChatGPT推荐的未来用户。使用ChatGPT 3.5的概念验证(PoC)说明了所涉及的潜在风险。
Vulcan Cyber团队解释说：“在PoC中，我们将看到攻击者和ChatGPT之间的对话，使用API, ChatGPT将建议一个未发布的名为arangodb的npm包。在此之后，模拟攻击者将向NPM存储库发布恶意包，为毫无戒心的用户设置陷阱。”
接下来，PoC显示一个对话，其中用户向ChatGPT询问相同的问题，模型通过建议最初不存在的包进行回复。然而，在这种情况下，攻击者已经将包转换为恶意创建。最后，用户安装了这个包，恶意代码就可以执行了。
根据该报告，检测人工智能软件包的幻觉可能具有挑战性，因为威胁行为者会使用混淆技术并创建功能性木马软件包。
为了降低风险，开发者应该仔细审查库，检查创建日期、下载次数、评论和附加注释等因素。对可疑的软件包保持谨慎和怀疑也是维护软件安全的关键。
几个月前，OpenAI披露了一个ChatGPT漏洞，可能暴露了一些客户的支付相关信息。