ChatGPT和生成式AI的11大安全趋势

原标题：ChatGPT和生成式AI的11大安全趋势

ChatGPT和生成式AI的11大安全趋势

近期爆火的 AI 聊天机器人 ChatGPT，以及文生图模型 Dall·E 2、Stable Diffusion 等，让生成式人工智能（generative AI）成功出圈。然而，技术的背后，也暗藏了一些不容忽视的风险。对安全团队而言，ChatGPT 和生成式人工智能究竟是福还是祸？

最近，普华永道的分析师们对国外科技媒体 VentureBeat 分享了关于生成式人工智能和 ChatGPT 等工具将如何影响威胁形势以及防御者将出现哪些用例的看法。

他们认为，虽然人工智能生成恶意代码和钓鱼邮件的能力给企业带来了新的挑战，但也为一系列防御性用例打开了大门，如威胁检测、补救指导，以及保护 Kubernetes 和云环境等。

总的来说，分析师们乐观地认为，从长远来看，防御性用例将上升，以打击人工智能的恶意使用。

以下是 11 个关于生成式人工智能在未来将如何影响网络安全的预测。

1. 恶意使用人工智能

当涉及到我们可以利用人工智能的方式时，我们正处于一个拐点，这种范式转变影响着每一个人和每一件事。当人工智能掌握在公民和消费者手中时，伟大的事情可以发生。

与此同时，它可以被恶意的威胁者用于邪恶的目的，如恶意软件和复杂的网络钓鱼邮件。

鉴于人工智能的未来能力和潜力的许多未知数，组织开发强大的程序来建立抵御网络攻击的弹性是至关重要的。

还需要有以社会价值观为基础的监管，规定这种技术的使用要符合道德。同时，我们需要成为这一工具的“聪明”用户，并考虑需要哪些保障措施，以使人工智能在提供最大价值的同时将风险降到最低。

2. 需要保护人工智能的训练和输出

现在，生成式人工智能已经具备了可以帮助企业转型的能力，对于领导者来说，与对如何驾驭日益增长的安全和隐私考虑有深刻理解的公司合作，是非常重要的。

有两方面原因。首先，公司必须保护人工智能的训练，因为他们从微调模型中获得的独特知识将对他们如何经营业务、提供更好的产品和服务，以及与员工、客户和生态系统接触至关重要。

其次，公司还必须保护他们从生成式人工智能解决方案中获得的提示和反应，因为它们反映了公司的客户和员工正在利用该技术做什么。

3. 制定生成式人工智能使用政策

当你考虑使用你自己的内容、文件和资产进一步训练（微调）生成式人工智能模型，以便它可以在你的（行业/专业）背景下对你的业务的独特能力进行操作时，许多有趣的商业用例就出现了。通过这种方式，企业可以用他们独特的知识产权和知识来扩展生成式人工智能的工作方式。

这就是安全和隐私变得重要的地方。对于一个企业来说，你促使生成式人工智能产生内容的方式应该是你企业的隐私。幸运的是，大多数生成式人工智能平台从一开始就考虑到了这一点，其设计是为了实现提示、输出和微调内容的安全和隐私。

然而，现在所有用户都明白这一点。所以，任何企业都必须为使用生成式人工智能制定政策，以避免机密和私人数据进入公共系统，并在企业内部为生成式人工智能建立安全和可靠的环境。

4. 现代化的安全审计

生成式人工智能很可能在审计工作方面催生创新。复杂的生成式人工智能有能力创建考虑到某些情况的回应，同时以简单、易懂的语言编写。

这项技术所提供的是一个获取信息和指导的单点，同时还支持文件自动化和分析数据以回应特定的查询--而且效率很高。这是一个双赢的结果。

不难看出，这种能力可以为我们的员工提供更好的体验，进而也为我们的客户提供更好的体验。

5. 更加关注数据卫生和评价偏见

任何输入人工智能系统的数据都有可能被盗或被滥用的风险。首先，确定输入系统的适当数据，将有助于减少在攻击中丢失机密和私人信息的风险。

此外，重要的是进行适当的数据收集，以制定详细和有针对性的提示，并将其输入系统，这样你就可以获得更有价值的输出。

一旦你有了你的产出，就需要检查系统内是否有任何固有的偏见。在这个过程中，请一个多元化的专业团队来帮助评估任何偏见。

与编码或脚本的解决方案不同，生成式人工智能是基于经过训练的模型，因此它们给出的回应不是 100% 可预测的。要使生成式人工智能给出最值得信赖的输出，需要其背后的技术和利用它的人之间的合作。

6. 跟上不断扩大的风险并掌握基础知识

既然生成式人工智能正在被广泛采用，实施强大的安全措施是防止威胁者的必要条件。这项技术的能力使网络犯罪分子有可能创建深度伪造图像，更容易执行恶意软件和勒索软件攻击，公司需要为这些挑战做好准备。

最有效的网络措施继续受到最少的关注：通过保持基本的网络卫生和压缩庞大的遗留系统，公司可以减少网络犯罪分子的攻击面。

整合运营环境可以降低成本，使公司能够最大限度地提高效率，并专注于改善其网络安全措施。

7. 创造新的工作和责任

总的来说，我建议公司考虑拥抱生成式人工智能，而不是建立防火墙和抵制--但要有适当的保障措施和风险缓解措施。生成式人工智能在如何完成工作方面有一些非常有趣的潜力；它实际上可以帮助释放出人类用于分析和创造的时间。

生成式人工智能的出现有可能导致与技术本身相关的新工作和责任--并产生确保人工智能被道德地和负责任地使用的责任。

它还将要求使用这些信息的员工发展一种新的技能--评估和识别所创建的内容是否准确的能力。

就像计算器被用于简单的数学相关任务一样，在日常使用生成式人工智能的过程中，仍有许多人类技能需要应用，如批判性思维和有目的的定制--以释放生成式人工智能的全部力量。

因此，虽然从表面上看，它似乎在自动化人工任务的能力方面构成了威胁，但它也可以释放创造力，帮助人们在工作中表现出色。

8. 利用人工智能来优化网络投资

即使在经济不确定的情况下，公司也没有积极寻求在 2023 年减少网络安全支出；然而，CISO 必须考虑他们的投资决策是否更具经济性。

他们正面临着少花钱多办事的压力，导致他们投资于用自动化替代方案取代过度手工的风险预防和缓解过程的技术。

虽然生成式人工智能并不完美，但它非常快速、高效和连贯，技能也在迅速提高。通过实施正确的风险技术--如为更大的风险覆盖面和检测而设计的机器学习机制--组织可以节省资金、时间和人员，并且能够更好地驾驭和抵御未来的任何不确定性。

9. 加强威胁情报

虽然释放生成式人工智能能力的公司专注于保护，以防止恶意软件、错误信息或虚假信息的创建和传播，但我们需要假设生成式人工智能将被不良行为者用于这些目的，并提前采取行动。

在 2023 年，我们期待看到威胁情报和其他防御能力的进一步增强，以利用生成式人工智能做对社会有益的事。生成式人工智能将允许在效率和实时信任决策方面取得根本性的进步。例如，对系统和信息的访问形成实时结论，其置信度比目前部署的访问和身份模型高很多。

可以肯定的是，生成式人工智能将对每个行业和该行业中的公司的运作方式产生深远的影响；普华永道认为，这些进步将继续由人类主导和技术驱动，2023 年将出现最快速的进步，为未来几十年确定方向。

10. 威胁预防和管理合规风险

随着威胁形势的不断发展，卫生部门--这个个人信息泛滥的行业--继续发现自己处于威胁者的交叉瞄准区。

卫生行业的高管们正在增加他们的网络预算，并投资于自动化技术，这些技术不仅可以帮助防止网络攻击，还可以管理合规性风险，更好地保护病人和工作人员的数据，降低医疗成本，减少低效率流程等。

随着生成式人工智能的不断发展，确保医疗系统安全的相关风险和机会也在不断增加，这强调了医疗行业在接受这种新技术时建立其网络防御和复原力的重要性。

11. 实施数字信任战略

生成式人工智能等技术的创新速度，加上不断发展的“拼凑”监管和对机构信任的侵蚀，需要一个更具战略性的方法。

通过追求数字信任战略，企业可以更好地协调传统上孤立的功能，如网络安全、隐私和数据治理，使他们能够预测风险，同时也为企业释放价值。

其核心是，数字信任框架确定了超越合规性的解决方案--而是优先考虑组织和客户之间的信任和价值交换。

参考资料：

https://venturebeat.com/security/pwc-highlights-11-chatgpt-and-generative-ai-security-trends-to-watch-in-2023/

免责声明：本文转自新智元，原作者新智元。文章内容系原作者个人观点，本公众号转载仅为分享、传达不同观点，如有任何异议，欢迎联系我们！

转自丨新智元

作者丨新智元

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

电话：010-82635522

微信：iite_er