网安加·百家讲坛 | 张坤：浅谈ChatGPT和网络安全行业的爱恨情仇
作者简介：张坤，脑动极光首席信息安全官、OWASP北京分会负责人、网安加社区特聘专家、西班牙UAB大学硕士（Full time)、 北京某高校网络空间安全学院研究生导师、 网络安全研究生实习基地导师、中国卫生信息与健康医疗大数据学会首届委员，参与编写GB_T39725 健康医疗行业数据安全指南、健康医疗行业标准，荣获国家三级荣誉证书（技术贡献类）；网络安全行业从业十余年，曾于金融集团、上市企业及互联网企业、top国企担任安全负责人角色，负责基础安全、法务合规、隐私合规、安全研发、风控及业务安全、SRC（安全应急响应中心）、数据安全、内审内控等工作。
OpenAI在2022年11月推出了影响全球各行业的、革命性的人工智能语言模型ChatGPT。ChatGPT与其他AI的区别在于ChatGPT忽略搜索引擎，通过从机器学习数据中提取相关信息来形成原始响应。
我的毕业论文是《Research on the development and application of artificial intelligence》，幸好那时候还没有GPT，这种变革的进步还未出现，不然论文几乎要重新开题，当然正是这种变革，引起了亿级用户的好奇和注意，也让无数的科技用户被其能力所震撼。但对安全从业者而言，不得不考虑ChatGPT对恶意行为的促进，毕竟ChatGPT为黑客开辟了新的途径，所以，对行业而言，随着人工智能日益增长的影响并采取相应行动至关重要。
在ChatGPT发展之初安全问题一直被选择性忽视，但在3月23日，OpenAI的CEO（Sam Altman）公开承认开源库出现错误，导致聊天记录被泄露，随后韩国媒体报道三星在引入聊天机器人ChatGPT不到20天，便曝出机密资料外泄等三起涉及ChatGPT误用与滥用案例，相关资料内容已被ChatGPT学习（代表会被用于回答使用者的问题）：
1、A职员，把有问题的源代码输入ChatGPT，并询问了解决方法；
2、B职员，把源代码输入到ChatGPT，并寻求优化方法；
3、C职员，将手机录制的会议内容转换为文件后输入到ChatGPT，制作会议记录。
3月31日，意大利禁止了ChatGPT，意大利数据保护局（IDPA）在调查违反欧洲隐私法规的情况时命令从即日起禁止使用聊天机器人ChatGPT，并不允许OpenAI处理意大利用户信息。IDPA动作起因是3月20日ChatGPT平台出现了用户对话数据和付款服务支付信息丢失情况，平台未应尽义务提醒、告知，并缺乏大量收集和存储个人信息的法律依据，也说明了数据安全风险已经引起有些国家的警惕，随后法国、爱尔兰和德国的监管机构也在调查ChatGPT是否违反了GDPR法律，美国NIST也颇有远见的提前发布了《人工智能风险管理框架》（英国、德国等也在路上，我国更是一力降十会）。
一、ChatGPT的价值
ChatGPT是一个基于OpenAI GPT模型的聊天机器人，它可以进行自然语言对话，是大型语言模型，它可以进行自然语言预测，在许多方面都表现出色：
1、自然语言处理、文本生成、语言理解、对话系统、知识图谱、推荐系统等。
2、文本生成任务，如生成文章、段落、句子等，也可以进行文本分类、情感分析、实体识别等。
3、机器翻译、语音识别、自然语言理解等问题，并且可以与其他技术结合使用，例如深度学习、神经网络等。
ChatGPT最大的价值在统计，如：
1、为AI提供了一种稳定、可靠、安全的方式进行通信的方式，可以支持大规模语言模型的训练和部署，为自然语言处理领域提供了强有力的支持。
2、ChatGPT还可以用于智能客服、智能助手、智能写作等方面的应用，帮助企业提高效率和用户体验。
3、提供自然语言交互的服务，帮助用户解决问题、获取信息、进行对话等。
4、ChatGPT还可以为用户提供个性化的问候、娱乐、社交等服务，从而提升用户的生活质量。
ChatGPT最大的价值在于提供了一个可靠的、可扩展的、高性能的分布式训练平台，使得人工智能助手的训练和优化变得更加容易和高效。通过使用ChatGPT，可以方便地训练各种语言模型、问答模型、推荐模型等，提高人工智能助手的性能和质量，为用户提供更好的服务。
二、ChatGPT的风险
如开头所言，ChatGPT的差异源于响应的模式，许多网络安全人员也更关注这种细微差别对网络安全的影响，ChatGPT来帮助识别网络威胁，但黑客也可以利用其实现恶意目的。各种开源的版本已经有了多年的历史，但毫无疑问ChatGPT是迄今为止最先进的存在。特别是ChatGPT带给用户的真实人的感受，而从黑客的角度来看，ChatGPT是一个游戏规则的改变者。
例如：网络钓鱼是最常见但不可怕的IT威胁，大多数网络钓鱼骗局都很容易辨认，包括拼写错误、语法错误、标准模板、乱七八糟的措辞、翻译导致的语意偏差等，但ChatGPT提供的无偏差交互可以有效地加强网络钓鱼活动的成功率，而且，ChatGPT的编码能力、庞大的数据集、无限的算力、成熟的模型，为其在任何场景下的作用提供了无限的潜力。
技术不分黑白，但使用群体和使用目的有差异，ChatGPT也不例外，它可以帮助恶意攻击者自动化、加速和优化现有的能力：
1、ChatGPT的滥用：虽然ChatGPT通过内容过滤器来避免滥用，但可以通过其Web GUI或编程API绕过内容过滤器以获得恶意代码（例如获取源代码以创建多态恶意软件，这更难被反恶意软件发现）。另外还可以用于查找并利用最新的漏洞。
2、ChatGPT自动化应用：ChatGPT可以无视相关隐私策略和伦理条款为代码或电子邮件编写脚本，黑客可以要求ChatGPT编写网络钓鱼电子邮件，也可以用公众人物的角度编写电子邮件，并包含指向恶意页面的特定链接，甚至还可以通过自动文本生成来执行勒索软件攻击以讨论谈判。
ChatGPT不需要人工干预来生成其响应，可以为恶意攻击行为降低攻击成本和人工干预，如果使用传统方式进行网络钓鱼攻击或更有针对性的鱼叉式网络钓鱼，需要更多的投入和人工干预，而且成功率更低，但ChatGPT的自动化能力、语言能力、自动编码能力和场景建设能力将更容易创建大规模、更复杂且非常可信的网络钓鱼活动。另外据相关情报，已经有黑客团队把ChatGPT用于基于文本的电子邮件模拟的鱼叉式网络钓鱼活动之外的活动，例如：大规模的“Deep Fake”活动。ChatGPT被用于聊天机器人展示、生成音频和视频输出，可以被用于欺诈、误导、冒充、诽谤、品牌攻击等。
3、大范围错误信息发布：尽管ChatGPT本身很智能，但在某些情况下，它们可能会产生错误信息，导致用户受到误导，而且如果机器人没有足够的知识库建立，其回答将不准确。ChatGPT通过恶意引导或修改 ChatGPT使用的内容以影响它学习上下文的方式，可以让大规模的错误信息发布成为可能，这可能会导致社交媒体的大风暴。
4、ChaGPT未来会嵌入到更多的技术、产品中，从供应链风险来看，可能带来全局的灾难性影响，无论是偶然错误还是恶意利用。对于依赖ChatGPT的组织来说，如果遭受攻击，则可能会导致整个系统被破坏。ChatGPT也有可能成为黑客入侵的目标。如果黑客成功地进入，则它们将获取访问所有相关数据的权限，并有可能利用其进行其他形式的攻击。
5、信息泄漏：敏感、涉密的信息如果被输入 ChatGPT，之后就会成为聊天机器人数据模型的一部分，并可以与其他人共享，从而导致数据泄露。对企业而言，任何未经授权向ChatGPT披露机密信息都可能违反所在企业的保密要求。
6、版权问题：简单来说就是通过ChatGPT生成的代码、图片、音视频、文本等所有权的问题，例如ChatGPT在开源库上接受训练并在回答问题时“重放”该代码，然后开发人员将该代码放入公司发布的产品中，这可能会使公司违反开源软件（OSS）许可证。虽然，服务条款表明ChatGPT不能用于任何其他AI的开发。
7、隐私和安全问题：虽然ChatGPT提示用户不要输入敏感信息或个人信息，例如姓名或电子邮件地址。但是未知的风险仍然存在，例如是否遵守所在国家、地区隐私法、是否采取了适当的控制措施来保护个人数据、如何保障用户的数据权益以及其他会导致滥用和声誉损害的风险。
三、ChatGPT对网络安全的正向促进
如果黑客比从业者更懂得利用ChatGPT，可见的网络攻击比历史上任何时候都要多，ChatGPT带来的便利性可能会让黑客的攻击行为增加，也可以减少黑客的工作量，让他们在更短的时间内造成更大的破坏。它的通信能力还可以提高僵尸网络的连通性。
从趋势来看，ChatGPT就像几十年前的计算机和互联网，全球人民的好奇心让ChatGPT变得越来越流行，一些公司也已经建立了相对应的产品能力，无可厚非它提供了竞争优势，而在网络安全行业，我们面对使用ChatGPT的恶意使用者，可以做得更多，更好地去发掘ChatGPT的未来及其在网络安全中的作用，无论是积极的还是消极的：
1、师夷长技以制夷：让ChatGPT成为防御武器库的一部分。攻击者的邪恶用途成为我们的演练脚本，经过训练成为我们的防护能力，可以使用ChatGPT发现并修复软件中的漏洞。攻击者生成攻击脚本，我们可以利用ChatGPT生成自动化的安全测试脚本，协助进行安全测试和漏洞扫描。这些自动化测试脚本可以更快速、更准确地测试网络和系统，发现潜在的安全漏洞，从而提高网络安全水平
2、威胁情报：ChatGPT可以快速准确地分析大量威胁情报并提取有用的信息，可以帮助安全工作人员防止潜在的网络攻击和识别新的威胁。ChatGPT也可以更好地协助分析和报告安全威胁，有助于我们更快地发现、确认威胁情报，更快地修复这些威胁。另外基于历史数据和机器学习算法，ChatGPT可以预测潜在的网络威胁。它可以帮助我们预测和计划未来的网络攻击
3、安全研发：ChatGPT技术在软件开发领域的深入，通过更安全的内容（常见漏洞、编码错误、设计风险等）进行训练。有助于软件开发人员复用安全代码能力，构建漏洞更少、更安全稳健的软件。
4、安全测试：在网络安全渗透测试、漏洞扫描、漏洞赏金计划、风险分析等方面，通过对ChatGPT部分或完全自动化的使用，可以弥补人员、技术、工具的差异化，
5、情报收集：一直以来Google、Baidu等都是攻击者和防护者的重要情报来源，通过对AI定向搜索的使用，可以更精准地获取所需情报，例如域名信息、IP信息、端口信息、软件供应链构成等。
6、恶意代码分析：ChatGPT可以识别和分类范围广泛的恶意软件，包括勒索软件、木马和病毒。经过测试，ChatGPT已经具有了快速理解和定位混淆的恶意软件代码的能力。经过深度训练和策略完善，有助于安全研究人员对APT等深度恶意行为的分析和发现。
通过分析网络流量、日志和其他数据源，ChatGPT可以执行主动威胁搜寻的角色，也就是我们常说的态势感知。
7、网络安全培训：可以通过训练ChatGPT构建个性化的网络安全培训体系，通过与使用者交互，可以提醒使用者注意网络安全和隐私问题，教育他们如何避免恶意软件、钓鱼网站、欺诈、垃圾信息识别等攻击方式
8、数据隐私：ChatGPT可以检查用户协议和隐私政策，以发现潜在风险和合规性问题。它可以帮助我们确保遵守法规要求，保护客户数据的安全性，降低人员成本和合规风险。
9、应急响应：ChatGPT可以通过提供实时信息和响应来帮助安全团队进行事件响应。它可以帮助组织快速遏制和减少安全事件。
ChatGPT可以用于识别和分类网络安全威胁，帮助网络安全人员更好地了解和应对不同类型的网络攻击。可以更快速、准确地检测和识别潜在的入侵风险，制定更加有效的安全策略。总的来说，ChatGPT对网络安全行业具有很多正面的影响，但也存在一些负面影响。因此，在使用ChatGPT时，需要谨慎处理，并确保其安全性和合法性。至少目前风险大于收益。但相信，无论风险还是收益，随着ChatGPT等工具的发展，对网络安全的影响也越来越大，对某些企业、团体或者机构而言，尽信书不如无书，应该评估 ChatGPT是否可以安全使用。