人工智能学者高庆一：生成式AI滥用和恶意使用带来新的安全挑战，但技术无罪

5月17日，由搜狐主办的2024搜狐科技年度论坛在北京盛大开幕。多位院士、科学家与产业界人士齐聚一堂，激发智慧的深度碰撞，奔赴科技的星辰大海。

本届论坛线上线下结合，开启全天的思想盛宴。在上午的线上直播中，人工智能学者、中国计算机学会科普工委执行委员、搜狐视频关注流播主高庆一，带来了《生成式AI：善花会不会开出恶果》的演讲。

高庆一表示，不像原子弹自发明以来在全球范围内受到严格控制，生成式AI则是一项所有人都能够触手可及的技术，也带来了很多安全挑战。

比如，黑客借助开源开发的恶意大模型，直接目的就是用于完成各类非法行为，黑客也能够利用AI聊天机器人和特殊版本来强化网络钓鱼电子邮件。

同时，生成式AI的滥用和恶意使用也会冲击一些行业的发展，部分产业转型如果盲目引入生成式AI，可能也会对企业经营和个人的生活带来新的安全威胁。

此外，生成式AI还面临假信息和舆情操控、隐私和数据安全、道德和法律等方面的问题。“随着生成式AI的普及，很多工作可能都会被自动化，这也会可能大量导致人力资源的重大变化，并产生新的安全问题。”

如何应对这些挑战？高庆一认为，需要更多的教育和培训，要让大家了解生成式AI的优点和使用方法，也需要个人和组织了解如何能够识别和防止生成式AI系统引起的欺诈和攻击行为。

“通过了解这些挑战，我们可以确保这项技术能够安全有效地服务社会。技术是无罪的，有罪的应该是错误使用技术的人性。”高庆一说。

以下为演讲全文：

非常荣幸能够参加2024搜狐年度科技论坛。有些人认为生成式AI就像一颗新型的原子弹，拥有能够改变世界的强大能力，但是也有人认为生成式AI其实比“原子弹”更为危险。在曼哈顿计划当中，只有奥本海默等少数全球顶尖的物理学家了解这项技术，而且原子弹从发明以来，也一直在全球范围内受到严格的控制。

但是生成式AI就不一样了，这是一项所有人都能够触手可及的技术和能力。有很多居心不良的人可以用这项技术达成一些不利于他人的目标。当然，技术本身是中立的，技术的使用和影响取决于使用它的人。

我们经常说一句话叫做，“技术是无辜的，有罪的是人性”。对于更多的企业来说，既要应对生成式AI所带来的安全威胁，也要正确合理的确保生成式AI安全落地，保障生成式AI的系统安全。

首先我想谈一个问题，叫做生成式AI所滋养的恶意大模型的新威胁。大家都知道生成式的人工智能技术的应用，可能会滋生一批恶意的人工智能大模型。恶意人工智能大模型是指不法分子借助开源的模式来模仿。比如，利用ChatGPT等这些合法的训练模型，以及有害语料库训练得到的一类专门用于网络犯罪、诈骗等非法行为的非法大模型。

恶意大模型并不简单等同于人工智能的滥用，它直接目的是用于完成各类非法行为。这种恶意模型常常我们可以把它看到在暗网当中，具有很强的隐蔽性、危害性。它对于国家安全、行业创新、生产活动等等方面都有着严重的危害，形成了人工智能加犯罪的新智力挑战。

在今年早些时候，曾经发生了一起基于最新人工智能深度伪造技术的高端电信诈骗骗局。在这个事件当中，黑客从一家跨国公司在香港办事处骗走了2560万美元，造成了重大损失。收到邮件的员工，大约过了一周之后，才意识到这是一个骗局。他回忆说每个人看起来都像真的一样，这种事情真的很难鉴别。

与此同时，有一批邪恶的聊天机器人也像雨后春笋般出现在网络最黑暗的那些角落。办公室职员可以用ChatGPT来写出更好的电子邮件，黑客也能够利用AI聊天机器人和特殊的版本来强化他们的网络钓鱼电子邮件。这些用聊天机器人来创建的虚拟网站，编写了恶意的软件并定制信息，进而它能够更加逼真的模仿高管和其他可信任的个体来完成他们的诈骗行为。

网络安全供应商SlashNext，在2023年的10月发布了一项报告显示，在ChatGPT公开发布的大约12个月以内，网络钓鱼软件增长了1265%，平均每天出现的网络钓鱼攻击的次数高达3.1万次。印第安纳大学的一项研究也发现，目前在暗网上销售和流行的两百多种大型语言模型，其中最早出现的一个服务，仅仅在ChatGPT发布后几个月就发布了。

目前，各国政府都普遍认识到了生成式AI应用会造成变革性的影响，并且已经开始积极应对由此而带来的风险。早在2023年的3月份，意大利的个人数据保护局就对外宣称，ChatGPT平台已经出现用户对话数据和支付信息的泄露，因此宣布封锁了ChatGPT。此外，已经有大约70个国家和地区先后发布了大约800多项AI治理政策。其中，防止用户隐私泄露、加强个人信息保护是各国治理政策所关注的核心重点。

第二点，我想谈的是它对于行业应用创新和生活方式所带来的新冲击。生成式AI的滥用和恶意使用也会冲击一些行业的发展。比如说，目前的教育领域就涌现出一系列的生成式人工智能模型。但是，这些生成式人工智能产品的内容、质量良莠不齐，并且部分低质量的产品的生命力非常之强，可能会导致出现创作中劣币驱逐良币的现象。比如使用生成式人工智能来辅助完成课业和学术研究，会减少必要的批判甄别和分析研究的过程，这会导致更多的虚假信息和学术垃圾的产生。

此外，部分产业的转型进程也会受到生成式人工智能的影响。大部分传统行业的数字化转型进程其实非常缓慢，行业内经营主体对于正确运用生成式人工智能收集资料、处理数据，并将它应用在研发、生产、销售等环节的自主意愿和能力都不足。

在这种情况下，盲目引入生成式人工智能技术，不仅不能够达到既定目标，反而会适得其反。那么生成式人工智能滥用和恶意使用，可能也会对企业的经营和个人的生活带来新的安全威胁。

首先，企业经营过程中容易出现数据合规风险，版权侵权、商业秘密泄露等这些问题。在经营者对生成式AI在本质和潜在风险缺乏有效认知的情况下，盲目地使用生成式人工智能这个黑盒，去分析、决策、投资、预算等，可能会对企业的平稳运行造成困难。

其次，个人用户在使用生成式人工智能服务的过程中，也面临一定的信息安全问题。目前，山寨版的ChatGPT不断涌现。在相关软件的注册和使用过程中，软件运营方会频繁地向用户索取信息授权。但是，它的产品的服务质量却是很差，存在很高的“跑路风险”，而且相关运营者往往不注意保护信息的安全，导致私人信息的泄露。

此外，部分生成式AI技术还可以绕过邮件过滤和防毒软件等这些传统的安全措施，以相对比较低的成本，生成极具有针对性和攻击性的、个性化的钓鱼软件和广告。而这些内容的生产和传播会对个人的用户安全、财产安全、个人安全等等造成非常严重的威胁。

ChatGPT和其他生成式AI，很大程度上是基于对现有数据的学习来形成智力输出能力。但是这一学习机制也存在明显的缺陷，如果作为学习资料的数据中含有恶意资料，比如说错误的代码或者攻击策略，AI可能会将这些资料视为有效信息进行学习，并且影响自身的内容生成与输出的行为。在这种情况下，生成式AI使用反而会很容易造成错误，这也导致了敏感信息的泄露以及系统安全性的下降。

钓鱼和社交工程也会受到影响，大语言模型可能会被某些不法分子用来增强原有的钓鱼软件或社交工程。比如说，最新的钓鱼邮件可能会针对包括ChatGPT生成的极具欺骗性的内容。这些内容加入了更好的模拟收件人所信任的联系人或者公司的行为，提高诈骗的成功率。

还有代码生成和恶意软件的形成。大语言模型和其他生成式AI系统可能会提高恶意软件的攻击性能，使它变得非常的难以防御。在生成式AI能力的加持下，这些恶意软件的系统可以加速生成全新的从未见过的代码，这可能会使传统的防毒软件和入侵检测系统都会失效。

此外，还有假信息和舆情操控。ChatGPT能够生成逼真的假图像、假视频、假音频，这可能会用于操控舆论以及误导公众。比如金融诈骗/ChatGPT和其他生成式AI可以用于自动执行复杂的金融欺诈计划，或者通过电话或者电子邮件来冒充合法银行或者金融机构的员工来骗取个人。

还有一点叫做隐私和数据安全。虽然我们说AI系统也可以从大量的数据中学习，但是它带来的隐私问题，比如说ChatGPT可能会从聊天记录中学习到用户的私人信息，然后利用这些信息进行攻击，或者部分人员可以通过开发对于ChatGPT提问的模式来诱导信息的泄露。那么AI自身的安全，AI系统可能会被训练来攻击其他AI系统，可能会绕过安全措施的新方法。因此必须确保AI系统自身的安全性和稳定性，做到具有良好的防御能力。

最后我想谈到的是道德和法律的问题。AI系统，其实我们觉得它不应该被看作人类的责任和道德的法律问题，比如说ChatGPT生成了鼓励犯罪或者有害行为的建议，那么到底谁应该负责呢？

这里面又衍生出一个小问题，叫人力资源的影响。随着ChatGPT和其他生成式AI的普及，很多工作可能都会被自动化。这就会可能大量导致人力资源的重大变化，并且产生新的安全问题。

应对这些挑战，需要更多的教育和培训。不仅要让大家了解生成式AI的优点和使用方法，也需要使用个人和组织了解如何能够识别和防止由ChatGPT和其生成式AI系统引起的欺诈和攻击行为。我们看到在学术界，企业机构，私营企业已经通力在合作，那么首先需要制定的是标准和政策，以确保ChatGPT和其他生成式AI系统的安全和可靠。

总之，ChatGPT和其他生成式AI系统提供了很多机会，但是也提供了很多新的安全挑战。通过了解应对这些挑战，我们可以确保这项技术能够安全有效地服务社会。还是那句话，技术是无罪的，有罪的应该是错误使用技术的人性。

除本篇外，搜狐科技还将通过多种方式全方位呈现此次论坛嘉宾，关于前沿科技发展的洞见和思考。更多精彩内容，请关注2024搜狐科技年度论坛专题报道。

专题链接：https://business.sohu.com/sptopic/2024517/

文章来源：顶端新闻

文章链接：https://static.dingxinwen.com/dd-sharepage/detail/index.html?id=1408DEB046B14D75B8659A619D9107#/?categoryId=1