大模型出现滥用和恶意使用等现象 如何推进大模型技术安全发展？

央广网北京12月29日消息（记者焦浩）据中央广播电视总台经济之声《环球新财讯》报道，用户输入简短的几句话或关键词，大模型可以自动生成创意图片或视频；扫描X光、CT影像，大模型可以辅助医生给患者诊断病情……当前，人工智能大模型蓬勃发展，新应用层出不穷。但与此同时，也出现了大模型滥用和恶意使用等现象，如何统筹推进生成式人工智能的安全发展成为一个重要课题。在日前举行的“大模型技术发展与治理创新”研讨会上，业内专家给出了建议。

北京市网信办副主任潘锋说，我国人工智能大模型发展原生程度不足、内生安全不足，同时，部分企业现在还没有找到可盈利的商业模式。

潘锋表示：“当前大模型市场百模大战，但真正有竞争力的模型并不是很多，不少企业还没有找到可盈利的商业模式，面临比较大的生存压力。在对话搜索场景面临竞争红海的同时，自动驾驶、办公、教育、医疗等各类垂类领域的加速释放潜能还没有挖掘出来，未来它必将成为人工智能企业发展的蓝海。”

除了大模型技术自身研发存在的算力、数据供给不足等挑战，在输出方面，大模型生成内容更加逼真也加剧了误用、滥用、恶意使用风险。如何统筹推进生成式人工智能安全发展？在研讨会现场，阿里巴巴、中国电子技术标准化研究院联合发布《大模型技术发展及治理实践报告》，中国电子技术标准化研究院副院长范科峰说，这份报告总结提炼当前的产业最佳实践，为我国人工智能行业的安全治理提供了可借鉴的方法和路径。“在人工智能时代，发展与安全从来都不是对立的，而是相辅相成。人工智能安全标准化工作，既是人工智能安全治理的重要支撑，也是推动技术健康发展的基本保证。”

《报告》认为，公有云是大模型技术发展和应用落地的优选路径，开源生态促进大模型算法发展与安全，高质量数据供给生态是具备持续竞争力的基础，体系化的安全治理能力是稳定发展的保障。阿里巴巴集团安全部总裁钱磊表示，未来将持续提高自研基础模型通义系列的能力，完善AI基础设施和相关支撑系统，降低模型应用开发的成本，提高模型内生安全能力。

钱磊说：“在数据采集、处理阶段强调源头管控，进行严格的数据筛选和数据安全标注，在模型训练和设计阶段通过添加安全语料，设置安全任务等方式提升我们模型的内生安全能力。在模型上线前也会进行全面安全评估，确保各类风险项目在生成内容上的合格率。”

大模型是否安全决定了其能否被人类信任。据统计，截至2024年7月，我国完成备案并上线、能为公众提供服务的生成式人工智能服务大模型已达190多个，各行各业正在积极拥抱生成式人工智能带来的智能化升级浪潮。潘锋说，大模型企业、科研院所等专业团队应该加强自主创新能力，在学习的基础上实现对国际领先科技的超越，全方位提高人工智能算法、架构的自主研发水平。

潘锋表示：“针对大模型内在的安全，要建立健全大模型从研发、上线、到运行等全生命周期的管理体系，完善人工智能安全的服务生态，增强人工智能的便利性、稳定性、可靠性，提升人民群众的感觉度和幸福度。”