科技伦理审查制度初现：为狂飙的AI系上安全带
文 | 史宇航 汇业律师事务所 顾问
一、背景
随着ChatGPT、Midjourney等AIGC产品走入公众视野，发展狂飙突进，人工智能（“AI”）所带来的伦理问题日益严重。AI的伦理问题已经不是停留在科幻作品中才会出现的剧情，相反，通过“AI换脸”进行电信诈骗屡见不鲜，利用逝者的聊天数据、影音资料“复活”逝者的虚拟人技术也开始投入实用，上述现象无一不预示着AI的伦理问题正在被摆上台面。
2023年4月，科技部就《科技伦理审查办法（试行）（征求意见稿）》（“试行办法征求意见稿”）公开征求意见，标志着2022年中共中央办公厅与国务院办公厅颁布的《关于加强科技伦理治理的意见》的具体落地，也标志着AI等科技的伦理审查制度已经初具雏形。从2022年至今，已经有上海、广东、四川、云南、黑龙江、辽宁等多地建立了科技伦理审查备案中心或制定了科技伦理治理实施意见。
在此背景下，企业对于AI的科研、开发，除了资金与技术的投入，科技伦理合规已经成为一道无法跳过的必答题。
二、AI伦理的监管框架
传统上，伦理审查更常见于涉及人的医疗健康领域，但随着大量新兴技术的科研活动正在对伦理形成颠覆性的挑战，科技伦理也在传统健康领域的基础上，将审查范围扩展到AI、脑机接口等领域。因此，我国也颁布了一系列关于科技伦理与人工智能伦理的法规与文件：
在“试行办法征求意见稿”中，适用范围包括多项可能与AI相关的科学研究、技术开发等科技活动，主要包括：1）涉及个人信息的科技活动，以及；2）可能在生命健康、生态环境、公共秩序、可持续发展等方面带来伦理风险挑战的科技活动。此外，“试行办法征求意见稿”明确要求从事人工智能等科技活动的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会。
目前“试行办法征求意见稿”中未履行科技伦理相关义务的处罚力度尚不明确。但根据《科学技术法》，如果相关企业或个人违背科研诚信和科技伦理的科学技术研究开发和应用活动，可能的处罚包括：
目前科技部关于科技伦理的行政处罚还较为罕见，但考虑到《科学技术部行政处罚实施办法》即将于2023年4月20日正式施行，科技部可能会在《科技伦理审查办法（试行）》正式颁布后强化科技伦理的检查与执法工作。
此外，“试行办法征求意见稿”拟采取清单管理的模式，要求企业针对清单内的科技活动完成本单位的初步审查后，报请所在地方或相关行业主管部门组织开展专家复核，相当于增加了额外的审批流程。当前被纳入清单的AI相关科技有：
1.具有舆论社会动员能力和社会意识引导能力的算法模型、应用程序及系统的研发。
2.面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发。
三、科技伦理（审查）委员会
科技企业设立专门的AI伦理委员会已经成为常态，Facebook、Google、索尼、微软、SAP等科技巨头均设立有自己的伦理委员会。在国内阿里巴巴、商汤、海康威视等企业也设立了科技伦理委员会，以确保AI技术的合规发展与使用。
根据此次“试行办法征求意见稿”，企业内部的科技伦理（审查）委员会将成为企业内部AI治理核心机构。该委员会并非只是企业内部的自治组织，而是需要于设立后30日内在国家科技伦理管理信息登记平台进行登记，登记的内容包括：委员会的组织、章程、工作制度等。而清单内科技活动的审批也应当进行登记。此外，科技伦理实行登记制，即单位需要在每年第一季度提交上一年度的科技伦理（审查）委员会工作报告、纳入清单管理的科技活动实施情况报告等。
科技伦理（审查）委员会机构将负责：
1.制定完善科技伦理（审查）委员会的管理制度和工作规范；
2.提供科技伦理咨询，指导科技人员对科技活动开展科技伦理风险评估；
3.开展科技伦理审查，按要求跟踪监督相关科技活动全过程；
4.对拟开展的科技活动是否属于高风险科技活动清单范围作出判断；
5.组织开展对委员的科技伦理审查业务培训和科技人员的科技伦理知识培训；
6.受理本单位科技活动中涉及科技伦理问题的投诉举报；
7.按管理部门要求进行登记、报告，配合管理部门开展涉及科技伦理审查的相关工作。
因为企业的科研活动是持续进行的，因此科技伦理（审查）委员会需要作为一个常设机构，对企业内部的科研活动提供持续支持，如果无法作为常设机构，也应当有能力提供及时的响应。对此企业应当提供场地、经费的支持。
委员提名与任命将会成为一项关键企业治理要素。科技伦理（审查）委员会人数应不少于7人，设主任委员1人。委员任期为5年，可以连任。委员会成员应由不同背景的委员组成，可以从专业、性别、年龄等维度实现组成人员的多元化，在少数民族地区还应当考虑民族因素。
因为科技伦理（审查）委员会具备一定的门槛，因此未设立该委员会的单位可以书面委托其他单位的委员会开展审查工作，以满足法规要求。但委托其他单位进行AI伦理审查，意味着商业秘密泄露的风险更高，审查结果也会有更多的不可预见性。
四、审查流程
科技伦理的审查分为审查与复核双重程序。审查程序具体分为一般审查、简易审查与应急审查三类，而复核程序适用于清单内科技活动的进一步审查。
对AI企业涉及数据和算法的科技活动，审查的重点将包括：1）数据处理方案符合国家有关数据安全的规定；2）数据安全风险监测及应急处理方案得当；3）算法和系统研发符合公平、公正、透明、可靠、可控等原则。
五、AI伦理审查影响与合规策略
科研、产品上市周期需要纳入科技伦理审查的因素。因为中国将AI伦理审查作为强制程序，要求企业的AI研发活动得到企业内部科技伦理（审查）委员会的批准，并且可能需要报请主管部门批准。这意味着产品的科研、投入周期可能会延长，企业需在新技术研发伊始就将科技伦理的审查、复核流程纳入规划，避免因为伦理审查延误产品进程。引入伦理审查机制以后，一个新的AI框架或产品是否能够面世将不只是取决于市场、资金、技术等因素，还要考虑伦理因素。可以想象，创始人以后在AI科技产品的发布会上可能不只会讲自己的技术如何领先，还会讲我们的科技伦理审查编号是XXX，如何比竞品更符合伦理规范。
AI企业的内部治理架构也可能需要针对伦理审查的要求进行调整。鉴于中国的AI伦理审查将成为强制性的要求并且持续跟踪科技项目，AI伦理（审查）委员会在企业内部的地位也会相较于海外更高，拥有对具体项目的否定权，并且受上级机关直接监督。因此，任命哪些人员全职或兼职担任委员将会是考验企业治理能力的新科目。2014年在Google收购Deepmind时，Deepmind的一个条件就是收购后设立人工智能伦理理事会，以确保其人工智能技术不被滥用。可以预见，未来围绕着人工智能企业开展的交易中，科技伦理（审查）委员会成员的任命权或提名权会越来越频繁地出现在交易条款中。
跨国企业在其他国家审查结果不能直接适用。因为各国（地区）的伦理、道德、法规并不一致，其他国家符合伦理的科研活动未必符合我国的要求。对于跨国合作，“试行办法征求意见稿”第21条要求“国际合作科技活动……应通过合作各方所在国家规定的科技伦理审查后方可开展。”因此，如果企业在境外研发中心开发AI项目或训练模型，希望在中国投入测试或实用，仍然需要通过我国的科技伦理审查。
品牌方采购AI或将AI嵌入自己的产品可能被认定为技术开发，需要开展科技伦理审查。企业在采购或委托开发的过程中，需要在技术开发合同中约定提供方的科技伦理审查义务，如约定AI提供方协助完成AI伦理审查、由AI提供方的伦理（审查）委员会负责新产品的审查，或可以要求AI提供方提供完成伦理审查的证明。
AI科技伦理审查应当与其他机制做好衔接。AI的研发部署，会同时涉及个人信息保护影响评估、算法安全评估、算法备案等多项制度。此外，AI科技活动中个人信息处理的合法合规本身也是伦理审查内容之一，这些审查项目互为表里。因此，企业需要合理规划、协调不同审查、评估、备案的要求与进度。