解开算法“黑箱”≠披露源代码 应提升人工智能透明度

原标题：解开算法“黑箱”≠披露源代码 应提升人工智能透明度

本文作者 阿里研究院数据经济研究中心副主任傅宏宇

最近聊天机器人很火，这类人工智能产品能够理解人类语言与互动者进行对话，还能根据聊天上下文进行互动等，其中佼佼者甚至能回答人类提出的各种远超以往难度的复杂问题，因此聊天机器人备受追捧，但也有评论对看上去特别智能的聊天机器人提出了担忧：当前基于大数据学习和给定模型下的人工智能始终存在着近乎无解的“黑箱”弊端，人们无法理解算法背后的各种逻辑，以及在这些逻辑下运行程序将会对人造成何种影响。笔者认为，为了解决黑箱问题，要让人工智能可被理解和评估，实现对人工智能的有效控制，需要提高人工智能的透明度。

为了规范人工智能技术发展和应用，我国提出了《新一代人工智能治理原则——发展负责任的人工智能》，确定了我国人工智能治理的核心目标和基本遵循，而近期《互联网信息服务算法推荐管理规定》等立法实践实现了从治理理念到规则落地，提出一份引领全球的人工智能治理中国方案。

通过多方协作对人工智能进行有效治理，防范人工智能风险、引导人工智能向上向善，更好地服务于更多人的需要、推动社会进步、提高我国的国际竞争力，成为包括科技企业在内的人工智能技术开发和应用参与者的普遍共识。

其中，解开人工智能“黑箱”，基于可控、可靠、可用、可信的原则，开发、部署和利用更透明的人工智能，是实现人工智能治理各项要求的基础。

人工智能治理的重大挑战之一，在于人工智能技术的复杂性和不透明性造成了“黑箱”困境。人工智能模型包含大量的代码，人工智能的设计者利用各种来源的数据训练算法，进行建模，获得结果。随着算力的提升，海量数据被收集利用，机器学习逐渐普及，人工智能高速迭代，在不依赖人工调整的情况下，能够自我学习和更新，人工智能的设计者也很难说明人工智能的决策过程和结果。鉴于此，人工智能本身的技术特点也决定了人工智能很难被理解，而当人工智能技术被大规模社会化应用的时候，外界难以了解其设计部署和使用情况，技术专业化和信息不对称造就了弗兰克·帕斯奎尔在《黑箱社会》中所描述的困境，人们无法理解和控制人工智能，也无法避免人工智能对其做出的决策。

在人工智能治理国际规则和域外立法中，透明度是最常出现的原则，强调人工智能系统的设计和实施方式应该保证对其操作进行监督。

针对人工智能技术开发和应用中的不透明问题，《互联网信息服务算法推荐管理规定》（下称《规定》）建立了全面的算法审核机制，通过主动评估、算法备案、算法公示等程序破解算法黑箱，使得人工智能利用的各个环节变得透明，推动人工智能按照法律和政策要求发挥正向价值。欧盟《制定关于人工智能的统一规则并修正某些联合立法行为》的提案则提出，欧盟将建立独立的高风险人工智能系统数据库，高风险人工智能系统投放市场或投入使用之前，提供商或授权代表应在数据库中进行登记备案。美国《2022年人工智能问责法案（草案）》建立了企业自评估、向美国联邦贸易委员会（US Federal Trade Commission，以下简称FTC）进行摘要报告、FTC统一公示的分层次算法透明度体系，并提供技术指导和咨询指引，引导企业对算法进行更大范围的公开。

人工智能透明的目的在于解开黑箱，让相关方了解作为生产工具的人工智能在具体应用场景中发挥的作用以及存在的问题，从而对人工智能的应用情况进行客观评价。一项人工智能应用包含安全风险、技术能力、产业应用和社会影响四个方面的信息，人工智能透明度要求企业评估分析人工智能应用在上述三个方面的设计、部署和实施情况，判断人工智能应用是否具备可控性、可靠性、可用性、可信性，为后续人工智能审查和责任认定提供相关信息。

具体来看，可控性方面需要证明人工智能的研发应用与其目的相匹配，在全生命周期内风险可以被识别、被防范、被管理、被控制，采取了恰当、匹配的手段对人工智能技术本身的风险进行了有效的识别和管控，避免人工智能对人类造成威胁和伤害。可靠性方面需要证明人工智能应用满足客观的技术标准，采用的人工智能技术是完备、安全、稳定的，人工智能系统能够胜任其所承担的责任要求，满足人类对人工智能所提供的服务的需要。可用性方面需要证明人工智能具备实际应用价值，即人工智能应用符合具体场景下的目的和要求，包括提高信息分析能力、优化分析决策和做出更好的判断。可信性方面需要证明人工智能的设计、部署和利用具有正确的价值判断，了解人工智能应用对不同人群的影响，能够在不同的需求之间做作出正确、合理的平衡，人工智能需要以合伦理、负责任的方式促进社会进步。

提高人工智能的透明度，可以促进负责任的人工智能的开发、部署和应用，帮助满足人工智能的可解释性、公平性、包容性、可问责性等要求。一方面，具有透明度的人工智能可以较好地满足可解释性要求。可解释性是让受到人工智能决策影响的对象（包括用户和公众）理解人工智能技术和决策的依据，明确相应的影响。可解释性对于可能“造成伤害”“对个人有重大影响”或影响“一个人的生活、生活质量或声誉”的人工智能尤为重要。英国人工智能特别委员会建议，如果人工智能系统“对个人生活产生重大影响”并且无法为其决策提供“充分和令人满意的解释”，则不应部署该系统。

在实现透明度要求的过程中，需要证明人工智能具备技术能力可靠性、产业应用可用性、社会应用可行性，其中包括对于决策对象用户以及社会公众产生的影响，虽然在精准度方面不一定满足可解释性的要求，但可以帮助用户理解人工智能的技术特点、产业应用目的以及潜在社会风险，为用户在知情的基础上做出选择奠定基础。通过提高算透明度，还可以帮助判断人工智能是否是公平和非歧视的，能否满足有效的人机交互等要求。此外，企业在提高人工智能透明度方面的合理努力，也构成可问责性的重要依据，包括决定是否能够在风险环境中使用人工智能系统。《多伦多宣言》呼吁应避免在高风险环境中使用无法实现足够透明度的人工智能系统。

在人工智能透明的过程中，还需要注意算法安全风险，平衡多方利益诉求。我国对人工智能运行的网络空间享有主权，对于人工智能的攻击和破坏会带来国家安全风险，人工智能的开发者和使用者肩负着保护算法安全的责任，防范未经授权和许可的恶意披露行为，保障网络信息系统的完整性和可靠性，维护社会公众的合法权益。

人工智能透明不等于直接披露源代码，未采取安全保护措施而公开算法源代码，将暴露算法存在的漏洞，带来被攻击和被滥用的可能性，网络灰黑产利用算法漏洞侵犯用户隐私、破坏竞争秩序、侵害财产权益，其后果与人工智能透明的目标背道而驰。在提高人工智能透明的过程中，需要充分考虑安全和秩序，保障他人对于人工智能服务的合理信赖利益，尊重算法所承载的商业秘密和知识产权，为人工智能开发者和使用者不断创新提供有效的保障和激励。

人工智能透明度体系的构建需要科技企业积极配合，通过自律加他律的方式共同实现人工智能可控、可问责。一方面，企业需要按法律要求完善自身的人工智能审核机制，规范人工智能流程管理，实时、动态、科学地实施人工智能自评估，主动发现并处理安全问题，优化人工智能的利用规则；另一方面，企业需要全面履行人工智能安全事件报告、算法备案义务，保证监管机关与企业在人工智能治理上的信息对称，并积极配合监管机关开展安全评估和监督检查工作，提供相应的技术支持，从而保证人工智能运行透明，帮助监管实现人工智能可控、可问责。

《规定》要求企业完善对监管透明的人工智能管理体系，建立包括算法机制审核、科技伦理审查、用户模型管理、安全评估检测在内的合规体系，通过对人工智能进行全生命周期的管理，确保人工智能审核机制透明且符合法律要求。企业需要落实《规定》要求的各类审核机制，完善流程管控和操作机制，落实人员管理责任，确保人工智能运行安全，在发生人工智能责任事件后，做到流程可追溯、责任可落实，通过透明化的运行机制实现人工智能可控、可问责。

此外，人工智能透明度的实现还需要凝聚社会共识、形成多方共治。人工智能快速迭代发展，需要区分真正的社会问题和技术创新带来的进步，而人工智能的受众巨大，数字经济时代的用户都是人工智能的使用者，也应该当让每一个人人都能够参与治理之中，改变“先确定目标再设计方案”的传统治理思路，采取敏捷治理的方式，形成政府、企业、社会的有效互动，打开算法“黑箱”，让算法成为服务人类发展、好用而可靠的“工具箱”。

更多内容请下载21财经APP