智能之巅：低功耗人工智能计算的优雅演绎

院士的话

如何实现低能耗人工智能计算?

人工智能的发展历程中，一个重要的推动因素是对人类神经系统的研究。通过对视觉皮层、听觉系统以及其他神经系统的深入研究，科学家们得以理解和模拟大脑处理信息的方式，这些研究成果为构建更先进的人工智能算法提供了理论基础。然而，尽管人工智能在许多方面已经取得了显著的进步，但在能耗效率上却远逊于人脑。相关研究表明，完成特定任务的人工智能计算系统的能耗大约是人脑处理相同任务能耗的数千倍。这种巨大的能源消耗不仅限制了人工智能的应用范围，也对环境产生了负面影响。

因此，发展低能耗的人工智能成为了科研人员的紧迫任务。未来，人工智能的发展借鉴生物神经系统高效节能的信息处理方式，通过模仿大脑的神经网络结构和突触传递机制，开发出能够像人脑一样在极低能耗下运行的人工智能系统。这样的类脑技术将有可能带来一场人工智能的革命。发展低能耗人工智能计算不仅是解决当前算力瓶颈和环境问题的关键，也将推动人工智能走向千行百业，真正改变我们的生活和社会。

钱德沛

中国科学院院士，北京航空航天大学教授

01

何为人工智能？

人工智能（ArtifcialIntelligence，AI）是一门研究如何使计算机能够模拟和执行人类智能任务的科学和技术领域。它致力于开发能够感知、理解、学习、推理、决策和与人类进行交互的智能系统。1956年8月在美国的达特茅斯夏季人工智能研究计划中首次提出并确立了人工智能这一研究领域。因此1956年被普遍认为是人工智能元年，但人工智能真正为大众普遍关注是在2010年前后，当神经网络终于被明确证明是非常有效的机器学习架构时。研究人员通过学习人类视觉神经系统，发现卷积神经网络能够解决机器视觉问题；通过学习人类大脑的奖励机制，发现了强化学习的方法从而大幅提升机器学习效率。要进一步了解人工智能，就要了解机器学习、深度学习、神经网络这些术语。

从视觉神经网络到机器视觉

人类一直渴望机器能像人一样拥有智能。机器“看懂这个世界”即机器视觉，就是计算机接收到视觉信息如图片、视频、文字并能够进行识别、分类、分析的智能处理过程。哈佛大学的大卫·休伯尔和托斯坦·维厄瑟尔是两位神经生物学家，他们因在猫的视觉系统的研究成果获得了1981年的诺贝尔生理学或医学奖。他们发现视觉信号是通过几层神经元传递后呈现的结果。在初级视觉皮层中，每个神经元仅连接到视野的一小部分区域，这些神经元被称为简单细胞。在下一层，即视觉皮层中，其他单元集成了上一层激活的信息，使得视觉对象即使在视野中稍微移动，视觉系统也能保持图像的呈现，这些单元被称为复杂细胞。这种由简单探测器（简单细胞）被“总结”来创建更复杂探测器（复杂细胞）的机制遍布整个人类视觉系统。最终这种结构和机制成为卷积神经网络模型的基础。

▲卷积神经网络架构

（引自：Yann LeCun论文：Gradient-based learning applied to document recognition）

卷积神经网络的架构如图所示，它是计算机视觉最经典的架构，它模拟人类视觉神经元的感受野，将输入的图像分割为像素点矩阵，通过卷积运算和滑动窗口完成输入信息的特征学习，具有非常高的视觉识别、分类和检测性能，被广泛应用于自动驾驶、人脸识别、自助超市等场景。

02

人工智能大模型高能耗的挑战

全球绿色可持续发展目标

今年联合国气候大会指出，全球碳排放量自2019年以来持续上升，尽管全球在减少温室气体排放方面取得了一些进展，但仍不足以实现巴黎协定的温度目标。2015年签署《巴黎协定》时，预计到2030年的温室气体排放量将增加16%，而如今预计的增加幅度为3%。然而，到2030年温室气体排放仍需分别下降28%和42%，才能达到《巴黎协定》的气温上升2°C 和1.5°C的限制。能源是温室气体排放的主要来源，目前占全球二氧化碳排放量的86%。报告呼吁所有国家加速低碳经济发展的转型，拥有更大能力和排放责任的国家需要采取更具雄心的行动。

大模型高能耗的挑战

人工智能模型的训练和推理是实现人工智能应用的关键环节。训练的过程可以类比为人类的学习过程，需要花费时间和精力来理解和掌握知识；推理可以类比为人类的决策过程，是利用已有的知识进行判断和决策。

人工智能模型训练能耗巨大。根据斯坦福人工智能研究所（HAI）发布的《2023年人工智能指数报告》，OpenAI的GPT-3完成训练耗电量高达1287兆瓦时（1 兆瓦时=1000千瓦时），大约相当于120个美国家庭1年的用电量。而这仅仅是训练人工智能模型的电力消耗。

▲全球承诺排放量示意图

（引自《Emissions Gap Report 2023》）

03

如何应对人工智能的高能耗问题

低能耗人工智能是指在保证性能的同时，降低人工智能计算平台的功耗。随着人工智能技术的广泛应用，越来越多的设备开始搭载人工智能算法，而这也使得这些设备的电量消耗不断增加。因此，如何降低人工智能的能耗，延长设备的续航时间，成为了当前亟待解决的问题。

更高效的数据

数据被视为AI系统的基石，是机器学习算法进行训练和学习的“燃料”，现阶段先进的大模型进行参数训练时，常采用依赖于海量数据的粗犷式计算方式，造成大量计算资源和存储空间浪费。相比于“数海战术”，足量的优质数据更能为AI系统提供全面的、准确的训练信息，使算法在面对未知的情况时能够做出准确且具有鲁棒性的决策。为了适应AI算法的小样本训练和学习，可以通过数据清洗、数据预处理、特征工程等对原始数据进行有效改造，将数据转化为高价值资源，为低能耗AI的开发及优化提供有力支持。

▲数据优化示意图

优化算法

在人工智能领域，算法是人工智能技术的核心，也是能耗的重要组成部分。随着“百模大战”竞争的不断加剧，顶级的NLP模型参数已经高达上千亿，训练使用的高性能加速卡增长到了约4000张，所带来的功耗和成本需求更是惊人。因此，在不降低模型性能的前提下，针对特定应用场景，需要根据数据特性和任务需求，探索算法创新和超参调优，减少模型的复杂度和计算量，进行精细的优化和设计。好的算法可以更好地匹配训练数据，有效挖掘特征信息，更好的理解数据的本质和规律，显著缩短模型训练的时间。模型在推理部署前进行量化和压缩，使模型在运行时更加高效和稳定，进一步降低能源消耗。

硬件提升

算力是模型算法利用数据进行训练和推理的硬件底座，如深度学习算法的计 算任务通常具有海量数据、复杂计算、高度并行等特性，需要计算单元和存储单元高效协同工作，快速完成大规模数据的并发计算和模型的参数优化。相比于中央处理器，图形处理器有更多的计算单元和线程以及更大的内存和带宽，适合人工智能模型的训练和推理。如美国英伟达公司的A100GPU是2020年5月正式发布的，采用7纳米制程技术，在AI算力方面比前代产品V100有显著提升；2022年3月正式发布H100 GPU，采用4纳米制程技术，并且在AI算力和高带宽内存等方面比前代产品有显著提升。如图7所示的性能对比。另一种专门用于加速神经网络推理阶段的定制ASIC，如Google的张量处理单元，Google在2021 年5月发布了第四代张量处理单元TPUv4i。这是用于加速机器学习特别是深度学习。

▲Nvidia的GPU A100和H100性能对比图

（引自Datasheet of NVIDIA H100 Tensor Core GPU）

04

总结

智能计算将逐步成为主流计算方式，低能耗是人工智能走进千行百业、千家万户的必然途径。解决人工智能产业的高耗能问题，将促进全社会数智化转型，助力实现高质量发展、碳达峰与碳中和的发展目标。智能计算将逐步成为主流计算方式，低能耗是人工智能走进千行百业、千家万户的必然途径。解决人工智能产业的高耗能问题，将促进全社会数智化转型，助力实现高质量发展、碳达峰与碳中和的发展目标。

下期小编还会给大家带来其他前沿科技的解读内容，欢迎读者朋友们持续关注我们！

图文内容来源于：

《面向未来的科技——2023重大科学问题、工程技术难题和产业技术问题解读》

好书推荐

关注我们

微信号｜大美科学

院士解读：未来科技的无限可能（1）

07-05热文

宏伟且精湛的吴哥窟

06-26热文