百模大战引领终端 AI 体验变革，混合 AI 是关键
7 月 6 日至 8 日，2023 世界人工智能大会 (WAIC) 在上海举行。本届大会以“智联世界 生成未来”为主题，聚焦 AI 前沿技术和产业发展。
今年 WAIC 2023 召开正值全球全球生成式 AI 大模型技术火热之时，从本次大会的主题“生成未来”也可见一斑。生成式 AI，可以说是本次大会最核心的讨论焦点。
从 chatGPT 火热出圈开始，一场由生成式 AI 掀起的全球人工智能新浪潮就开始了。根据科技部新一代人工智能发展研究中心 5 月底发布的《中国人工智能大模型地图研究报告》，目前我国 10 亿参数规模以上的大模型就已经发布了 79 个，一场“百模大战”俨然已经打响。
生成式 AI 大模型的涌现有其必然的原因，就是 AI 作为数字化未来最重要的底层技术，必然会对人类社会的生活、生产带来颠覆性的改变。而生成式 AI 技术，仿佛是让人们对“AI 改变世界”这个概念第一次有了真真切切的体会。
当然，就现阶段而言，AI 距离真正改变世界还有很长的路要走，推动生成式 AI 大规模扩展和应用，也还有待落地到具体的方向和举措中。
说到落地，本次 WAIC 2023 有一家企业可以说非常抢眼，那就是高通。今年是高通连续第六年参会，他们的第二代骁龙 8 的高通 AI 引擎获得大会最高奖项 ——SAIL 奖（卓越人工智能引领者奖），不仅如此，高通还在现场带来了其强大终端侧 AI 赋能的生成式 AI 用例技术演示。
而高通所有的努力，其实都有一个目标，就是为我们描绘混合 AI 引领的数智化未来。
混合 AI 是 AI 发展的必然，是生成式 AI 大规模扩展的关键
生成式 AI 快速发展，出现了很多拥有十亿乃至更多参数的生成式 AI 大模型产品，这些大模型对计算的基础设施提出了极高的要求，也对现有的云端 AI 算力体系构成了巨大挑战。
比如，生成式 AI 搜索可以提供更加出色的用户体验和搜索结果，但每一次搜索查询，成本都是传统搜索方法的 10 倍。目前每天有超过 100 亿次的搜索查询产生，这样它对云端算力带来的负载以及产生的成本规模，都可想而知。
我们需要为 AI 找到一套新的、适合生成式 AI 的发展模式，而混合 AI，目前来说就是最好的选择，可以成为 AI 的未来。
所谓混合 AI，就是终端侧 AI 和云端 AI 协同工作，在适当的场景和时间下分配 AI 计算的工作负载，以提供更好的体验，并高效利用资源。
具体来说，在一些场景下，计算将主要以终端为中心，在必要时向云端分流任务。而在以云为中心的场景下，终端将根据自身能力，在可能的情况下从云端分担一些 AI 工作负载。
也许有同学会觉得，终端的 AI 算力如何跟云端相比？单个终端自然不能，但奈何终端数量异常庞大，如同亿万条支流，就可以在很多场景下摊薄云端高涨的算力负荷。
如同传统计算正在从大型主机和瘦客户端演变为当前云端和边缘终端结合的模式那样，AI 计算必然会朝着超大规模和复杂化的方向发展，因此，AI 处理也必须同时分布在云端和终端，才能让 AI 发挥最大的潜能。
混合 AI，可以说是 AI 发展过程中必然要走的路。它可以为企业带来超高运算需求下成本和能耗的大幅减轻，不仅如此，在性能、隐私、安全、个性化方面也有显著的优势。
比如在混合 AI 架构中，终端侧 AI 处理具有更高的可靠性。举个例子，现在大家使用一些大模型产品，在高峰时段也会经常遇到应答很慢、甚至生成失败的情况。而在混合 AI 架构中，由于相当一部分的计算负载转移到终端侧，生成式 AI 查询对于云的需求时就有更大的可能避免高峰拥堵，从而有效减少排队等待和高时延、乃至拒绝服务的情况。
安全隐私方面，因为敏感的数据和信息可以保留在终端上，无论是对企业用户还是个人用户来说，这一点都是非常重要的。
在混合 AI 架构中，终端侧 AI 能力，是赋能混合 AI 并让生成式 AI 实现全球规模化扩展的关键。
其实，在生成式 AI 出现之前，AI 的处理能力就已经在向边缘侧终端转移了，手机、笔记本电脑、XR 头显、汽车等众多边缘侧终端也都展现了出色的 AI 处理能力，并有实际应用，比如在手机上的暗光拍摄、人脸解锁等等。
那么在终端侧 AI 方面，目前我们已经取得了哪些进展呢？
高通，终端侧 AI 的引领者
说到终端侧 AI 的发展，就要回到高通身上了。
作为在 AI 领域已经有超过 15 年深耕历史的企业，这些年高通在 AI 相关的基础研究突破和跨行业用例规模化扩展方面，都取得了十分傲人的成果。
与此同时，高通一直以来也是终端侧 AI 坚定的支持者和践行者，目前已经面向数十亿手机、
汽车、XR 头显与眼镜、PC 和物联网等边缘终端提供行业领先的硬件和软件解决方案，对推动混合 AI 规模化扩展独具优势。因此，高通在终端侧 AI 方面所取得的突破，很大程度上就能代表我们的整体进展。
比如前面我们谈到生成式 AI 的重要性，而高通对生成式 AI 的研究其实也很早，可以追溯到生成式对抗网络（GAN）和变分自编码器（VAE），利用 VAE 技术，高通创建了更好的视频和语音编解码器，将模型规模控制在 1 亿参数以下。
在终端侧 AI 技术的软件层面，高通已经能够为应用、神经网络模型、算法、软件和硬件进行全栈 AI 研究和优化，从而持续引领推动终端侧 AI 体验革新。具体来说，去年 6 月，高通就推出了专门面向边缘侧 AI 的领先软件栈产品，高通 AI 软件栈，能够支持从软件层面进行模型优化。
比如在算法和模型开发方面，高通在神经网络架构开发和调整方面下了很大功夫，从而能在不牺牲准确度的前提下提高效率，例如在动作识别方面相较于其他方法计算量和时延可以平均减少五倍。还有在超级分辨率技术上，高通基于 Q-SRNet 模型的算法、采用 INT4 量化的软件，以及支持 INT4 加速的第二代骁龙 8 硬件，实现了全球首个实时超级分辨率终端侧演示，与 INT8 相比，INT4 性能和能效提高了 1.5 倍至 2 倍。
在量化研究方面，高通在过去几年也取得了出色的成果，不仅实现了提高性能、降低内存要
求，还能通过让模型在高通专用 AI 硬件上高效运行，降低内存带宽占用，以节省功耗。同时高通 AI 模型增效工具包提供基于高通 AI 研究技术成果开发的量化工具，目前已纳入 Qualcomm AI Studio。
编译器也是高通 AI 软件栈中的关键组件，让 AI 模型能够以最高性能和最低功耗高效运行。他们在传统编译器技术、多面体 AI 编译器和编译器组合优化 AI 研究方面的技术专长已经实现了诸多先进的技术成果。
还有，通过高通 AI 引擎 Direct，高通能够以最高效的方式利用硬件能力，结合第二代骁龙 8 行业领先的 Hexagon 处理器，更将在终端上带来远远领先于这一用例的生成式 AI 能力。
在高通终端侧全栈 AI 优化能力的加持下，高通在几个月前就实现了全球首个 Android 手机上的 Stable Diffusion 终端侧演示。Stable Diffusion 是一个非常出色的从文本到图像的生成式 AI 模型，能够基于任何文本输入，在数十秒内创作出逼真图像。它的参数超过 10 亿，此前一直是在云端运行的。
而这次演示，高通采用全栈 AI 优化的方式，通过量化、编译和硬件加速进行优化，使其能在搭载第二代骁龙 8 移动平台的手机上运行，可在 15 秒内执行 20 步推理，生成一张 512x512 像素的图像。这是在智能手机上最快的推理速度，能媲美云端时延，且用户文本输入完全不受限制。
不仅如此，高通还完成了全球最快的手机上的 ControlNet 终端侧演示。ControlNet 图像生成图像模型是一项语言-视觉模型（LVM），拥有 15 亿参数，能够通过调整输入图像和输入文本描述，更精准地控制生成图像。
在这项演示中，ControlNet 能够在终端侧实现高效交互运行，通过一套跨模型架构、AI 软件和神经网络硬件加速器的全栈式 AI 优化，时延 12 秒内可完成 16 步推理，生成 AI 图像，无需访问任何云端，便能提供高效、有趣、可靠且私密的交互式用户体验。
在今年 WAIC 现场，高通重新带来了这两项生成式 AI 用例的技术展示，成为展会中最抢眼的风景线之一。
而接下来，高通正计划未来在终端侧支持参数高达数百亿的模型，这也将成为基于高通技术的产品的一大差异化优势。
硬件到生态，混合 AI 在加速落地
前面我们说了高通在终端侧 AI 软件层面的全栈优化能力。它的优势在于，模型一旦开发出来，就可以在不同地方使用，再与混合 AI 部署相结合，形成杀手级的组合，将帮助生成式 AI 在不同终端上进行规模化扩展，实现生成式 AI 的普及。
有了强大的软件基础，高通在硬件方面也就能通过实际的产品，推动混合 AI 架构在终端层面的普及。
具体来说，高通的硬件能够提供行业领先的能效，是移动领域竞品的近 2 倍。这其中，高通 AI 引擎就是由多个软硬件组件构成，能在骁龙和高通平台上实现终端侧 AI 加速。
在本届 WAIC 大会上，第二代骁龙 8 移动平台的高通 AI 引擎就获得了 2023 世界人工智能大会顶级奖项：SAIL 奖（卓越人工智能引领者奖）。
第二代骁龙 8 平台的 AI 引擎相比上一代带来了 4.35 倍的 AI 性能提升和 60% 的能效提升，从而为越来越多的创新型 AI 用例和 AI 增强的用户体验提供强大的性能基础。
高通 AI 引擎采用异构计算架构，包括 Hexagon 处理器、高通 Adreno GPU 和高通 Kryo CPU，全部面向在终端侧快速高效地运行 AI 应用而打造。通过异构计算的方式，开发者和 OEM 厂商可以优化智能手机和其他边缘侧终端上的 AI 用户体验。
这其中，Hexagon 处理器是高通 AI 引擎最关键的部分，在第二代骁龙 8 移动平台中，最新的 Hexagon 处理器拥有一系列创新，包括提供专用供电系统、支持微切片推理、INT4 精度、Transformer 网络加速等，可结合高通 AI 软件栈和 AI Studio 提供全栈 AI 能力和优化手段。
简言之，高通 AI 引擎是高通在终端侧 AI 优势的核心，它在骁龙平台和其他众多产品中发挥了重要作用，是高通多年全栈 AI 优化的结晶，能够以极低功耗提供业界领先的终端侧 AI 性能，这一点相信大家都比较熟悉。
除了高通 AI 引擎，还有一点不容忽视的，就是高通部署的边缘侧终端规模十分庞大，搭载骁龙和高通平台的已上市用户终端数量已达到数十亿台，而且每年有数亿台的新终端还在进入市场。这些终端覆盖一系列广泛的产品，包括手机、汽车、XR、PC 和物联网等等等等。
庞大的边缘侧终端网络背后，则是高通在全球范围内赋能混合 AI 产业生态规模化扩展的优势。
在最基础的手机方面，骁龙移动平台是提升顶级 Android AI 体验的领先移动平台，其中就包含含已出货的 20 多亿个具备 AI 能力的处理器。骁龙平台在移动平台 AI 基准测试中也处于领先地位，比如在行业知名的 AI Benchmark 中占据前 20 位。
再比如汽车领域，高通也是座舱和车载信息娱乐解决方案的领导者，目前，全球所有主要汽车制造商都采用了骁龙座舱平台来赋能他们的数字座舱系统，其中像括本田、梅赛德斯、雷诺、沃尔沃、宝马、通用汽车 / 凯迪拉克、长城汽车、丰田、小鹏汽车、广汽集团等在内的诸多汽车制造商都已经启动量产项目，或正在设计采用高通解决方案的平台，以推动业内领先的车内 AI 用户体验以更安全、更舒适和可靠的方式快速落地。
在 PC 和平板电脑领域，骁龙计算平台则通过集成高通 AI 引擎，支持强大的终端侧加速，能够为最新应用带来更佳质量、性能和效率。还有在 XR 领域，迄今为止已有超过 65 款采用骁龙平台的 XR 终端发布，包括 Meta、PICO 和联想等品牌推出的众多广受欢迎的终端，它们集成了高通终端侧 AI 和 Snapdragon Spaces 技术，从而能够提供更具沉浸感的体验，更好地适应周围世界。
而在更广泛的物联网领域，高通则和跨不同垂直领域超过 16000 家的客户有着深度合作。通过嵌入高通物联网芯片组和平台的 AI 处理能力的海量终端产品，支持以高效可行的方式进行终端侧数据分析（比如视频），推动跨多个细分领域的创新和转型，包括机器人、智能摄像头、零售和城市基础设施。
可以看到，高通不仅在引领 AI 技术前沿的基础研究，更在通过全栈的软件优化和成熟的硬件产品，积极与千行百业合作，进行跨终端的行业扩展和生态赋能，从而让混合 AI 驱动的智能网联边缘能够以更快的速度落地。
结语
也许我们能想象生成式 AI 大规模扩展的未来，使用手机会变得越来越简单、智慧，它会成为真正的随身助理；
同时 PC 笔记本会成为更强大的生产力工具，凭借 AI 强大的生成能力，我们的日常工作流将大大提速、过去需要数小时或数天的任务，那时仅需几分钟就能完成。
还有，生成式 AI 也会让汽车成为高度个性化的体验空间，它将能够帮助你规划出行路线，提供定制化的音乐和播客等体验和内容，或者在上班途中列出今日的工作事项……
这些未来的视线，都需要混合 AI 架构成为底层驱动力，这样的趋势势不可挡。而高通正凭借技术创新、全球化规模和生态系统赋能，让混合 AI 逐步成为现实。
相信到那时，我们就能切身感受到混合 AI 如何颠覆我们生活、工作以及娱乐的方式。