0.6秒出图！手机跑Stable Diffusion创下最快速度，而这仅仅是开始
机器之心原创
作者：杜伟
如今，随着将大模型塞进手机的进程加快，普通用户也能亲自体验生成式 AI 的魅力了。
2023 已经行至尾声，这一年大模型和生成式 AI 成为人工智能圈的主流趋势。自 ChatGPT 出现以来，各式各样通用、专业的 AI 大模型层出不穷，喷涌之势已经不可阻挡。随着量化、网络剪枝和知识蒸馏等模型压缩技术进步，手机等终端设备 AI 算力持续增强，大模型在云端部署之外正在向终端落地迈进。
对于这场已经拉开了序幕的「终端侧革命」，芯片巨头和手机厂商们成为主力军，他们不断尝试在手机等终端设备上部署运行生成式 AI 大模型，时不时给人们一点小小的惊喜和震撼。
今年 2 月，我们第一次看到了在手机上运行超过 10 亿参数的文生图大模型 Stable Diffusion。那是在一部搭载高通第二代骁龙 8 移动平台的安卓手机上运行的，不到 15 秒的时间执行 20 步推理，生成了一张 512×512 像素的图像。这也创造了当时智能手机上最快的推理速度。
你以为这就是手机运行 Stable Diffusion 的速度极限了吗？显然不是。在上个月举行的 2023 骁龙技术峰会上，不到 15 秒的生成时间又被整整缩短数十倍。高通最新旗舰移动平台第三代骁龙 8（以下简称骁龙 8 Gen 3）让速度飞升成为可能。
在峰会现场，高通用搭载了骁龙 8 Gen 3 的手机运行相同的 Stable Diffusion 大模型，这次不到 1 秒（0.6 秒）的时间便在本地生成了一张图像。从 15 秒到 0.6 秒，终端侧生成式 AI 大模型的进化速度让我们惊叹不已。
这只是高通在本届骁龙技术峰会上展示其终端侧 AI 能力的牛刀小试。除了生成速度（从 15 秒到 0.6 秒）有了质的飞跃，骁龙 8 Gen 3 将支持运行的大模型参数规模（从 10 亿到百亿）提升一个量级。
大模型赋能平台也不再局限于手机，高通下一代 AI PC 芯片骁龙 X Elite 亮相，将百亿参数大模型「塞进」PC 平台，极大拓展了生成式 AI 应用的广度。
至此，高通在终端侧 AI 领域积累起来的领导力和技术领先性进一步得到加强，更赋予了手机、PC，甚至耳机等厂商更多终端 AI 落地的想象力和可能性。
双平台并进，让生成式 AI 更加触手可及
自今年 2 月以来，高通先后在搭载第二代骁龙 8 移动平台的安卓手机上运行 Stable Diffusion、ControlNet，让大模型跑在手机端成为现实。此次骁龙峰会上发布的骁龙 8 Gen 3 将大模型终端侧落地的潜力提升到了新的高度，使其自身继续在该领域引领潮流。
据了解，骁龙 8 Gen 3 采用的高通 AI 引擎拥有面向移动终端的强大 Hexagon NPU，集成了升级后的硬件加速单元、微切片推理单元、加强张量、标量和矢量单元，所有单元共享 2 倍带宽的大容量共享内存。同时支持 INT8+INT16 的混合精度以及 INT4、INT8、INT16 和 FP16 的所有精度。性能较前代提升 98%，能效提升 40%。
骁龙 8 Gen 3 集成的高通传感器中枢也更强，拥有 2 个始终感应 ISP、2 个 micro NPU 和 1 个 DPS，内存增加了 30%，支持 INT4 精度，AI 性能提升了 3.5 倍。
可以说，骁龙 8 Gen 3 赋予了手机前所未有的强大终端侧 AI 性能，成为高通首个专为生成式 AI 打造的移动平台。那么这款旗舰级移动平台是否名副其实呢？这是我们大家最为关心的问题。
在该平台上，高通 AI 引擎首次支持多模态生成式 AI，包括了多种大语言模型、视觉语言模型等。尤其是在终端侧，骁龙 8 Gen 3 首次支持运行 100 亿参数的模型，规模迈入百亿量级。同时将 Stable Diffusion 生成图像的时间降到了 1 秒之内，再次创下最快速度。
在跑 Meta 大语言模型 Llama2-7B 时，骁龙 8 Gen 3 每秒可以生成 20 个 token，同样是手机终端侧最快之一。
高通公司产品管理高级副总裁 Ziad Asghar
现在，骁龙平台已经支持运行 OpenAI、Meta、微软、安卓、stability.ai、BLOOM、百度、智谱、百川智能、有道等企业或机构的大模型，既为这些厂商将自身大模型能力「下放」到终端侧提供契机，也为用户体验生成式 AI 带来了丰富的选择项。
牵一发而动全身，随着高通在赋能大模型终端落地上的进一步动作，采用骁龙 8 Gen 3 移动平台的手机厂商快速跟进，加速了大模型集成到手机的进程。
以首发搭载骁龙 8 Gen 3 移动平台的小米 14 系列新机为例，AI 大模型技术已经集成到小米全新澎湃 OS 中，并上线各种终端侧应用。有了大模型能力加持，小米 14 支持了 AI 妙画、AI 搜图、AI 写真、AI 扩图等多项功能，让输入法、WPS、相册焕发新的活力。
vivo 旗下品牌 iQOO 12 系列同样搭载了骁龙 8 Gen 3 移动平台，全新高通 AI 引擎使其影像体验大幅升级，照片质感和细节拉满。同时该系列手机预装的 OriginOS 4 系统引入生成式 AI 功能，AI 助手蓝心小 V 可以进行超能语义搜索、超能问答、超能写作、超能创图、超能智慧交互，智能化程度明显提升。
此前在骁龙峰会上，荣耀 CEO 赵明宣布新旗舰手机荣耀 Magic 6 将搭载骁龙 8 Gen 3 移动平台，已支持 70 亿参数的终端侧 AI 大模型，为用户提供更加智能化的体验。他在现场演示了终端侧 AI 进行照片搜索、生成视频等智能操作，效果着实不错。
手机终端融合大模型能力催生了大量或好玩、或有助于提升生产力的生成式 AI 应用。未来更加丰富的生成式 AI 应用会让更多用户切身体验到 AI 的魅力，提升自身交互体验，这也正是高通致力于在终端侧打造生成式 AI 能力的重要源动力之一。
在持续利用 AI 赋能手机移动平台之外，高通也在寻求利用并把握好大模型及生成式 AI 的发展契机，以此来重塑 PC 行业，扩大自身在 AI 领域的领先优势。
生成式 AI 有了「第二阵地」
高通发布了面向 PC 平台的全新处理器骁龙 X Elite，它采用 4nm 制程工艺，集成定制的高通 Oryon CPU，运行速度是英特尔 12 核处理器的 2 倍，功耗比英特尔竞品低 68%，高峰时段的运行速度比苹果 M2 快了 50％。
如果这些参数还无法让你相信骁龙 X Elite 的强悍，那就跑个分吧。骁龙 X Elite 拥有两个版本：分别是注重续航表现的 23W 版本和主打性能的 80W 版本。Geekbench 6 测试下的单核和多核得分情况如下图所示，单核性能尤为亮眼。
图源：fonearena
同样地，骁龙 X Elite 专为 AI 打造。它采用业界领先的、集成高通 Hexagon NPU 的高通 AI 引擎，异构算力高达 75TOPS，Hexagon NPU 算力为 45TOPS，为创意应用、视频会议和生产力助手的变革性体验提供了算力基础。高通 AI 引擎还支持了大量的加速应用程序和体验，创造无限可能性。
超强生成式 AI 能力也成为骁龙 X Elite 的一大标签，截止到发布时，它已支持在端侧运行超过 130 亿参数的生成式 AI 模型，面向 70 亿参数大模型每秒生成 30 个 token，AI 处理速度是竞品的 4.5 倍。下图为 PC 端 AI 作画能力的展示。
从手机到 PC，多样化的端侧平台为释放生成式 AI 能力提供了更多渠道。这也表明，高通在终端侧生成式 AI 落地这条赛道上继续「加码」，背后既离不开技术上的厚积薄发，也是其在大模型时代自身 AI 发展战略的延续。
手机、PC 加速迎来全新 AI 时代
在当今大模型时代，终端侧部署生成式 AI 这条路线越来越明晰。基于此，高通始终秉持「混合 AI 是 AI 的未来」这一理念和战略，注重云端与终端的协同发展，并认为终端侧 AI 是扩展生成式 AI 至全球更广泛范围的关键。
遵循这一前瞻性认知，高通一步步积累，逐渐在自身布局中构建了强大、全面的终端侧 AI 能力，并引领了端侧大模型及生成式 AI 的革新与进步。毫无疑问，此次骁龙峰会上发布的骁龙 8 Gen 3、骁龙 X Elite 将进一步夯实高通作为终端侧 AI 领导者的地位。
高通全栈 AI 优化方案
如果大模型继续保持当前的落地步伐，我们将可以在手机、PC 甚至 XR 可穿戴设备、智能网联汽车等智能终端上体验到更多生成式 AI 应用，让人机交互更加自然且个性化。反过来，这些生成式 AI 应用以及带来的体验变革也将对这些终端设备产生深远影响，甚至改变它们的核心驱动力，重新定义它们。
我们以与人们工作、生活息息相关的手机为例，在追求绝对性能之外，人们越来越多地关注一些创意性应用。这就需要 AI 大显身手，生成式 AI 性能更是成为下一代手机处理器角逐的核心竞争力。
因此，骁龙移动平台近年来持续发力于此也在意料之中了。从去年的骁龙 8 Gen 2 到此次骁龙峰会上的骁龙 8 Gen 3，AI 早已无处不在，生成式 AI 一跃成为「AI 皇冠上的新明珠」，受到了广泛关注和青睐。
随着大模型及生成式 AI 在手机终端落地的范围越来越广、成熟度越来越高，我们或许可以看到：传统智能手机被生成式 AI 能力全方位加持的「AI 手机」所取代。小米等手机厂商新发布的旗舰机在这方面已经初具雏形，利用生成式 AI 增强一些场景的使用体验和效率，为未来颠覆手机的质变做好了充分的量变。
同时，PC 终端的革新也有类似向生成式 AI 能力倾斜的发展趋势。在这方面，集成到 Windows 中的微软 Copilot 是一个很好的例证。当然还有更多生成式 AI 变革人与 PC 交互的场景和方式，借此实现更高效的智能协作、更简化的工作流程、更强大的生产力、更定制化的使用体验。
骁龙 X Elite 一出手便瞄准生成式 AI，势必会为当前的 PC 市场注入新鲜血液。在第六届虹桥国际经济论坛 ——「智能科技与未来产业发展」分论坛上，高通公司中国区董事长孟樸发表了主题演讲，认为下一代 PC 将进入一个全新的「AI PC」时代，以智能、高性能、高效等为特点， 并将对办公效率等方面产生重要意义。
相信未来高通会在骁龙 8 Gen 3 等移动平台和骁龙 X Elite 等 PC 平台的基础上，继续加强自身在大模型和生成式 AI 上的基础能力。加之更多搭载这些平台的厂商发布全新旗舰手机和 PC 产品，他们不断增强的自主性及自研能力可以让我们期待更多样化生成式 AI 应用的亮相。
不过，在「AI 手机」和「AI PC」的 时代真正到来之前，还要看生成式 AI 能力是否能让用户产生强烈感知、是否能准确满足他们的需求、是否能对相关应用产生依赖性、以及是否能带动他们换机的欲望，这些都是高通和手机厂商现在及未来要考虑的问题。
结语
自发布以来，骁龙 8 Gen 3、骁龙 X Elite 展现出的强大生成式 AI 能力留给人们无限的想象空间。正如高通公司总裁兼 CEO 安蒙所言，「我们正在进入将改变用户体验的生成式 AI 时代，也将创造一个移动行业和计算行业的全新周期。」
在这一进程中，作为终端侧领导者的高通正担负起应有的时代角色。一方面，利用自身强大的全栈 AI 优化能力汇聚软硬件各方，助力终端侧 AI 生态快速发展；另一方面，全新的跨平台技术「Snapdragon Seamless」实现安卓、Windows 和其他操作系统无缝衔接，这种多终端体验有望将 AI 在手机、PC 等终端上的落地进一步拓展开来。
可以预见，基于骁龙生态的 AI 体验会非常快速铺展开来，各种应用落地的速度也将大大加快。未来，高通将继续保持自身在终端侧 AI 的技术优势，推动大模型在部署应用时更便捷、更丰富、更有吸引力。同时携手各大厂商创新基于大模型的生成式 AI 应用，降低普通用户使用生成式 AI 的门槛。
随着新的生成式 AI 时代开启，高通是否能持续满足人们的期待，我想这次骁龙峰会已经给了我们答案。
参考链接：
https://www.qualcomm.cn/news/releases/2023/10/releases-2023-10-24-3