2024通过NPU和异构计算开启终端侧生成式AI（附下载）
今天分享的是：2024通过NPU和异构计算开启终端侧生成式AI（报告出品方：Qualcom）
生成式AI变革已经到来。随着生成式AI用例需求在有着多样化要求和计算需求的垂直领域不断增加，我们显然需要专为AI定制设计的全新计算架构。这首先需要一个面向生成式AI全新设计的神经网络处理器(NPU)，同时要利用异构处理器组合，比如中央理器(CPU)和图形处理器(GPU)。通过结合 NPU 使用合适的处理器，异构计算能够实现最佳应用性能、能效和电池续航，赋能全新增强的生成式A1体验。
NPU 专为实现低功耗加速 A1推理而全新打造，并随着新 A1用例、模型和需求的发展不断演进。
优秀的 NPU 设计能够提供正确的设计选择，与AI行业方向保持高度一致。
高通正在助力让智能计算无处不在。业界领先的高通HexagonNPU面向以低功耗实现持续稳定的高性能AI 推理而设计。高通NPU的差异化优势在于系统级解决方案、定制设计和快速创新。通过定制设计NPU 以及控制指令集架构(ISA)，高通能够快速进行设计演进和扩展，以解决瓶颈问题并优化性能。Hexagon NPU是高通业界领先的异构计算架构--高通A1引擎中的关键处理器，高通A1 引擎还包括高通Adreno”GPU 高通Knyo"或高通 Oryon”CPU、高通传感器中枢和内存子系统。这些处理器为实现协同工作而设计，能够在终端侧快速且高效地运行A1 应用。我们在 AI基准测试和实际生成式A1应用方面的行业领先性能就是例证。
我们还专注于在全球搭载高通和骁龙平台的数十亿终端设备上实现便捷开发和部署，赋能开发者。利用高通A1 软件栈(QualcommAlStack)，开发者可在高通硬件上创建、优化和部署AI应用，一次编写即可实现在不同产品和细分领域采用高通芯片组解决方案进行部署。高通技术公司正在赋能终端侧生成式A1的规模化扩展。
处理器集成于 SoC 中的诸多优势
在不断增长的用户需求、全新应用和终端品类以及技术进步的驱动下，计算架构正在不断演进。最初，中央处理器(CPU)就能够完成大部分处理，但随着计算需求增长，对全新处理器和加速器的需求出现。例如，早期智能手机系统由CPU和环统CPU分布的分立芯片组成，用于2D图形、音频、图像信号处理、蜂窝调制解调器和GPS等处理。随着时间推移，这些芯片的功能已经集成到称为系统级芯片(SoC)的单个芯片体(DIE)中。例如，现代智能手机、PC和汽车SoC已集成多种处理器，如中央处理器(CPU)、图形处理器(GPU)和神经网络处理器(NPU)。芯片设计上的这种集成具有诸多优势，包括改善峰值性能、能效、单位面积性能、芯片尺寸和成本。
以下为报告节选内容：
报告共计：20页
中小未来圈，你需要的资料，我这里都有！