2023年可说是生成式AI在各领域独占鳌头的一年,时至2023年底,一个比生成式AI还火热的话题关键词-AI PC诞生了!AI PC到底是什么?简单来说,可以将AI PC视为PC架构的升级版,广泛定义为不须透过云端平台,计算机装置本身即具备生成式AI功能,与传统PC一样都有中央处理器(CPU)和图形处理器(GPU),但却多了传统PC没有的神经网络处理器(NPU),NPU能以更低功耗快速处理大量数据,搭配本地端的类大型语言模型(LLM),进一步加速生成式AI在工业、商业、教育上的应用发展。
那么AI运算、AI PC和内存又有什么关联呢?如果我们将AI系统比作一个大脑,内存就是掌管大脑中的记忆区域。好比人类大脑需要储存和检索信息来进行学习和决策,AI PC也需要内存来储存和管理数据、模型参数。这个记忆区域就像是大脑的储存库,存放着经过大型语言模型运算后的数据,因此内存的访问速度也影响AI在不同任务上的运算表现。更进一步说明,AI PC即泛指在PC上使用生成式AI(Generative AI),而不需要将设备连接到云端,即使PC在没有网络联机的情况下,也可以在装置端使用生成式AI。
在AI PC中,内存扮演着至关重要的角色,直接影响了整体系统性能和AI任务执行效率,AI运作时需要大量的数据来进行训练和深度学习,而这些数据通常暂存于内存中,由于训练后的AI模型包含大量的参数,且随着模型复杂度增加,参数量也相应增加,因此需要足够的内存容量储存这些参数。高速且高容量的内存可以提供更快的数据访问速度,加速模型训练。在将训练好的模型导入实际应用时,如何优化内存、减少模型的占用空间,以提高内存使用效率变得至关重要。
至于硬件方面,CPU制造商的关注重点集中在终端装置的AI处理能力,以寻求更快速(实时响应、低延迟)、更安全(本机储存)以及更经济(降低服务器依赖)的目标。无论是Intel NPU、AMD Ryzen AI、Apple Neural Engine或Qualcomm NPU,这些技术均透过整合神经加速引擎,致力于在终端装置上实现客户端AI(Client AI)应用,代表使用者不再需要依赖云端运算,即可脱机执行AI推论(Inference)来满足生产需求,并为高效运算的AI PC发展奠定基础。
随着英特尔(Intel)、超威(AMD)都预计于2024年推出新平台,新规格均搭载DDR5,这也将加速推动DDR5的市占率及渗透率,同时带动PC处理器的改朝换代,预计将掀起换机潮与AI PC的蓬勃发展。不仅大型服务器、数据中心和高阶工作站使用者需要高速及大容量的DRAM,以实现更快的数据访问速度;同时,对于那些热爱新科技,渴望透过AI进行创作,或是对内存速度和容量有更高要求的游戏玩家来说,令人期待的AI体验将更加便利、唾手可及!
腾讯科技 2024-11-07
科技狐 2024-11-07
腾讯科技 2024-11-07