当前位置：首页|资讯|生成式AI

昇腾CANN 7.0 黑科技：大模型推理部署技术解密

作者：昇腾AI开发者发布时间：2023-11-09
生成式AI

近期，随着生成式AI大模型进入公众视野，越来越多的人意识到抓住AI的爆发就是抓住未来智能化变革的契机。AI基础设施如何快速部署使用，以及如何提升推理性能，逐渐成为众多企业关注的焦点。 CANN作为最接近昇腾AI系列硬件产品的一层，通过软硬件联合设计，打造出适合昇腾AI处理器的软件架构，充分使能和释放昇腾硬件的澎湃算力。针对大模型推理场景，CANN最新发布的CANN 7.0版本有机整合各内部组件，支持大模型的量化压缩、分布式切分编译、分布式加载部署，并在基础加速库、图编译优化、模型执行调度等方面针对大模型进...【查看原文】

相关资讯

昇腾CANN 7.0 黑科技：大模型训练性能优化之道

目前，大模型凭借超强的学习能力，已经在搜索、推荐、智能交互、AIGC、生产流程变革、产业提效等场景表现出巨大的潜力。大模型经过海量数据的预训练，通常具有良好的通用性和泛化性。用户基于“大模型预训练+微调”开发范式即可在实际业务场景取得理想的效果。从经济成本和时间成本来看，预训练是构筑各种行业模型的主要部分，优化大模型预训练具有非常重要的意义。 Open AI研究表明：大模型表现好坏强烈依赖于模型规模，弱依赖于架构；模型表现随着计算量、数据量和参数量提升；模型表现随着训练数据量和参数量的提升是可预测的。总体

AIGCOpenAI

昇腾AI开发者 2023-10-20

昇腾CANN 7.0黑科技：DVPP硬件加速训练数据预处理

随着人工智能的快速发展，越来越多的应用场景需要使用机器学习和深度学习模型。AI网络模型的训练一般分成两个关键部分，一个是训练数据预处理，一个是模型训练，如何提升两者的处理性能成为提升模型训练性能的关键。一般情况下，数据加载预处理由host CPU处理，而模型训练计算是在NPU或GPU上处理的，两者一般并行执行，因此训练一次迭代的时间通常是两个处理时间的最大值。 在NPU/GPU上进行模型训练计算，为了充分使用计算资源，一般采用批量数据处理方式，因此一般情况下为提升整体吞吐率，batch值会设置的比较大，常

人工智能机器学习深度学习

昇腾AI开发者 2023-11-14

大模型国产化适配8-基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化）

随着 ChatGPT 的现象级走红，引领了AI大模型时代的变革，从而导致 AI 算力日益紧缺。与此同时，中美

AI大模型ChatGPT

吃果冻不吐果冻皮 2024-05-07

华为联合WPS AI，见证昇腾大模型推理应用启航

7月5日，2024世界人工智能大会（WAIC2024）期间，昇腾人工智能产业高峰论坛2024在上海世博中心盛大举行，论坛现场，华为联合WPSAI等11家生态伙伴及客户发布基于昇腾大模型推理解决方案的五大场景优秀实践，共同见证人工智能大模型在“文本生成、文生视图、辅助编程、终端应用、智能办公/客服”应用启航的历史时刻。

华为人工智能编程客服

砍柴网 2024-07-07

基于CANN的AI推理最佳实践丨多路极致性能目标检测应用设计解密

当前人工智能领域，最热门的无疑是以ChatGPT为代表的各种“新贵”大模型，它们高高在上，让你无法触及。但在人们的日常生活中，实际应用需求最大的还是以Yolo模型为代表的目标检测“豪强”，它们每天都在以各种方式落地、应用于我们日常生活的方方面面。目标检测是计算机视觉领域的一项关键技术，它的任务是找出图像中所有感兴趣的目标，确定它们的类别和位置。随着人工智能潜移默化地渗入人们的生活中，各行各业竞相通过引入目标检测等技术打开市场空间，关于目标检测的各类人工智能需求也奔涌而来，比如：在交通领域，目标检测可以用来

人工智能ChatGPT

昇腾AI开发者 2023-07-06

近期资讯

国家金融监督管理总局中国金融传媒博士后科研工作站公开招收2024年度博士后研究人

国家金融监督管理总局中国金融传媒博士后科研工作站（以下简称金融监管总局金融传媒博士后工作站）系经人力资源和社会保障部批准，2024年8月由原中国银保监会博士后科研工作站转隶成立。本工作站重点围绕宏观经济金融运行、银行业保险业改革发展战略性、前瞻性、系统性问题开展研究。自2006年首次招收博士后以来，本工作站（包括原银监会、原保监会、原中国银保监会博士后工作站）已累计培养88名博士后，为各金融机构、高校及科研院所输送了一大批高层次金融研究人才。 为进一步深化金融业改革发展重大问题的研究，本工作站现面向社会招

金管证监干货通 2024-09-14

吉利星愿预售价公布，7.88万起，后驱加持，比海豚便宜

9月14日，吉利星愿正式开启预售，新车的预售价区间为7.88-10.78万元，共推出5款车型。新车定位小型纯电动车，基于GEA新能源架构开发，由于有着后发优势，所以各方面都比海豚略有优势。关于价格说两句，虽然星愿的预售价为7.88万起，很多人会觉得比海豚便宜了很多，但要知道的是星愿有两款是310km的版本，而现款在售的海豚起步就是420km，所以应该拿星愿410km来对比。结合下图看，星愿410km的起步价为9.18万元，这个价格也是要比海豚入门版的9.98万要便宜。至于具体的配置，后续我们也会写一篇对比

汽车公告板 2024-09-14

被组织自发荧光困扰了？不妨进来看看

提到自发荧光（Autofluorescence），做实验的小伙伴们都知道这是多么让人头疼的事情，组织自发荧光导致目的荧光信号检测被严重干扰，让人猝不及防。那么怎么解决这个问题呢？我们今天针对动物实验涉及到的活体成像和组织切片的自发荧光，探讨一些减少或去除自发荧光干扰的方法。图1 经典的组织自发荧光照片（源于网络） 组织自发荧光是指生物组织中的某些天然成分在受到特定波长的光激发后会发出荧光的现象，这通常是它们本身固有的特性。一种观点是认为这种内源性分子结构中包含多环碳氢化合物，它能够吸收一定波长的光，使电子

小恒学术 2024-09-14

Blender常用的建模渲染插件资源200个分享

Blender不仅开源免费，插件资源也相当丰富，今天我们一起来看看blender软件的插件，其中群友给我整理提供了200多个，可供各位大佬享用！PS：回“渲染101农场云渲码6666”，领取，大家懂滴！渲染101农场云渲码6666渲染101农场云渲码6666Rig Creator：这是一个测试版的插件，可以快速为您的角色进行绑定，提供了一个基础的架构，能够调整骨骼位置以匹配角色的身体，并自动应用权重。Freezing Effect Generator：这款免费插件可以在 Blender 中实现程序化冰冻效

渲染101云渲染农场6666 2024-09-14

沙漠观光车旅游车沙漠越野首选

在广袤的沙漠地带，有两种特别设计的车辆备受瞩目，它们就是越野车中的佼佼者：牧马人与Buggy，可是今天介绍的这款，远超牧马人该车采用一体式焊接技术，结实程度可想而知，车内装配了减震座椅，行驶在沙漠上如同海上冲浪，绝对舒适的驾驶乘坐体验该车共有十八个座位，虽然该车十分结实耐用，采用的也是宽大的沙漠胎，但是有了车，千万别一无所知就扎进沙漠。沙漠远比你想象的恐怖。做好准备再出发，这是常识。沙漠中行驶要注意什么呢？一般城市边缘的沙漠，温度会比城里低个2-3度，且早晚温差大。比如，这次英雄会，大家最好携带

湖北越野专用车2 2024-09-14

如何用SpringBoot搭建摇滚乐鉴赏网站？一步步教你实现音乐分享与社区互动！

计算机毕业编程指导师计算机毕业编程指导师个人介绍：自己非常喜欢研究技术问题！专业做Java、Python、小程序、安卓、大数据、爬虫、Golang、大屏等实战项目。大家都可点赞、收藏、关注、有问题都可留言评论交流实战项目：有源码或者技术上的问题欢迎在评论区一起讨论交流！获取源码主页-->：计算机毕业编程指导师摇滚乐鉴赏网站-研究背景课题背景随着互联网技术的发展，音乐鉴赏方式正经历着前所未有的变革。摇滚乐，作为一种充满激情与个性化的音乐形式，受到了广泛年轻人的喜爱。然而，现有的音乐平台往往忽视了摇滚乐迷的独

计算机毕业编程指导师 2024-09-14

工厂电气火灾隐患成因及预防措施分析

0 引言电气火灾威胁企业运营和人员安全，主要由电气设备不当运行引起，可能导致重大经济损失和伤亡。为防止此类事故，需重视预防措施和安全管理，解决设备老化、操作失误和电路设计问题。1工厂电气火灾发生的原因1.1工艺条件不合理多数工厂追求利润忽视工艺，导致电气设备运行数据不达标，影响效率和安全，甚至可能引发火灾。为保证生产效率和安全，必须重视电气系统设计。设计时忽略水暖、通风、电气、空调等要求，施工错误，可能造成后期使用安全隐患，导致电气线路问题，引发绝缘老化和火灾。1.2设计考虑不周全在工厂运行设计

安科瑞电气涂涂 2024-09-14

TDK-Lambda官方代理商

在寻找TDK-Lambda电源的官方代理商时，哪家好呢？如果您正在寻找可靠的TDK产品供应商，那么谷京科技绝对是一个值得考虑的选择。作为tdk-lambda电源官网的一级代理商，谷京科技不仅具备了可靠的资质，还拥有丰富的产品线。 谷京科技作为TDK的官方授权代理商，为全系列产品提供支持，包括TDK贴片电容、车规贴片电容、贴片电感、蜂鸣器、滤波器、电阻以及TDK-Lambda电源等。这些产品均是原装全标，品质有保障。无论您是在寻找用于特定项目的电容，还是需要更换成村田电容或TDK电容器，谷京科技都可以为您提

谷京科技 2024-09-14

云LIMS与本地LIMS：实验室信息管理中LIMS的应用

在当今数字化转型的浪潮中，实验室信息管理领域正经历着从本地系统向云LIMS的深刻变革。这一趋势不仅反映了技术进步对科研环境的深远影响，更是现代组织追求高效、灵活与安全的必然选择。本文旨在深入探讨云LIMS相较于传统本地LIMS的优势，并特别推荐白码LIMS作为行业内的佼佼者。一、定义“云”及其在LIMS中的应用首先，我们需要明确“云”的概念。在软件领域，基于云的服务意味着应用程序并非安装于用户本地服务器，而是由第三方提供商在远程数据中心维护，用户通过互联网进行访问。这种服务模式，即“软件即服务”（SaaS

白码科技 2024-09-14

爱丁堡大学vs香港大学：同样是世界前30，各有什么优势？

前言：这是一篇来自公众号达恩留学的文章，一文带你了解爱丁堡大学和香港大学的对比!在探讨高等教育领域的璀璨明珠时，爱丁堡大学与香港大学无疑是两颗引人注目的星辰，各自在学术的天空中熠熠生辉。这两所世界知名的高等学府，不仅承载着悠久的历史与深厚的文化底蕴，更以其卓越的学术成就、前沿的科研实力和广泛的国际影响力，成为了无数学子梦寐以求的求学圣地。那么，让我们一起来看看爱丁堡大学和香港大学优势对比吧！一、学校概况二、学科优势1、爱丁堡大学商科：商学院获得AACSB、EQUIS以及AMBA三重认证，教学和研究方面有着

达恩留学 2024-09-14

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响

Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1