“百模大战”背后，是昇思用三年打造了一个AI大模型“创造营”
作者 | 三北
编辑 | 漠影
AI大模型正迎来应用“奇点”。
在一个电商交易平台上，对话机器人正像真人一样为顾客推荐产品；在一场特殊学校课堂上，屏幕上的虚拟手语老师实时语音转手语完成教学；在一个脑部手术台上，一台手术机器人正抵达颅内脑室深部进行精准手术……
▲基于AI大模型的虚拟人手语教学
在这些AI大模型应用背后，一个为国内20+大模型提供支持的“秘密武器”也浮出水面。
根据人工智能框架生态峰会2023最新消息：国内已有超20个大模型是基于昇思MindSpore AI框架孵化。昇思MindSpore AI框架开源于2020年3月，同时成立开源社区。围绕昇思社区展开的AI学习与产业化实践，在过去三年里飞速生长，目前已支持超5500家企业、与290+高校科研院所合作推进AI创新。而在AI大模型方面，昇思提供大模型全流程使能体系，覆盖从大模型开发、训练、微调、部署的全流程服务支持。
从产业来看，AI框架处于AI技术体系的核心中坚。通俗来讲，它既像汽车方向盘一般，给AI用户提供便捷的操作接口；又如同变速箱和传动轴一般，将算力合理高效的调度。比如国外的Pytorch、TensorFlow，国内的昇思等，都是AI框架的代表。
近日，正值AI大模型及AIGC（生成式AI）在全球范围内加速发展，昇思公布了一系列重磅升级。
6月16日，在上海举办的人工智能框架生态峰会2023上，昇思MindSpore 2.0全新升级，升级覆盖易用性提升、原生大模型支持、科学智能、多后端统一推理、数据处理提升机领域扩展库六大方面。与此同时，昇思MindSpore开源社区理事会成立、上海昇思AI框架&大模型创新中心启动等生态举措也随之发布。
▲昇思MindSpore开源社区理事会成立
我们如何看懂这些技术和生态更新？昇思2.0会给AI开发者们带来什么样的实际影响？从更大层面来看，AI大模型时代将如何改变AI开发模式、乃至全球AI生态格局？本文对此进行了深入探讨。
一、孵化20+大模型后，昇思“工具包”豪华大升级
随着国内“百模大战”打响，一些走在前面的大模型已经在行业中初步验证效果。
以开篇中提到的手语一体机、手术机器人应用为例，其正是基于中科院自动化所旗下的紫东.太初全模态大模型打造。
在近日的人工智能框架生态峰会2023上的采访中，中科院自动化所紫东太初大模型研究中心常务副主任、武汉人工智能研究院院长王金桥告诉智东西等记者，紫东.太初在2020年时就选择了跟昇思在大模型方面展开合作，利用昇思MindSpore AI框架打造了全球首个三模态大模型紫东.太初，当下，紫东.太初演进至2.0全模态大模型，拥有了更强的认知、理解和创作能力。
▲新推出的紫东.太初2.0具备认知增强多模态技术
根据昇思在会上公布的数据，目前其已使能孵化了超20个大模型，包括紫东.太初2.0、秦岭.翔语、CodeGeeX等基础大模型，以及鹏程.神农、空天.灵眸等行业大模型。
根据中关村论坛、科技部中信所最新发布的《中国人工智能大模型地图研究报告》等，国内有20+大模型都是基于昇思孵化。
▲昇思已使能孵化超20个大模型
强大的模型离不开先进的AI框架，同时，不断迭代的模型也会反推AI框架进化升级。
近日，昇思宣布从1.0到2.0的全新升级，面向新一波AI大模型浪潮交出“答卷”。这些升级覆盖原生大模型支持、易用性提升、科学智能等多个方面，引起众多开发者关注。
1、推出一站式大模型开发部署平台
首先，在最新版昇思2.0中，大模型全流程解决方案正式面世。据悉，这套方案此前在鹏城实验室曾创下28天无中断，一举完成2000亿参数规模大模型训练的实践记录。
具体来看，昇思2.0大模型平台覆盖大模型开发的全流程，以LLaMA作为基础模型作开发为例：
（1）在脚本开发阶段，用户只需从Transformer模型库中一键导入LLaMA模型，大概10行代码就可完成算法脚本的开发。
（2）在训练阶段，面向算力有限的用户，昇思2.0基于一台服务器、8张训练卡即可支持千亿参数大模型的训练；面向大规模集群方案，昇思原生支持九种数据和模型并行模式及高可靠方案，据称算力资源利用率高于业界15%。
（3）在场景微调阶段，昇思2.0已集成LoRA，Adapter等多种低参微调的算法，一行代码即可运行LLaMA的低参微调；同时支持千亿模型进行RLHF（人类反馈强化学习），并正式开源。
（4）在推理部署阶段，昇思2.0提供模型压缩工具，并且支持分布式、增量推理，为模型部署降本增效。
可以看到，昇思大模型平台是要为大模型开发部署的全流程提供一条“快车道”。
▲昇思2.0大模型解决方案
2、进一步丰富场景化套件，开箱即用、降低门槛
除了提供端到端的大模型训练、开发与部署能力支持，昇思2.0还在平台的易用性上加强对大模型的支持。
一方面，昇思2.0推出大量场景化开发套件，开箱可用。例如，昇思2.0为用户提供OCR、Yolo、Audio等套件，据称在应用中已助客户将票据识别准确率提升到近99%，客户训练周期从周降到天级。
另一方面，如何迎接PyTorch的生态用户是昇思重点考虑的一个问题。为此，昇思采取了一系列措施，比如与启智社区配合，通过MSAdapter套件完成超70个主流模型迁移，据称能助开发者代码修改量小于15%，迁移周期从一个月降低到一周。
AI框架是下接多样性算力、上承创新应用的“桥梁”，工具的易用性成为昇思2.0的“第二板斧”。
3、加强AI与科学计算融合，以科学智能新范式促进科研创新难题突破
科学智能是昇思关注的另一大领域。据悉，昇思2.0一方面联合产学研构建领域的套件，包括电磁仿真、生物计算、流体力学等套件；另一方面，其将框架能力升级，提供函数式微分、计算图、编译加速等能力，支持科研创新难题突破。
比如，在电磁仿真领域，昇思与东南大学合作，通过MindSpore ELEC使能套件打造业界首个电磁仿真大模型“金陵.电磁脑”，据悉天线阵列仿真效率提升10倍以上。
▲昇思AI+科学计算领域套件
总的来说，昇思2.0在大模型领域进一步加强了原生支持能力，针对易用性进行了全面提升，同时提升了对科学智能的支持，出现了一些“里程碑式”进展。
当下，大模型时代正改变AI开发范式，从“小模型-大样本”转向“大模型-小样本”。这种变化催促着AI框架加速迭代，以适应市场需求。升级后的昇思2.0有望成为企业抓住AI大模型机遇的“趁手武器”，也反向促进自身平台的技术加速迭代。
二、生态聚力，一个AI大模型“孵化器”诞生
昇思2.0的升级不局限于工具层面，更重要的是在产业生态维度。
根据官方数据，昇思MindSpore开源社区已开源了超15个基础大模型以及训练脚本，包括当下业界最具备代表性的BLOOM、LLAMA等。开发者可以在社区获取开源模型作为基础原型，然后通过昇思完成大模型“开发-训练-微调-部署”的全过程。
发展AI框架需要完整的产业生态，仅在技术上的布局是不够的。
正如昇思MindSpore开源社区理事长丁诚所说：“单靠一个团队的力量，无法撑起整个AI框架的演进与发展。”为了将昇思打造成一个AI大模型“孵化器”，昇思2.0从运营、人才、产品化推广等多个方面促进开源社区服务的升级。
1、运营促活：开放管理架构，融入全球开源生态
AI大模型浪潮促使昇思MindSpore开源社区活跃度大大提升，如何让这一热度转化为持续技术创新？
6月16日，昇思MindSpore开源社区理事会成立、上海昇思AI框架&大模型创新中心启动，超20家单位入驻，这标志着昇思将与上海的企业和产业加深结合，加快大模型的研发；同时，昇思开源社区理事会成立，构建充分开放的治理架构以汇聚产学研众力。
接着，昇思与产学研用伙伴联合提出了“共建人工智能框架生态，繁荣中国人工智能产业”的倡议；此外，昇思还采取了众多措施，包括建立专业委员会、与六大业界开源基金会合作、与业界开源社区合作等，以此开放汇聚众力。
▲昇思与产学研联合提出“共建人工智能框架生态，繁荣中国人工智能产业”倡议
2、人才培养：升级开发者培养方案，覆盖三大阶段
要推动中国AI繁荣发展，离不开充足的人才发展，昇思在为开发者提供工具的同时也加码人才培养。
昇思针对不同阶段的开发者，提供不同成长路径的培养方案。在入门阶段，昇思提供系列教材和认证课程，走进高校支持学生入门AI学习；面向实践阶段，昇思提供系列化的实习、众智和竞赛任务，给开发者提供实践机会；面向研究创新阶段，昇思提供学术激励基金和算力支持，激发原创科学研究。
根据官方数据，目前昇思已与全球高校和科研机构开展合作，培养2500名老师、超20万学生；与全球超290个Top科研团队合作，基于昇思发表的AI顶会论文达超900篇，居于国内第一、全球第二。
3、产业推广：推出硬件加速计划，促进端边云全场景协同
当下，AI大模型在软件领域落地顺利，但在涉及云边端协同的更广泛场景面临阻碍。
为此，昇思积极拥抱多芯生态，启动硬件加速计划，举措主要包括：为适配的硬件厂商提供联合开发支持与协同运作，结合不同硬件设备开展多样化的推广赛事、联合营销宣传工作等。
回顾昇思自2020年3月开源至今，昇思不仅已拥有超1.3万贡献者，超400多个开源模型，服务企业数量超过5500家；其在大模型方面，也于2020年的首版本中就率先推出了面向大模型自动并行特性，至今逐渐形成大模型技术使能平台的定位。
可以预测，随着新的生态举措加码，昇思MindSpore开源社区在大模型时代吸引更多开发者，从而为中国AI产业繁荣形成一股生态聚力。
结语：AI落地深水区，中国AI开源再进击
当下，大模型正在改变过去AI落地面临的碎片化困境，降低AI落地的成本和门槛。而随着AI落地进入深水区，用户的生态锚点逐步从API走向预训练模型，AI框架及开源社区也需要同步迭代。
本次昇思公布的技术和生态重大升级，一方面正是其面向AI大模型机遇的强劲出击，汇聚产学研力量加速AI大模型落地；另一方面，是其自2020年就开始布局大模型以来，沉淀出一套全流程大模型孵化实践方案的自然结果。
中国AI框架要想突破现有格局并不容易，AI大模型新赛道为之提供了弯道超车机会点。通过技术、运营、人才培养、产品化推广等多方面创新，以昇思为代表的AI框架项目有望加速开源社区繁荣，从而推动中国通用人工智能产业健康发展。