浪潮信息智能业务生产创新平台AIStation获颁“产品金奖”
此前，在2023全球人工智能产品应用博览会上，由浪潮信息所打造的智能业务生产创新平台AIStation获颁“产品金奖”，该奖项作为历届智博会的核心奖项，用于表彰一部分性能突出的产品。据了解，浪潮信息智能业务生产创新平台AIStation拥有优秀的资源调度与平台管理能力，在大模型算力平台使用效率与业务支撑方面，AIStation均表现优异。
作为专为人工智能开发和部署提供全流程支持的端到端平台，AIStation能够以强大的资源调度和管理能力助力客户加速AI大模型开发与部署，通过对计算资源、数据资源、深度学习软件栈资源进行统一管理，有效提升大模型AI算力集群的使用效率。
一站式管理、毫秒级调度，集群利用率达70%
大模型训练需要构建包含计算、网络、存储、框架等在内的系统性分布式训练环境，传统的分散化管理不仅门槛高、效率低，且缺少针对性优化的整体调度系统，导致大模型计算平台的整体协同性较差，训练算力效率低。
针对分布式训练计算规模大、系统性强的特点，AIStation实现了异构算力集群的统一池化管理，通过自研分布式任务自适应系统将训练底层的计算、存储、网络环境自动化配置，并提供自定义修改基本超参数功能。通过多种资源高效管理和调度策略，AIStation能实现万卡集群的毫秒级调度，提升整体资源利用率到70%以上。
同时，AIStation集成主流的大模型训练框架，依托容器化技术，能够将运行环境、框架适配过程标准化、模块化，支持秒级构建运行环境，保障AI开发和AI业务的高效运行。
瓶颈优化、稳健容错，全流程加速大模型训练
针对大规模分布式训练过程中遇到的算力网络搭建、数据加速、网络通信优化等瓶颈，AIStation通过镜像分发加速、数据缓存加速、网络拓扑调度、资源动态弹性伸缩等特性，在提高计算资源利用率的同时加速整个训练过程。其中，AIStation通过数据缓存机制可让模型训练效率获得200%-300%的提升，并能够根据节点的数据缓存情况自动调度训练任务，避免训练数据重复下载，节省数据加载时间，与自研调度系统配合后，分布式训练线性加速比能够高达0.9，有效抑制多节点协同的性能损耗。
健壮性与稳定性是目前高效完成大模型训练的强要求。对此，AIStation通过提供全生命周期管理、故障容错、集群监控运维等一体化能力，能够实现训练异常和故障的全面检测和自动处理，有效缩短断点续训时间，降低复杂度，以持续稳定的训练降低大模型训练成本和周期。
高效调用，释放大模型应用价值
针对大模型训练完成后的应用部署，AIStation实现训练和推理的全打通，加快模型应用落地。针对大模型实际应用中的调用突发性，AIStation可根据推理服务资源需求的变化及时调整资源配给，根据实时业务的请求量实现秒级服务扩缩容，可支持百万级高并发的大模型AI推理服务场景，服务响应平均延迟低于1ms，突发的访问高峰的响应效率提升50%。
值得一提的是，在2457亿参数的“源”大模型训练实践中，浪潮信息AIStation支撑 “源”大模型的训练算力效率达44.8%，高于GPT-3的21.3%，。此前，某大型商业银行基于AIStation打造的并行运算集群，荣获2022IDC“未来数字基础架构领军者”奖项。AIStation所掌握的领先的大规模分布式训练支撑能力得到了充分验证。
如今，在AIGC不断革新的时代下，浪潮信息AIStation所释放出的高效的算力平台管理能力，将持续助力更多的场景方攻克在大模型开发与部署中面临的管理难题。