现在提到“大模型”,多数人都会联想到各家厂商的AI大模型,而实际上AI大模型只是大模型的一种,在很多垂直细分领域中都是可以打造“大模型”产品的,例如前段时间在中国移动全球合作伙伴大会上亮相的星云大模型,这就是由中兴通讯打造的研发大模型,它主要的作用就是辅助程序员的开发工作。
星云大模型的优势主要体现在两方面,一是在软件产品的研发方面,星云大模型支持多种编码语言,其中也包括中文编码,经过微软研究院打造的AI系统性能评估工具——HumanEval的测试显示,中兴打造的星云大模型在编码类大模型中处于第一梯队,其中对于编码语言的丰富程度以及在中文编码方面都处于行业顶级水平。
另一方面是在通信领域,中兴基于星云大模型打造了无线网络保障助手,主要作用是根据用户需求智能生成网络保障的具体方案,同时后期在运维方面起到辅助作用,从而降低网络的运维成本,这项优势的意义不仅在于当下维护网络运营,它也是中兴针对5G网络普及以及未来6G网络的一项重要技术,届时相信这项技术优势也将会更加完善。
星云大模型的主要作用是辅助程序员开发,提升软件产品的研发效率,因此它的作用并不局限于上面提到的两项优势,在一款软件产品的整个研发流程环节中,星云大模型都有所参与,从最初的产品需求分析、产品整体设计,到后面具体实施的编码、测试以及版本部署等步骤,星云大模型都会提供相应的技术辅助,降低了程序员需要熟练掌握多种编程语言的门槛,同时缩短了软件产品的开发周期。
为了训练星云大模型,中兴提供了数十万篇通信领域的技术文档、1000亿token的核心网络、无线网络等资料,后期又对星云大模型做了精准的微调,使它满足更多辅助编程的场景需求。
在这套大模型的部署上,中兴也针对性的打造了星云大模型专属的方案,GPU吞吐量可以达到1500tokens/s,如果采用4张GPU卡的情况下,基本能够满足上千用户的使用需求,相较行业内传统的大模型部署方案,GPU吞吐量有10-20倍的提升,同时结合int4量化技术,大模型的GPU利用率提升50%,也降低了大模型的部署成本。
目前星云大模型还在不断接受训练和学习,在计算机视觉、语音识别以及自然语言处理方面都有了很进步,而这些都是助力完善AI能力的基础,未来星云大模型也将会在算法、语料、开发平台等更多维度加速进步,与其他行业伙伴共同完善智算生态。
WINTEC亿胜盈科 2024-12-20
物流技术与应用 2024-12-20
BugHunter大魔王 2024-12-20
上海钢泽合金 2024-12-20
迈维医学 2024-12-20