助力AI大模型降本增效 潞晨科技Colossal-AI亮相高交会
深圳一年一度必打卡的国家级科技盛宴——中国国际高新技术成果交易会(以下简称高交会)于2023年11月15-19日如期举行。潞晨科技通过高交会(福田展区)新产品新技术精品发布活动,就“AI大模型高效分布式开发基础设施Colossal-AI”进行了精彩分享。
(发布现场)
潞晨科技致力于解放AI生产力,促进AI大模型落地应用。核心成员来自美国加州伯克利、斯坦福、清华、北大、新加坡国立、南洋理工大学等世界一流高校,在国际顶级学术刊物或会议共发表论文近百篇,曾在谷歌、微软、NVIDIA、IBM、英特尔等头部科技公司任职,在高性能计算、人工智能、分布式系统方面已有十余年的技术积累、对核心技术、行业理解、产品落地等方面有卓越优势。近期获得数亿元A轮融资,已在成立18个月内已迅速连续完成三轮融资,投资方为创新工场、真格基金、蓝驰创投等。
面向AI大模型的新一代高效分布式开发基础设施Colossal-AI
可通过高效多维并行、异构内存等,降低AI大模型训练/微调/推理的开发与应用成本,提升模型任务表现,降低GPU需求等,助力企业降本增效。
Colossal-AI目前已获得GitHub星数近4万颗,位列全球TOP400,细分赛道排名世界第一,并成功入选NeurIPS, SC, AAAI, PPoPP, CVPR, ISC, NVIDIA GTC等国际AI 与HPC 顶级会议的官方教程。 Colossal-AI已与多家世界/中国五百强开展合作,促进AI大模型商业化落地,涉及云计算、芯片设计、生物医药、自动驾驶、智能零售、互联网等领域,开发/优化千亿/百亿参数大模型或打造垂类模型。
通过SFT、LoRA等方式微调或Prompt工程,能有效注入基座模型的知识与能力十分有限,不能较好的满足高质量领域知识或垂类模型应用的构建的需求。
Colossal-AI团队以增强LLaMA-2中文能力为例,采用高效的训练方法,仅使用约8.5B token数据、15小时、数千元的训练成本,成功构建了性能卓越的中文LLaMA-2,在多个评测榜单性能优越,性能可与开源社区高成本同规模预训练SOTA模型媲美。可迁移应用到任意领域垂类大模型构建,极快开发速度与极低开发成本。
为了进一步提高AI大模型开发和部署效率,Colossal-AI已进一步升级为Colossal-AI云平台,以低代码/无代码的方式供用户在云端低成本进行大模型训练、微调和部署,快速将各种模型接入到个性化的应用中。
面对丰富场景构建、快速低成本应用、算力稀缺和数据隐私等诸多需求,潞晨科技联合多家主流硬件合作伙伴,结合Colossal-AI在AI大模型领域的丰富积累与降本增效能力,推出Colossal-AI大模型一体机加速智能化升级,仅需一台,开箱即用,低成本满足企业快速构建AI业务。
潞晨科技创始人尤洋教授,是加州伯克利大学博士,新加坡国立大学计算机系的校长青年教授。他曾创造 ImageNet、 BERT、AlphaFold、ViT 训练速度的世界纪录,相关技术被广泛应用于谷歌,微软,英特尔,英伟达等科技巨头。他曾获IPDPS最佳论文、ICPP最佳论文、AAAI 杰出论文、ACL杰出论文、清华大学优秀毕业生、西贝尔奖学金、ACM-IEEE CS George Michael Memorial HPC Fellowship、Lotfi A. Zadeh Prize、ACM Doctoral Dissertation Award Candidate、福布斯 30 岁以下精英榜(亚洲)、IEEE-CS 超算杰出新人奖、福布斯中国最具影响力华人精英、胡润U35中国创业先锋等。他曾任职于谷歌、微软、英伟达、英特尔、IBM 等国际知名厂商。