当前位置:首页|资讯|华为|AI大模型|ChatGPT

华为+AI大模型开源生态及大模型平台实践

作者:侠说发布时间:2023-09-26

原标题:华为+AI大模型开源生态及大模型平台实践

生态基石:AI大模型开源生态发展洞察分析

AI螺旋上升式发展、重大变革机会,从感知理解世界到生成创造世界,AI增长新曲线。大规模语言模型(LLM)所涌现出来的能力超出预期,使得LLM成为技术演进方向。ChatGPT:大算力+大数据=大模型,人工反馈强化学习增强模型效果。

ChatGPT成功关键:庞大算力支持+RLHF使模型更对齐人类语境+高质量数据持续训练

高质量的垂直领域人工标注数据:GPT-3->InstructGPT至少需要10万条高质量标注数据,ChatGPT则需要更多。未来GPT模型注入企业内部领域知识则需要构建额外的高质量标注数据。高素质领域专家参与数据标注和增强工作。

ChatGPT国内商业化落地,对算力集群软硬件提出全新挑战

模型训练、推理的技术挑战:全栈技术难:ChatGPT大模型+大数据持续学习、基于人类反馈强化学习和微调、多机多卡/单卡推理等全栈全流程技术要求;行业结合难:优质模型+专业知识投入+厂商AI技术支撑,是大模型可以产业落地的关键。

上下游各赛道百花齐放,商业模式持续探索

以ChatGPT为代表的AIGC行业,上游主要包括数据供给方、算法/模型机构、创作者生态以及底层配合工具等中游主要包括文字、图像、音频、视频等数字内容的处理加工方,下游主要是各类数字内容分发平台、消费方及相关服务机构等。

基于异思社区开源:紫东太初2.0-3.8B

基于异腾异思的紫东太初2.0-3.8B模型,开源图像-文本多模态部分。相比紫东太初1.0,支持更细粒度的图像识别、更具知识的视觉问答、更丰富的图像描述。

今天分享的是AI大模型系列深度研究报告:《2023年AI大模型开源生态及大模型平台实践》。(报告出品方:智源研究院)

报告内容

1. 生态基石:AI大模型开源生态发展洞察分析

2. 模型底座:华为AI大模型全景架构及应用案例

3. 平台架构:大模型平台技术架构及技术分析

来源:昇思&智源研究院

若需获取本篇完整版资源,请关注公众号《侠说》

报告内容节选如下:

资料下载方式:公众号《侠说》


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1