当前位置:首页|资讯|华为|AI大模型|智源

华为|AI大模型开源生态及大模型平台实践

作者:人工智能-研究所发布时间:2023-09-12

今天分享的是AI大模型系列深度研究报告:《2023年AI大模型开源生态及大模型平台实践》。(报告出品方:智源研究院)

报告内容

1. 生态基石:AI大模型开源生态发展洞察分析

2. 模型底座:华为AI大模型全景架构及应用案例

3. 平台架构:大模型平台技术架构及技术分析

生态基石:AI大模型开源生态发展洞察分析

AI螺旋上升式发展、重大变革机会,从感知理解世界到生成创造世界,AI增长新曲线。大规模语言模型(LLM)所涌现出来的能力超出预期,使得LLM成为技术演进方向。ChatGPT:大算力+大数据=大模型,人工反馈强化学习增强模型效果。

ChatGPT成功关键:庞大算力支持+RLHF使模型更对齐人类语境+高质量数据持续训练

高质量的垂直领域人工标注数据:GPT-3->InstructGPT至少需要10万条高质量标注数据,ChatGPT则需要更多。未来GPT模型注入企业内部领域知识则需要构建额外的高质量标注数据。高素质领域专家参与数据标注和增强工作。

ChatGPT国内商业化落地,对算力集群软硬件提出全新挑战

模型训练、推理的技术挑战:全栈技术难:ChatGPT大模型+大数据持续学习、基于人类反馈强化学习和微调、多机多卡/单卡推理等全栈全流程技术要求;行业结合难:优质模型+专业知识投入+厂商AI技术支撑,是大模型可以产业落地的关键。

上下游各赛道百花齐放,商业模式持续探索

以ChatGPT为代表的AIGC行业,上游主要包括数据供给方、算法/模型机构、创作者生态以及底层配合工具等中游主要包括文字、图像、音频、视频等数字内容的处理加工方,下游主要是各类数字内容分发平台、消费方及相关服务机构等。

基于异思社区开源:紫东太初2.0-3.8B

基于异腾异思的紫东太初2.0-3.8B模型,开源图像-文本多模态部分。相比紫东太初1.0,支持更细粒度的图像识别、更具知识的视觉问答、更丰富的图像描述。

整份报告PPT有40页,我已经下载整理到网盘,

有需要的话可以关注微信公众号:AI技术星球  发送暗号:211  领取

还有100G入门到进阶AI资源包+论文指导/kaggle组队/就业指导+技术问题答疑

资料包包含:

1、超详细的人工智能学习路线

2、OpenCV、Pytorch、YOLO等教程附课件源码

3、人工智能快速入门视频教程合集(Python基础、数学基础、NLP)附源码课件数据

4、机器学习算法+深度学习神经网络基础教程

5、人工智能必看书籍(花书、西瓜书、蜥蜴书等)

6、上千篇CVPR、ICCV顶会论文

7、人工智能行业报告


AI技术星球  暗号:211



Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1