TRANSFORMER, BERT, AND GPT：简介

作者：数据智能老司机发布时间：2023-11-25

人工智能生成式AI

这一章节提供了对生成式人工智能（AI）的快速介绍，重点放在了注意力机制上，这是转换器架构的关键组成部分。您还将了解一些在AI领域具有影响力的公司。本章的第一部分向您介绍了生成式AI，包括其最重要的特...【查看原文】

相关资讯

比Transformer更好，无Attention、MLPs的BERT、GPT反而更强了

从 BERT、GPT 和 Flan-T5 等语言模型到 SAM 和 Stable Diffusion 等图像模型，Transformer 正以锐不可当之势席卷这个世界，但人们也不禁会问：Transfo

Stable Diffusion

机器之心 2023-10-30

BERT基础教程 Transformer大模型实战

链接：https://pan.baidu.com/s/11iG6hxx_nDADWbqLw4hm8g?pwd=29v6 提取码：29v6苏达哈尔桑.拉维昌迪兰（Sudharsan Ravichandiran）热爱开源社区的数据科学家，研究方向为深度学习和强化学习的实际应用，在自然语言处理和计算机视觉等领域都颇有建树，另著有《Python强化学习实战》。【译者简介】周参就职于谷歌，任软件工程师，研究方向为自然语言处理。工作之余的兴趣是研究人工智能领域机器学习方向以及新的模型算法，并将多种深度学习模型应用于实

百度谷歌人工智能深度学习

刘小六六不六 2023-04-14

从零实现BERT、GPT及Difussion类算法：文章简介及目录

本教程特点：除了python基础库和pytorch基础运算外，不借助其他第三方库从零推导、实现Transformer及Bert、GPT、Diffusion等热门模型从零实现data parallel、tensor parallel、pipeline parallel等并行训练策略借助开源大模型权重，从零实现SFT+RLHF的训练、部署平时工作忙，如果有同学有精力和意愿来一起完善代码和教程，欢迎私信联系随着Transformer在文本、图像等领域的应用，以及ChatGPT的爆火，可以说只要掌握了基础算法知识

源大模型编程 ChatGPT

一代闲人 2023-04-22

BERT 模型详解

科学突破很少发生在真空中。相反，它们往往是建立在积累的人类知识之上的阶梯的倒数第二步。要了解 ChatGPT 和 Google Bart 等大型语言模型（LLM）的成功，我们需要回到过去并谈论

大语言模型 ChatGPT 谷歌

杨大 2024-01-23

大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsan

引言语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型

Hugging Face

HuggingFace 2023-04-25

近期资讯

借钱不还居然收支付宝京东大额“逾期催收红包”，真的「欠钱的才是大爷」？

钛媒体APP 2024-12-27

消息称比亚迪成立未来实验室研发具身智能：包含机器人

IT之家 2024-12-27

白皮书：近九成用户购买科技产品前在B站搜索测评内容

36氪 2024-12-27

用户体验的体现与思维框架

人人都是产品经理 2024-12-27

周意保：OPPO Find 系列的节奏将会稳定下来

IT之家 2024-12-27

6G 最强悍的特性，竟提前被这些手机厂商用上！

科技狐 2024-12-27

卢伟冰：小米 2024 年研发投入预计 240 亿元，明年预计达 300 亿

IT之家 2024-12-27

TRANSFORMER, BERT, AND GPT：简介

推荐体验

相关资讯

比Transformer更好，无Attention、MLPs的BERT、GPT反而更强了

BERT基础教程 Transformer大模型实战

从零实现BERT、GPT及Difussion类算法：文章简介及目录

BERT 模型详解

大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsan

近期资讯

借钱不还居然收支付宝京东大额“逾期催收红包”，真的「欠钱的才是大爷」？

消息称比亚迪成立未来实验室研发具身智能：包含机器人

当下跨境支付商户和受理的生态体系

流量再生新策略：数据驱动APP迭代，提升转化率增长实验之旅

深入研讨：工具型 App 的定义、架构、痛点及用户体验优化之术

白皮书：近九成用户购买科技产品前在B站搜索测评内容

用户体验的体现与思维框架

周意保：OPPO Find 系列的节奏将会稳定下来

6G 最强悍的特性，竟提前被这些手机厂商用上！

卢伟冰：小米 2024 年研发投入预计 240 亿元，明年预计达 300 亿

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响