Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

不想给人生“加杠杆”的00后，放弃考研了

我原谅了“自毁前程”的自己。

表外表里 2024-12-30

AI零食真能吃吗？我们买了AI薯条尝了尝，结果很意外

AI，正在成为新的工业驱动器。

智能Pro 2024-12-30

被誉为“衣中茅台”的比音勒芬：营收、利润双降，“10年10倍”计划受挫

比音勒芬雄心受挫。

砺石商业评论 2024-12-30

90后白领转行当保洁，拍出五百万人围观的“蟑螂大作战”

年轻人涌入家政领域，给这个行业带来一些由内而外的变革。

新周刊 2024-12-30

药品说明书为什么字小又难懂？

药品说明书上的字能否印大？

36氪的朋友们 2024-12-30

「纽邦生物」获数千万元B轮融资，加速创新型膳食营养补充剂原料开发｜36氪首发

纽邦生物已打造全链条创新能力，每年推出5-10个膳食营养补充剂创新原料，拥有40余项To B“要素品牌”。

胡香赟 2024-12-30

理想可能真觉得，造车造到头了

极越领先太多。

差评 2024-12-30

一个超有用的投资评估指标

回归年化收益率

狐狸君raphael 2024-12-30

李想画起饼来，比马斯克还科幻

理想汽车的使命又变了？

雪豹财经社 2024-12-30

一年狂推63款，M Stand周边上新为什么比咖啡还多？

“买椟还珠”又有新故事

咖门 2024-12-30

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

不想给人生“加杠杆”的00后，放弃考研了

AI零食真能吃吗？我们买了AI薯条尝了尝，结果很意外

被誉为“衣中茅台”的比音勒芬：营收、利润双降，“10年10倍”计划受挫

90后白领转行当保洁，拍出五百万人围观的“蟑螂大作战”

药品说明书为什么字小又难懂？

「纽邦生物」获数千万元B轮融资，加速创新型膳食营养补充剂原料开发｜36氪首发

理想可能真觉得，造车造到头了

一个超有用的投资评估指标

李想画起饼来，比马斯克还科幻

一年狂推63款，M Stand周边上新为什么比咖啡还多？

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响