Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

盘点2024年全球股市：美国涨幅超预期，印度高开低走，韩国被尹锡悦拖累

明年股市的最大不确定因素，是特朗普？

时代周报 2024-12-30

“冷热交替”中前行的光伏投资人：2024年政策优化、难度加大、投资成本降低

光伏产业链上中下游，各有各的难

时代周报 2024-12-30

瑞幸逆势给联营商降价，成本上升的库迪们如何应对？

由库迪引发的咖啡行业价格战，暂时以星巴克熄火；库迪停止赶路，抬头找路；瑞幸赢者通吃的竞争格局画上休止符。

贝克街探案官 2024-12-30

两天两起安全事件，韩国将全面检查101架737-800机型

两起事件涉及的是同一型号、同一年份生产的波音737-800型客机，也都与起落架有关，但业内人士认为是两起独立事件

出行一客 2024-12-30

比亚迪上位，郑州航空港等来了新能源时刻

汽车产业链的突飞猛进再次把比亚迪这座明星工厂推到了聚光灯下。

时代周报 2024-12-30

回顾2024年，谈谈社交产品的2025

回顾2024，太多唏嘘

社交产品笔记 2024-12-30

江苏老乡为什么从喝洋河，改喝今世缘？

解决增长，警惕时间。

银杏科技 2024-12-30

惊人反转，OpenAI吹哨人死于谋杀？公寓被洗劫有打斗痕迹，马斯克发声

OpenAI吹哨人，又有新线索出现！私家侦探尸检后查明，并不是警方所言的「自杀」。甚至Balaji的公寓被洗劫一空，浴室里还有打斗痕迹。

新智元 2024-12-30

聊聊数据湖、数据仓库和 Lakehouse

王建峰 2024-12-30

银行股狂欢：存银行不如买银行？市值飙升3.5万亿，13家股价涨超五成

多家机构仍看好银行股2025年走势。

时代周报 2024-12-30

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

盘点2024年全球股市：美国涨幅超预期，印度高开低走，韩国被尹锡悦拖累

“冷热交替”中前行的光伏投资人：2024年政策优化、难度加大、投资成本降低

瑞幸逆势给联营商降价，成本上升的库迪们如何应对？

两天两起安全事件，韩国将全面检查101架737-800机型

比亚迪上位，郑州航空港等来了新能源时刻

回顾2024年，谈谈社交产品的2025

江苏老乡为什么从喝洋河，改喝今世缘？

惊人反转，OpenAI吹哨人死于谋杀？公寓被洗劫有打斗痕迹，马斯克发声

聊聊数据湖、数据仓库和 Lakehouse

银行股狂欢：存银行不如买银行？市值飙升3.5万亿，13家股价涨超五成

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响