Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

在社交软件中如何更好地了解和接触好友的生活

在我们的生活中，社交软件已经成为了不可或缺的一部分，尤其是QQ。QQ不仅仅是一个聊天工具，还承载了我们与朋友、家人之间的互动与交流。当然，克隆这个词听起来可能有点儿奇怪，实际上我们说的更多的是一种信息的获取和整理，而不是字面意义上的复制。我们可以通过一些方法来“接近”我们的好友，让彼此的互动更加顺畅。

新报观察 2024-12-30

德州聚安特取得一种精馏塔用快速冷却机构专利，延长精馏塔使用寿命

金融界2024年12月30日消息，国家知识产权局信息显示，德州聚安特安全服务有限公司取得一项名为“一种精馏塔用快速冷却机构”的专利，授权公告号CN222218656U，申请日期为2024年5月。

金融界 2024-12-30

山西潞安煤基清洁能源取得常压分馏塔压力平衡控制系统专利，保证了干气的高品质

金融界2024年12月30日消息，国家知识产权局信息显示，山西潞安煤基清洁能源有限责任公司取得一项名为“一种常压分馏塔压力平衡控制系统”的专利，授权公告号CN222218660U，申请日期为2024年2月。

金融界 2024-12-30

如何合理设置手机屏幕以提升使用体验和保护视力的技巧分享

工具，更是我们获取信息、娱乐消遣的重要设备。掌握好手机的屏幕设置，不仅能提高我们的使用效率，还有助于保护视力，增强使用的舒适感。希望以上的一些小技巧能对你有所帮助，让你的手机使用更加得心应手。

新报观察 2024-12-30

在QQ上显示iPhone设备信息的简单步骤与社交体验分享

在现代社会，手机已经成为我们生活中不可或缺的一部分，尤其是智能手机。对于很多人来说，QQ是一个非常重要的社交工具。无论是聊天、分享照片，还是进行视频通话，QQ都能满足我们的需求。

新报观察 2024-12-30

山东华宇同方取得采用亚沸蒸馏法制备高纯卤化物湿电子化学品的设备专利，装置消耗能量少

金融界2024年12月30日消息，国家知识产权局信息显示，山东华宇同方电子材料有限公司取得一项名为“一种采用亚沸蒸馏法制备高纯卤化物湿电子化学品的设备”的专利，授权公告号CN222218651U，申请日期为2024年4月。专利摘要显示，本实用新型公开了一种采用亚沸蒸馏法制备高纯卤化物湿电子化学品的设备，属于湿电子化学品技术领域。

金融界 2024-12-30

如何轻松找回忘记的微信密码，重拾数字生活乐趣

这是一个很重要的步骤，因为找回密码的过程需要用到你的手机。定期更改密码也是一个好习惯，尽量不要使用过于简单的密码，像“123456”这种就不太安全。

新报观察 2024-12-30

湖北赛力隆新材料有限公司取得用于加工甲基三甲氧基硅烷的汽提塔专利，将反应气体隔离在汽提塔内一段时间让多种气体充分反应

金融界2024年12月30日消息，国家知识产权局信息显示，湖北赛力隆新材料有限公司取得一项名为“一种用于加工甲基三甲氧基硅烷的汽提塔”的专利，授权公告号CN222218658U，申请日期为2024年5月。

金融界 2024-12-30

如何利用手机定时开关机功能提升生活质量与效率

在这个数字化时代，手机几乎成了我们生活中不可或缺的一部分。无论是工作、学习，还是娱乐，手机都扮演着重要的角色。但是，过度依赖手机也会带来一些负面影响，比如影响睡眠、分散注意力等。因此，很多人开始寻求一种有效的方法来管理自己的手机使用时间。而手机的定时开关机功能，正是一个非常实用的工具。

新报观察 2024-12-30

寿阳县精达丰新材料有限公司取得电子级碳酸二乙酯精馏塔专利，提高箱体内部热流体热量利用率

金融界2024年12月30日消息，国家知识产权局信息显示，寿阳县精达丰新材料有限公司取得一项名为“一种电子级碳酸二乙酯精馏塔”的专利，授权公告号CN222218652U，申请日期为2024年5月。

金融界 2024-12-30

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

在社交软件中如何更好地了解和接触好友的生活

德州聚安特取得一种精馏塔用快速冷却机构专利，延长精馏塔使用寿命

山西潞安煤基清洁能源取得常压分馏塔压力平衡控制系统专利，保证了干气的高品质

如何合理设置手机屏幕以提升使用体验和保护视力的技巧分享

在QQ上显示iPhone设备信息的简单步骤与社交体验分享

山东华宇同方取得采用亚沸蒸馏法制备高纯卤化物湿电子化学品的设备专利，装置消耗能量少

如何轻松找回忘记的微信密码，重拾数字生活乐趣

湖北赛力隆新材料有限公司取得用于加工甲基三甲氧基硅烷的汽提塔专利，将反应气体隔离在汽提塔内一段时间让多种气体充分反应

如何利用手机定时开关机功能提升生活质量与效率

寿阳县精达丰新材料有限公司取得电子级碳酸二乙酯精馏塔专利，提高箱体内部热流体热量利用率

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响