Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

在照片上添加文字的技巧与创意分享

无论是记录日常生活的点滴，还是分享旅行的精彩瞬间，照片都能传达出我们想要表达的情感和故事。那么，怎么在照片上添加文字呢？

新报观察 2024-12-27

多种测量海拔的方法及技巧，助你轻松掌握海拔高度测量技能

接下来，让我们来聊聊几种常见的测海拔的方法。原理很简单，随着海拔的升高，空气变得稀薄，气压也随之降低。

新报观察 2024-12-27

晶合集成获得实用新型专利授权：“一种探针的清洁装置”

证券之星消息，根据天眼查APP数据显示晶合集成（688249）新获得一项实用新型专利授权，专利名为“一种探针的清洁装置”，专利申请号为CN202323253318.4，授权日为2024年12月27日。

证券之星 2024-12-27

邦彦技术获得外观设计专利授权：“用于电子设备的富媒体指挥调度操作图形用户界面(2)”

证券之星消息，根据天眼查APP数据显示邦彦技术（688132）新获得一项外观设计专利授权，专利名为“用于电子设备的富媒体指挥调度操作图形用户界面(2)”，专利申请号为CN202430208483.9，授权日为2024年12月27日。专利摘要：1.本外观设计产品的名称：用于电子设备的富媒体指挥调度操作图形用户界面(2)。

证券之星 2024-12-27

南通锐亚机电取得一种浸胶生产线用堆垛装置专利，有效提高浸胶纸的成品质量和堆垛效率

金融界2024年12月26日消息，国家知识产权局信息显示，南通锐亚机电有限公司取得一项名为“一种浸胶生产线用堆垛装置”的专利，授权公告号CN222204264U，申请日期为2024年4月。

金融界 2024-12-26

天津阳光彩印取得一种卸纸机用卸纸平台专利，使装置调节更加灵活

金融界2024年12月26日消息，国家知识产权局信息显示，天津阳光彩印股份有限公司取得一项名为“一种卸纸机用卸纸平台”的专利，授权公告号CN222204267U，申请日期为2024年5月。

金融界 2024-12-26

浙江凯信光电取得一种 PC 复合膜边料卷收机构专利，控制卷收料盘上边料的缠绕张力

金融界2024年12月26日消息，国家知识产权局信息显示，浙江凯信光电科技有限公司取得一项名为“一种PC复合膜边料卷收机构”的专利，授权公告号CN222204263U，申请日期为2023年12月。

金融界 2024-12-26

河北诚恒塑料机械取得防止薄膜卷辊装置专利，能够起到防止断裂的薄膜回缩卷辊的作用

金融界2024年12月26日消息，国家知识产权局信息显示，河北诚恒塑料机械科技有限公司取得一项名为“一种防止薄膜卷辊装置”的专利，授权公告号CN222204261U，申请日期为2024年5月。专利摘要显示，本实用新型涉及一种防止薄膜卷辊装置，属于塑料膜吹膜机技术领域。

金融界 2024-12-26

全面解读风冷冰箱温度调节方法与注意事项，保持食物新鲜

风冷冰箱在我们的日常生活中扮演着重要的角色，尤其是在炎热的夏天，冰箱的温度调节显得尤为重要。今天就来聊聊风冷冰箱的温度调节，帮助大家更好地使用冰箱，保持食物的新鲜。与传统的直冷冰箱相比，风冷冰箱的优点在于它能更好地保持食物的新鲜度，减少霜冻的产生。

新报观察 2024-12-27

ST中泰获得实用新型专利授权：“麦尔兹石灰窑通道清理拔钎吊具”

证券之星消息，根据天眼查APP数据显示ST中泰（002092）新获得一项实用新型专利授权，专利名为“麦尔兹石灰窑通道清理拔钎吊具”，专利申请号为CN202420469266.X，授权日为2024年12月27日。

证券之星 2024-12-27

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

在照片上添加文字的技巧与创意分享

多种测量海拔的方法及技巧，助你轻松掌握海拔高度测量技能

晶合集成获得实用新型专利授权：“一种探针的清洁装置”

邦彦技术获得外观设计专利授权：“用于电子设备的富媒体指挥调度操作图形用户界面(2)”

南通锐亚机电取得一种浸胶生产线用堆垛装置专利，有效提高浸胶纸的成品质量和堆垛效率

天津阳光彩印取得一种卸纸机用卸纸平台专利，使装置调节更加灵活

浙江凯信光电取得一种 PC 复合膜边料卷收机构专利，控制卷收料盘上边料的缠绕张力

河北诚恒塑料机械取得防止薄膜卷辊装置专利，能够起到防止断裂的薄膜回缩卷辊的作用

全面解读风冷冰箱温度调节方法与注意事项，保持食物新鲜

ST中泰获得实用新型专利授权：“麦尔兹石灰窑通道清理拔钎吊具”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响