Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

泰科天润取得一种低阻平面栅碳化硅MOSFET专利，使得功率器件的导通电阻进一步的降低

金融界2024年12月28日消息，国家知识产权局信息显示，泰科天润半导体科技（北京）有限公司取得一项名为“一种低阻平面栅碳化硅MOSFET”的专利，授权公告号CN222214181U，申请日期为2024年3月。

金融界 2024-12-28

武汉帝尔激光取得无主栅太阳能电池片激光诱导烧结装置专利，优化金属-半导体接触结构

金融界2024年12月28日消息，国家知识产权局信息显示，武汉帝尔激光科技股份有限公司取得一项名为“一种无主栅太阳能电池片激光诱导烧结装置”的专利，授权公告号CN222214195U，申请日期为2024年1月。

金融界 2024-12-28

时创能源取得一种背接触叠栅结构电池片及电池专利，大幅减少银耗量，降低电池成本

金融界2024年12月28日消息，国家知识产权局信息显示，常州时创能源股份有限公司取得一项名为“一种背接触叠栅结构电池片及电池”的专利，授权公告号CN222214187U，申请日期为2024年1月。

金融界 2024-12-28

南通晶天新能源取得微结构棱镜间隙转光膜专利，能够提高光电转化效率

金融界2024年12月28日消息，国家知识产权局信息显示，南通晶天新能源科技有限公司取得一项名为“一种微结构棱镜间隙转光膜”的专利，授权公告号CN222214190U，申请日期为2024年4月。

金融界 2024-12-28

江西兆驰半导体取得发光二极管芯片专利，提升了芯片出光效果

金融界2024年12月28日消息，国家知识产权局信息显示，江西兆驰半导体有限公司取得一项名为“一种发光二极管芯片”的专利，授权公告号CN222214202U，申请日期为2024年11月。

金融界 2024-12-28

阜宁协鑫集成取得一种返修电池串弧预防与整理装置专利，防止多个返修电池件之间出现串弧的情况

金融界2024年12月28日消息，国家知识产权局信息显示，阜宁协鑫集成科技有限公司取得一项名为“一种返修电池串弧预防与整理装置”的专利，授权公告号CN222214198U，申请日期为2024年5月。专利摘要显示，本实用新型涉及光伏组件生产技术领域，且公开了一种返修电池串弧预防与整理装置。

金融界 2024-12-28

成都格林纳光取得半导体量子点发光二极管封装结构专利，避免环氧树脂套和封装固定座之间易发生断裂

金融界2024年12月28日消息，国家知识产权局信息显示，成都格林纳光科技有限公司取得一项名为“一种半导体量子点发光二极管封装结构”的专利，授权公告号CN222214204U，申请日期为2024年3月。

金融界 2024-12-28

固德威电源科技取得一种轻质光伏系统专利，解决了轻质光伏组件相关技术问题

金融界2024年12月28日消息，国家知识产权局信息显示，固德威电源科技（广德）有限公司取得一项名为“一种轻质光伏系统”的专利，授权公告号CN222214189U，申请日期为2023年12月。

金融界 2024-12-28

深圳市大合半导体科技有限公司取得荧光胶量可控型LED灯封装结构专利，能够防止因为荧光胶过多而造成LED灯透光性下降

金融界2024年12月28日消息，国家知识产权局信息显示，深圳市大合半导体科技有限公司取得一项名为“一种荧光胶量可控型LED灯封装结构”的专利，授权公告号CN222214201U，申请日期为2024年5月。专利摘要显示，本实用新型公开了一种荧光胶量可控型LED灯封装结构，包括调节模块、LED基板、操作台、固定模块。

金融界 2024-12-28

安徽吕顺智能科技取得一种光伏玻璃背板压合装置专利，提高背板压合效果

金融界2024年12月28日消息，国家知识产权局信息显示，安徽吕顺智能科技有限公司取得一项名为“一种光伏玻璃背板压合装置”的专利，授权公告号CN222214199U，申请日期为2024年5月。

金融界 2024-12-28

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

泰科天润取得一种低阻平面栅碳化硅MOSFET专利，使得功率器件的导通电阻进一步的降低

武汉帝尔激光取得无主栅太阳能电池片激光诱导烧结装置专利，优化金属-半导体接触结构

时创能源取得一种背接触叠栅结构电池片及电池专利，大幅减少银耗量，降低电池成本

南通晶天新能源取得微结构棱镜间隙转光膜专利，能够提高光电转化效率

江西兆驰半导体取得发光二极管芯片专利，提升了芯片出光效果

阜宁协鑫集成取得一种返修电池串弧预防与整理装置专利，防止多个返修电池件之间出现串弧的情况

成都格林纳光取得半导体量子点发光二极管封装结构专利，避免环氧树脂套和封装固定座之间易发生断裂

固德威电源科技取得一种轻质光伏系统专利，解决了轻质光伏组件相关技术问题

深圳市大合半导体科技有限公司取得荧光胶量可控型LED灯封装结构专利，能够防止因为荧光胶过多而造成LED灯透光性下降

安徽吕顺智能科技取得一种光伏玻璃背板压合装置专利，提高背板压合效果

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响