Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

全国超240城覆盖！小桔充电场站快充实现100%普及

日前，小桔充电发布2024年度报告。自成立以来，截至2024年12月，小桔充电累计服务超2300万车主用户，充电度数约245亿度，合作场站已覆盖全国超240座城市，实现减碳约1200万吨，致力于为用户的绿色出行提供更快的体验和保障。“好找、好充、好快、好安全”的小桔优选站持续拓展，已覆盖全国60城1800多座充电站。

大象新闻 2024-12-31

上线首个模型调优工场门头沟发布5000万元创新应用基金

日前，门头沟区举办京西智谷2024年度发布会暨模型调优工场发布仪式，上线了全国首个京西智谷模型调优工场，并发布5000万元“人工智能+政务服务”创新应用引导基金。截至2024年底，拥有有效专利数2794件，全国高新技术企业累计达到318家，专精特新中小企业总量达到166家，其中国家级“小巨人”企业10家。

新京报 2024-12-31

国家数据局：将打造一批数据驱动的新应用、新模式

钛媒体App12月31日消息，国家数据局副局长陈荣辉今日在新闻发布会上表示，当前，我国数据要素“供给-流通-应用”的市场化循环体系仍不畅通。可信数据空间是基于共识规则、联接多方主体，实现数据资源共享共用、数据要素价值共创的应用生态，是从数据要素角度探索数据规模化流通利用的中国方案，将助力构建繁荣活跃的全国一体化数据市场。

钛媒体快报 2024-12-31

电池激活与保养指南：提升续航与使用寿命的技巧

在我们日常生活中，电池是一个不可或缺的物品。无论是手机、遥控器，还是各种电子设备，电池的存在让我们的生活变得更加便利。在充电过程中，最好不要频繁地插拔电源，这样容易影响充电效果。

新报观察 2024-12-31

2024年度电视盘点：MiniLED白菜价，国产旗舰狂卷画质

在经历2023年的寒潮后，2024年的电视市场终于有了回暖的迹象，特别是下半年，随着国补活动的开启，中国电视市场也迎来了新一轮的增长。而在全球范围内，中国电视的出海行动也取得了新的进展，全球五大电视品牌里中国品牌已占据三个。

雷科技 2024-12-31

FSF呼吁2025年继续对微软施压！号召Window用户改用GNU/Linux

快科技12月31日消息，据报道，自由软件基金会（FSF）发布了名为“继续向微软施压（KeepputtingpressureonMicrosoft）”的文章，鼓励自由软件支持者在2025年继续向微软进行施压。

驱动之家 2024-12-31

一加Ace 5系列是如何“All in游戏” 打造性能体验天花板？

与以往不同的是，今年Ace5系列的Pro版本提档了，与标准版一起双杯齐发；一起发生变化的还有产品整体思路：「Allin游戏」的方向下，Ace系列将围绕游戏体验，从软硬件两方面一起下手去打磨方方面面，直指目前移动游戏体验的天花板。

手机中国 2024-12-31

强化企业创新主体地位！郏县液压支架“撑”开国际大市场

近日，位于郏县经济技术开发区的平顶山平煤机煤矿机械装备有限公司（简称平煤机装备公司）机加工分厂装配车间里，公司工程师郭新灿、周玉乾，质量管理部部长周玉亮、技术研发中心主任王跃功、技术带头人李恒乾等十余人围在一根平躺着的立柱旁，认真地对新研制的等压液压支架立柱进行校正。

河南日报 2024-12-31

道恩高分子取得高搅机预防混料漏料报警装置专利，实用性强

金融界2024年12月31日消息，国家知识产权局信息显示，山东道恩高分子材料股份有限公司取得一项名为“一种高搅机预防混料漏料报警装置”的专利，授权公告号CN222223156U，申请日期为2023年10月。

金融界 2024-12-31

联通好服务用心为客户，温情相伴驱散使用烦恼

在亳州这片充满活力与希望的土地上，有一位智家工程师的名字被无数用户铭记，他就是任怀东。自加入智家工程师队伍以来，任怀东便将“客户至上，服务为先”作为自己的工作准则。在他的世界里，没有节假日，没有休息日，只有用户的需求与期待。

砍柴网 2024-12-31

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

全国超240城覆盖！小桔充电场站快充实现100%普及

上线首个模型调优工场门头沟发布5000万元创新应用基金

国家数据局：将打造一批数据驱动的新应用、新模式

电池激活与保养指南：提升续航与使用寿命的技巧

2024年度电视盘点：MiniLED白菜价，国产旗舰狂卷画质

FSF呼吁2025年继续对微软施压！号召Window用户改用GNU/Linux

一加Ace 5系列是如何“All in游戏” 打造性能体验天花板？

强化企业创新主体地位！郏县液压支架“撑”开国际大市场

道恩高分子取得高搅机预防混料漏料报警装置专利，实用性强

联通好服务用心为客户，温情相伴驱散使用烦恼

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响