Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

2025年，贵阳将成为“万兆筑城”！

10月31日，记者从贵州省政府新闻办召开的贵州省“千兆黔省、万兆筑城”行动计划新闻发布会获悉，《贵州省“千兆黔省、万兆筑城”行动计划(2024-2025年)》（以下简称行动计划）已于2024年7月份印发，该行动计划明确，到2025年，全省城镇、农村基本实现千兆光网、5G网络全覆盖，贵阳市光纤网络具备“万兆到户”、移动网络具备万兆下行能力，...

贵阳网 2024-10-31

手机企业自研芯片走向精细化 AI潜移默化改变用户习惯

几年前，手机企业纷纷“一拥而上”自研芯片，如今，手机企业自研芯片走向精细化，主流厂商普遍根据自身客户需求等定制化自研芯片，服务于提升用户体验，而在发展AI方面，手机企业们也普遍认为：AI对行业的影响不是突变式的，而是将潜移默化改变用户习惯，最终用户将不习惯没有AI功能的手机。

证券时报 2024-10-31

AI大模型升维，企业管理软件走向十字路口

AI大模型的崛起无疑将重塑传统软件生态，即便近年来AI已经在软件中有所应用，但其还在快速升维。近日举行的金蝶2024全球创见者大会上，金蝶中国执行副总裁、大型企业事业部总裁赵燕锡在演讲中指出，AI在企业应用中由来已久且在不断变化，早期是预测式AI，后续发展到Copilot，如今逐渐演进到AIAgent，将来还将走向AGI。

21世纪经济报道 2024-10-31

树根互联携手江苏企业共探“数智·AI”企业数字化基础设施建设

近日，由树根互联主办、昆山经济开发区政府和三一重机协办的“数智·AI”企业数字化基础设施建设沙龙在昆山开发区举行。昆山经济开发区经促局相关领导以及区内30余家企业代表共聚一堂，深入交流数智技术推动企业转型的最佳策略，并展望未来发展动向，旨在为企业的高质量发展注入强劲的新动能。

扬子晚报 2024-10-31

瑞思迈S10呼吸机在京东11.11大放价，10月31日晚8限时抢购

10月31日晚8点，京东11.11迎来百亿补贴日，海量健康好物大放价，其中，瑞思迈S10家用睡眠全自动呼吸机，直接推出了近三年来的最低价格。瑞思迈S10家用睡眠全自动呼吸机作为市场上的明星产品，具备「够聪明」「够强壮」「够省心」的优点。

砍柴网 2024-10-31

三周内两篇Nature：东方理工两科研团队相继取得新突破

据宁波东方理工大学（暂名）（以下简称“东方理工”）方面消息，10月30日，东方理工工学部物理学院院长、讲席教授魏苏淮，联合中国科学院半导体研究所骆军委研究员、邓惠雄研究员研究组，以“通过降低原子化学键强度诱导的光学声子软化避免退极化效应（Softeningoftheopticalphononbyreducedinteratomicbond...

澎湃新闻 2024-10-31

雷神EM-i超级电混”发布，吉利银河星舰7EM-i引领SUV油耗迈入3L时代

雷神EM-i超级电混是吉利基于高性能电混的技术体系，汇集全球动力和AI科技，面向市场主流用户开发的全新一代极致节能的超级电混。

球叔教你买车 2024-10-31

单价上浮100%！优爱腾下场、长视频开始卷“短剧”了？

这两年来，长短视频平台相继推出多部高分短剧内容，考究的服化道配音与分镜、观众们越来越脸熟的演员与分不清长短的质感，包括《执笔》《招惹》《风月变》等横屏短剧，以及《我在八零年代当后妈》等竖屏短剧，覆盖了长、短视频平台。

娱乐独角兽 2024-10-31

英国：新型电动汽车充电桩试点采用低成本技术

目前，英国正在进行一项新项目，使用新的、成本更低的技术试行车辆到电网(V2G)电动汽车工作场所充电。目前，V2VNY试验已安装完成，首批充电器已投入使用，该试验旨在为车队所有者、企业和电动汽车驾驶员展示一种商业上可行的节省成本的方法，并为英国减少高峰时段的电网负荷。

动点科技 2024-10-31

护航神舟十九号！成都“青羊智造”让航天员飞得舒适、安全

10月30日凌晨4时27分，搭载神舟十九号载人飞船的长征二号F遥十九运载火箭在酒泉卫星发射中心点火发射。记者了解到，“青羊智造”高性能蓄压器膜盒让航天员飞得舒适、飞得安全，保障了发射任务。来自青羊区的信息显示，此次发射任务中，由中国航空工业集团凯天研发并配套的高性能蓄压器膜盒起到了重要作用。

红星新闻 2024-10-31

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

2025年，贵阳将成为“万兆筑城”！

手机企业自研芯片走向精细化 AI潜移默化改变用户习惯

AI大模型升维，企业管理软件走向十字路口

树根互联携手江苏企业共探“数智·AI”企业数字化基础设施建设

瑞思迈S10呼吸机在京东11.11大放价，10月31日晚8限时抢购

三周内两篇Nature：东方理工两科研团队相继取得新突破

雷神EM-i超级电混”发布，吉利银河星舰7EM-i引领SUV油耗迈入3L时代

单价上浮100%！优爱腾下场、长视频开始卷“短剧”了？

英国：新型电动汽车充电桩试点采用低成本技术

护航神舟十九号！成都“青羊智造”让航天员飞得舒适、安全

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响