Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

微信群聊解散的情感与社交考量：如何处理与沟通建议

可能你曾经在某个群里聊得开心，后来因为种种原因，觉得这个群聊已经不再适合自己，或者群里的气氛变了，想要主动解散。又或者是作为群主，面对群聊的冷场，觉得不如干脆解散算了。

新报观察 2024-12-30

广东全面启动万兆智能光网建设

12月29日上午，广东省通信学会智能光网专业委员会成立仪式隆重举行，会上正式宣布启动广东省万兆智能光网建设，这一举措将为广东数字经济发展注入强劲动力，加速推进广东新型信息化基础设施建设步伐，在通信领域具有里程碑意义。

南方新闻网 2024-12-30

工信部：到2027年打造不少于20个“5G+工业互联网”融合应用试点城市

12月30日，工信部印发《打造“5G+工业互联网”512工程升级版实施方案》的通知，到2027年，“5G+工业互联网”广泛融入实体经济重点行业领域，网络设施、技术产品、融合应用、产业生态、公共服务5方面能力全面提升，建设1万个5G工厂，打造不少于20个“5G+工业互联网”融合应用试点城市。

央广网 2024-12-30

亿通科技：取得一项计算机软件著作权登记证书

金融界12月30日消息，亿通科技于近日取得国家版权局颁发的一项计算机软件著作权登记证书，为亿通基于塑料光纤的Gbit数据传输系统网络管理软件[简称：光纤数据传输系统网络管理软件]V1.0。

金融界 2024-12-30

新研究：大脑无法同时学习两种条件反射

新华社耶路撒冷12月30日电（记者王卓伦　陈君清）以色列特拉维夫大学研究人员开展的一项研究发现，大脑无法同时通过经典条件反射和操作性条件反射进行学习，大脑会主动抑制这两种记忆的同时形成，从而解决行为选择的冲突。

光明网 2024-12-30

中信建投：CES 2025开幕在即，消费电子板块有望迎来新机遇

CES是全球科技创新和消费电子行业的风向标，届时，来自世界各地的头部科技玩家将展示最前沿的创新技术和卓越产品。多种创新形态的产品有望在CES2025上展出，包括卷轴屏笔记本电脑，配备摄像头的吊坠等。同时，AI技术的热潮在本届CES上将进一步升温，预计今年的展会将有更多AI应用实例。

每日经济新闻 2024-12-30

鸿海研究院运用 AI 研发碳化硅功率元件，可大幅加速开发进程

IT之家12月30日消息，鸿海科技集团今日通过新闻稿宣布，鸿海研究院半导体研究所、人工智能研究所成功将AI学习模型与强化学习技术融合，大幅加速碳化硅功率半导体的研发进程。

IT之家 2024-12-30

总台周看点丨大放送，2025上新！

发表二〇二五年新年贺词中央广播电视总台所属中央电视台综合频道、新闻频道、中文国际频道、4K频道，中国国际电视台各外语频道，中央人民广播电台，中国国际广播电台，以及人民网、新华网、央视新闻客户端等中央主要新闻媒体所属网站、新媒体平台将准时播出。

国际在线 2024-12-30

为社区营造浓厚法制氛围，这些大学生们收到了锦旗

武汉学院学子积极投入的奉献精神得到了青石社区的高度肯定，青石社区于12月27日向武汉学院法学院赠送了“党员践初心，弘法传情，播撒法治阳光照青石；法翼担使命，释疑解惑，遍吹普法清风暖社区”的锦旗，以示鼓励。

极目新闻 2024-12-30

能源行业加速产业升级数智融合将成储能产业新引擎

为了深入推进能源革命，加快规划建设新型能源体系，“2024中国能源研究会年会”近日在北京召开。此次会议以“数智融合推动储能产业高质量发展”为主题，吸引了有关政府主管部门、电网公司及发电集团等单位到场研讨。随着储能产业的蓬勃发展，带来了设备利用率低、安全风险增大、运维成本高等问题。

证券时报 2024-12-30

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

微信群聊解散的情感与社交考量：如何处理与沟通建议

广东全面启动万兆智能光网建设

工信部：到2027年打造不少于20个“5G+工业互联网”融合应用试点城市

亿通科技：取得一项计算机软件著作权登记证书

新研究：大脑无法同时学习两种条件反射

中信建投：CES 2025开幕在即，消费电子板块有望迎来新机遇

鸿海研究院运用 AI 研发碳化硅功率元件，可大幅加速开发进程

总台周看点丨大放送，2025上新！

为社区营造浓厚法制氛围，这些大学生们收到了锦旗

能源行业加速产业升级数智融合将成储能产业新引擎

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响