Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

新年首场流星雨1月3日来袭

双星伴月、象限仪流星雨、金星东大距……2025年天象剧场的大幕即将拉开。新年伊始，金星、土星与月亮在傍晚天空上演一场相互追逐的好戏。1月3日傍晚，一弯蛾眉月位于明亮的金星西南方，好看又容易观测；4日傍晚，月亮来到了金星与土星之间，形成一幅双星伴月的画面。18日前后，金星还将与土星亲密约会。

中国青年网 2024-12-30

长沙超算，湘当有为 | 山水洲城记

“目前在‘天河新一代’主机上完成9大类286款基于国产计算设备的应用软件开发、移植和适配，涵盖计算化学、分子动力学、流体力学、人工智能、生物信息、数学等应用领域，初步建立了‘天河新一代’国产软件生态。”

长沙晚报 2024-12-30

支付宝上线AI视觉搜索产品“探一下”，可拍图识别花草美食等

继今年7月推出“碰一下”功能后，12月30日，支付宝推出新一代AI视觉搜索产品“探一下”。“探知识”即，用户遇到不懂的事物或知识，包括花草、昆虫、美食、建筑、展览物品等，可通过“探知识”实现AI随手识图，收获新知。

财经天下WEEKLY 2024-12-30

全球最快高铁列车惊艳亮相，运营时速可达400公里！

记者从中国国家铁路集团有限公司（以下简称国铁集团）获悉，12月29日，CR450动车组样车在北京发布，这标志着“CR450科技创新工程”取得重大突破，将极大提升我国铁路科技创新水平和科技自立自强能力，进一步巩固扩大我国高铁技术世界领跑优势。

半岛都市报 2024-12-30

成都先导：HG146胶囊Ⅱ期临床试验启动并完成首例受试者入组

近日，成都先导公告披露，公司自主研发的1.1类创新药物HG146胶囊已完成Ⅰ期临床试验，开启治疗复发或转移性腺样囊性癌的Ⅱ期临床研究，并已于日前完成首例受试者入组，这标志着HG146胶囊的临床研究在验证有效性和安全性的道路上迈出了重要的一步。HG146胶囊临床研究的推进，有望为患者群体带来新的治疗选择。

中国证券报 2024-12-30

央视《焦点访谈》：岚图汽车彰显中国先进智造实力

工厂屋顶上一排排整齐排列的太阳能光伏板，年发电量2000万千瓦时；车间内935台机器人协同作业、如臂使指；AGV智能搬运机器人满载零部件，沿既定轨道驶向装配生产线；总装车间内，每118秒，就有一辆汽车从智能流水线诞生……12月28日晚黄金时段，中央电视台《焦点访谈》栏目特别策划的《信心2024》制造业专题开播，岚图汽车高端智造工厂、岚图...

中新汽车 2024-12-30

世界最大单机容量、最大尺寸冲击式转轮完成焊接制造

12月30日，随着世界最大单机容量、最大尺寸冲击式水轮机转轮在哈电集团哈尔滨电机厂有限责任公司（以下简称哈电电机）焊接制造成功，世界首台单机500兆瓦扎拉水电站冲击式水轮发电机组转轮问世，这标志着我国高水头、大容量冲击式水电机组的研制技术实现了重大突破。

观察者网 2024-12-30

撒贝宁沿运河行吟，央视跨年晚会明晚“启航2025”

除却卫视平台和B站，央视也是跨年晚会的重要玩家。12月31日晚，《启航2025——中央广播电视总台跨年晚会》将如约来袭，极目新闻记者了解到，今年央视跨年晚会落地山东泰安录制，情怀、温度、共鸣与陪伴，将是其跨年晚会的情绪底色。结合XR/AR虚拟现实，融入无人机、机器人表演等科技手段，拓展节目表现形式。

极目新闻 2024-12-30

谷歌量子芯片的突破点在哪儿

前不久，美国谷歌公司发布最新量子芯片“威洛”（Willow），称其在计算速度和纠错能力方面取得“两个重大进步”，不到5分钟就完成了当今领先的超级计算机需要1025年才能完成的任务，为研制实用的大规模量子计算机奠定了坚实基础。金贤敏介绍：“量子纠缠使量子芯片在处理信息时具有更强的关联性和协同性。”

中国战略新兴产业 2024-12-30

2024“关键角色”｜被AI包围的华强北：老板称产品鸡肋，真风口还是假热闹？

与其说华强北是一个市场，不如说它是中国消费电子的风向标。播放量颇高的短视频中，华强北档口的热销产品变成了AI翻译机、AI吉他、AI耳机、AI手机壳、AI戒指......有不少网友评论，“华强北的下一个风口是AI”“华强北搭上了AI的车”。“可以人机对话的都叫AI”，刘丽介绍该款耳机称，不需要语音唤醒，就可以直接对话。

红星新闻 2024-12-30

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

新年首场流星雨1月3日来袭

长沙超算，湘当有为 | 山水洲城记

支付宝上线AI视觉搜索产品“探一下”，可拍图识别花草美食等

全球最快高铁列车惊艳亮相，运营时速可达400公里！

成都先导：HG146胶囊Ⅱ期临床试验启动并完成首例受试者入组

央视《焦点访谈》：岚图汽车彰显中国先进智造实力

世界最大单机容量、最大尺寸冲击式转轮完成焊接制造

撒贝宁沿运河行吟，央视跨年晚会明晚“启航2025”

谷歌量子芯片的突破点在哪儿

2024“关键角色”｜被AI包围的华强北：老板称产品鸡肋，真风口还是假热闹？

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响