Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

仅1680元！群晖全新NAS直降：零门槛、秒上手

快科技12月31日消息，群晖今年10月推出了一款全新的NAS产品——BeeStation4TB，这款产品号称专为苹果设备打造。其售价为1980元，当前京东年货节直降300元，到手1680元！同时，文件自动存储备份功能让用户无需手动拷贝或设置任务，省时省力。

驱动之家 2024-12-31

灵巧手、大模型秀实力，前沿科技大赛AI十强出炉

在大赛上，灵心巧手公司带来的“以灵巧手和云端智脑为核心的具身智能平台”项目很是吸睛，他们研发的机器人五指灵巧手实现26个自由度，逼近人手的灵巧程度。

北京日报 2024-12-31

23颗“重庆造”卫星进入中国气象局业务系统

12月30日，“重庆造”“天目一号”星座23颗卫星、“云遥一号”系列12颗卫星进入中国气象局综合气象观测系统并实现业务运行。这是商业小卫星数据首次获准进入中国气象局业务系统，为我国气象预报预测提供有力支持。

上游新闻 2024-12-31

上海第一批自动驾驶大模型训练数据采集车正式发车

据上海经信委微信公众号消息，12月31日，上海高级别自动驾驶引领区数据采集车发车仪式在浦东顺利举行，30辆全新的智己L6数据采集车盛装列队并集中发车。市经济信息化委副主任汤文侃指出，上海谋划打造人工智能“模塑申城”，建设高级别自动驾驶引领区，按照“单车智能为基础，车路云协同为关键支撑”技术路线，持续推动上海智能网联汽车产业生态培育。

每日经济新闻 2024-12-31

工信部：明年完善“双千兆”网络，推进工业5G独立专网建设

距离5G正式商用即将进入第七个年头，2025年5G将发挥什么新作用呢？近日，全国工业和信息化工作会议在京召开，透露明年将推进工业5G独立专网建设，完善“双千兆”网络发展政策措施。随着5G建设的发展，截至2024年，我国已经累计建成开通5G基站超过419万个，千兆宽带接入用户超过2亿户，实现“乡乡通5G”。

南方都市报 2024-12-31

瑞士工程科技公司Antefil Composite Tech开发混合纤维，简化纤维复合材料轻质结构件生产流程 | 瑞士创新100强

钛媒体APP注：自2011年以来，瑞士连续13年全球创新指数排名第一，是全球重要的创新策源地，也是中国首个创新战略伙伴关系国，在创新发展和科技金融领域与中国具有极佳互补性。

钛媒体APP 2024-12-31

清洁低碳氢产业发展再迎利好，三部门发文推动工业领域氢能的应用

12月31日，工业和信息化部、国家发展改革委、国家能源局等三部门公布《加快工业领域清洁低碳氢应用实施方案》。方案指出，加快工业副产氢和可再生能源制氢等清洁低碳氢应用，是推动氢能产业高质量发展、培育新质生产力的重要方向，是促进节能降碳、推进新型工业化的重要路径。

新京报 2024-12-31

中国纪录片学院奖颁奖盛典在京举办

中新网北京新闻12月30日电第十四届“光影纪年”——中国纪录片学院奖颁奖典礼近日在京举办。本届“光影纪年”——中国纪录片学院奖，以“感性的真实空间和时间”为主题，回应人工智能时代纪录片领域的真实与虚拟之辩，旨在唤起纪录片人对坚守时间与空间统一的纪录真实的重新思考，开启纪实影像在未来的全新可能。

中国新闻网 2024-12-31

杭州加拿达科技取得一种裙子缝纫机的导向组件专利，解决缝纫机裙子缝纫时易偏移问题

金融界2024年12月31日消息，国家知识产权局信息显示，杭州加拿达科技有限公司取得一项名为“一种裙子缝纫机的导向组件”的专利，授权公告号CN222226798U，申请日期为2024年4月。

金融界 2024-12-31

画质、音响多面进阶，C11K打造Mini LED新天花板！

11月的时候，作为MiniLED技术领域的佼佼者，TCL发布了QD-MiniMED技术，实现了新的技术突破，可以说震撼了行业，也掀起了行业的技术变革。纵观MiniLED市场，其对比度、清晰度、色域、使用寿命等5大画质指标都领先OLED和普通LED，因此用户买电视时选择MiniLED已经成为了潮流。

王晓川 2024-12-31

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

仅1680元！群晖全新NAS直降：零门槛、秒上手

灵巧手、大模型秀实力，前沿科技大赛AI十强出炉

23颗“重庆造”卫星进入中国气象局业务系统

上海第一批自动驾驶大模型训练数据采集车正式发车

工信部：明年完善“双千兆”网络，推进工业5G独立专网建设

瑞士工程科技公司Antefil Composite Tech开发混合纤维，简化纤维复合材料轻质结构件生产流程 | 瑞士创新100强

清洁低碳氢产业发展再迎利好，三部门发文推动工业领域氢能的应用

中国纪录片学院奖颁奖盛典在京举办

杭州加拿达科技取得一种裙子缝纫机的导向组件专利，解决缝纫机裙子缝纫时易偏移问题

画质、音响多面进阶，C11K打造Mini LED新天花板！

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响