田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘

作者：新智元发布时间：2023-06-14

【新智元导读】 AI理论再进一步，破解ChatGPT指日可待？ Transformer架构已经横扫了包括自然语言处理、计算机视觉、语音、多模态等多个领域，不过目前只是实验效果非常惊艳，对Transfo...【查看原文】

相关资讯

新智元 2023-07-25

Python深度学习进阶应用丨注意力机制、Transformer模型、生成式模型、目标检测算法等

近年来，伴随着以卷积神经网络（CNN）为代表的深度学习的快速发展，人工智能迈入了第三次发展浪潮，AI技术在各个领域中的应用越来越广泛。帮助广大学员更加深入地学习人工智能领域最近3-5年的新理论与新技术，让你系统掌握AI新理论、新方法及其Python代码实现。课程采用“理论讲解+案例实战+动手实操+讨论互动”相结合的方式，抽丝剥茧、深入浅出讲解注意力机制、Transformer模型（BERT、GPT-1/2/3/3.5/4、DETR、ViT、Swin Transformer等）、生成式模型（变分自编码器VA

深度学习人工智能编程

科研充电吧 2023-10-23

田渊栋团队新作祭出Agent-as-a-Judge！AI智能体自我审判，成本暴跌97%

【新智元导读】AI评估AI可靠吗？来自Meta、KAUST团队的最新研究中，提出了Agent-as-

新智元 2024-10-28

近期资讯

抖音发布2024直播治理报告主播精细化管理机制效果显著

12月27日，抖音发布2024年直播治理报告，全面阐释抖音直播过去一年的治理理念、技术及最新成果。报告称，抖音在过去一年持续迭代主播“健康分”，通过加减分定级定档的长效管理机制引导主播“向善”，获得显著成效。抖音直播还配合相关部门打击黄赌毒诈黑色产业链，捣毁百余个犯罪窝点，从源头消除违法犯罪分子对直播行业的污染，全力维护行业的健康发展。

DoNews 2024-12-27

双路96核心！俄罗斯AI服务用上自研CPU：偷偷配八块NVIDIA GPU

快科技12月27日消息，俄罗斯服务器厂商Graviton宣布，已经开始供货首批AI/HPC服务器，基于俄罗斯自研的CPU处理器，可搭配最多八块GPU计算卡。该处理器型号为S2124B，配备两颗48核心处理器，共计96核心，主频2.0GHz，内存搭配DDR4-3200，硬盘支持12块SATA或12块NVMeU.3。

驱动之家 2024-12-27

CES 2025：联想即将推出惊人的卷轴屏笔记本

据传，联想将在2025年1月8日的CES2025上发布多款革命性的笔记本电脑。这些产品在技术与设计上都带来了前所未有的突破，开创了行业的新纪元。据悉，其中一款产品将带来极致的沉浸式显示体验，这一突破将会彻底改变用户对传统笔记本电脑的认知，并使得设备在外观和功能上的表现更加完美统一。

中关村在线 2024-12-27

荣耀绿洲护眼屏项目获评人民网“企业行动案例”

【CNMO科技消息】12月25日，由人民日报社指导、人民网主办的“2024人民企业社会责任论坛”在北京举行。荣耀终端有限公司凭借绿洲护眼屏项目入选人民企业社会责任论坛“企业行动案例”，这是行业对其以技术创新践行企业社会责任的充分肯定，也是荣耀持续投入绿色护眼领域的又一个亮眼成绩单。

手机中国 2024-12-27

国家级海上风电研究与试验检测基地传动链平台建成投运

12月26日，建设中的国家级海上风电研究与试验检测基地(无人机照片)。12月26日，工作人员在海上风电研究与试验检测基地传动链平台控制中心监测平台运行情况。12月26日，技术人员在海上风电研究与试验检测基地传动链平台上检测压力。

金台资讯 2024-12-27

重庆市气象局发布 “天资·12h”人工智能气象预报大模型

重庆市气象局正式发布了“天资·12h”人工智能气象预报大模型。暴雨是重庆每年防汛关键期的关注重点。计算效率方面，传统区域数值预报模式需用时1小时，大模型仅需10分钟。

动点科技 2024-12-27

首届“工业强国·新型工业化”短视频创作与传播活动在衢州举办

央广网北京12月27日消息（记者宋雪）记者从工业和信息化部工业文化发展中心获悉，首届“工业强国·新型工业化”短视频创作与传播活动12月25日在浙江衢州举办。旨在通过短视频形式展示新型工业化最新成果，弘扬新时代中国工业精神，提升工业文化影响力与感召力，凝聚推进新型工业化的社会共识，推动工业文化“软”实力更好转化为新型工业化“硬”支撑。

央广网 2024-12-27

风语筑：《梦回圆明园》VR大空间体验将于新春首发

风语筑与圆明园达成官方合作，风语筑开发的VR大空间体验《梦回圆明园》将于2025年新春期间在北京圆明园遗址公园首发。风语筑在圆明园授权指导下，结合中央美术学院圆明园研究中心提供的3D建筑数据，通过运用空间计算、虚拟现实和AI交互等多项技术，实现圆明园的虚拟化数字复原，让观众亲临其境感受全盛时期的圆明园。

证券时报 2024-12-27

临近空间发展蓄力：国产超音速飞机迈上新台阶

2017年，埃隆·马斯克在一次演讲中分享了一则视频，其中展示，乘坐SpaceX旗下“星舰（Starship）”，以27000公里的最高时速飞行，乘客在纽约时间早上7点出发，39分钟后就可以实现在上海的一个海上平台落地。

21世纪经济报道 2024-12-27

工信部：2025要推进算力中心建设，出台量子产业政策

12月26日至27日，全国工业和信息化工作会议在京召开，会议部署2025年任务。会议强调，推动信息通信业高质量发展，完善“双千兆”网络发展政策措施，试点部署万兆光网，力争累计建成5G基站450万座以上。

华尔街见闻 2024-12-27

田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘

推荐体验

相关资讯

AGI｜Transformer自注意力机制超全扫盲攻略，建议收藏！

从头理解与编码LLM的自注意力机制

ChatGPT危了，「注意力公式」8年神秘bug首曝光，Transformer模型恐大受冲击

Python深度学习进阶应用丨注意力机制、Transformer模型、生成式模型、目标检测算法等

田渊栋团队新作祭出Agent-as-a-Judge！AI智能体自我审判，成本暴跌97%

近期资讯

抖音发布2024直播治理报告主播精细化管理机制效果显著

双路96核心！俄罗斯AI服务用上自研CPU：偷偷配八块NVIDIA GPU

CES 2025：联想即将推出惊人的卷轴屏笔记本

荣耀绿洲护眼屏项目获评人民网“企业行动案例”

国家级海上风电研究与试验检测基地传动链平台建成投运

重庆市气象局发布 “天资·12h”人工智能气象预报大模型

首届“工业强国·新型工业化”短视频创作与传播活动在衢州举办

风语筑：《梦回圆明园》VR大空间体验将于新春首发

临近空间发展蓄力：国产超音速飞机迈上新台阶

工信部：2025要推进算力中心建设，出台量子产业政策

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响