在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

作者：机器之心发布时间：2023-05-25

机器之心报道机器之心编辑部深度学习技术在人工智能领域取得了重大进展，在各种科学和工业应用中发挥了关键作用。这些应用通常涉及复杂的序列数据处理任务，包括自然语言理解、对话式人工智能、时间序列分析等，...【查看原文】

相关资讯

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 Attention Is All You Need 之后，基于 transformer 的强大的模型一直在不断地涌现，它们在 NLP 相关任务上的表现远远超过基于 RNN (Recurrent Neural Networks, 递归神经网络) 的

ChatGPT

HuggingFace 2023-05-31

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

本期为TechBeat人工智能社区第510期线上Talk！北京时间7月5日(周三)20:00，新加坡国立大学博士—侯皓文的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “RWKV论文解读 - 在Transformer时代重塑RNN”，届时将解密RWKV注意力机制。Talk·信息▼主题：RWKV论文解读 - 在Transformer时代重塑RNN嘉宾：新加坡国立大学博士侯皓文时间：北京时间 7月5日(周三)20:00地点：TechBeat人工智能社区http://www.te

人工智能

TechBeat人工智能社区 2023-07-07

微软新出热乎论文：Transformer扩展到10亿token

当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文字；OpenAI 前

微软 OpenAI 大语言模型 GPT-4

机器之心 2023-07-09

Transformer——ChatGPT背后的核心架构

Transformer——ChatGPT背后的核心架构什么是Transformer？Transformer是一种神经网络架构，它在自然语言处理（NLP）领域引起了革命。与先前按顺序处理输入数据（如逐字阅读）的模型不同，Transformer能够并行处理输入数据的各个部分。这种并行处理能力是游戏规则的改变者，因为它允许模型一次性地学习一个词与句子中所有其他词的上下文关系，而不是逐个学习。这意味着它能更像人类一样理解语言。Transformer的组成部分Transformer模型主要由两部分组成：编码器和解码

ChatGPT

知识日新 2023-12-09

微软将ChatGPT相关技术扩展到更多工具中

北京商报讯（记者杨月涵）美东时间周一，微软宣布，将ChatGPT的技术扩展到其PowerPlatform平台上，这将允许其用户在很少甚至不需要编写代码的情况下，就能开发自己的应用程序。

微软 ChatGPT 编程

北京商报 2023-03-07

近期资讯

一加Ace 5系列是如何“All in游戏” 打造性能体验天花板？

与以往不同的是，今年Ace5系列的Pro版本提档了，与标准版一起双杯齐发；一起发生变化的还有产品整体思路：「Allin游戏」的方向下，Ace系列将围绕游戏体验，从软硬件两方面一起下手去打磨方方面面，直指目前移动游戏体验的天花板。

手机中国 2024-12-31

三部门联合发布实施《加快工业领域清洁低碳氢应用实施方案》

中新网12月31日电据工信部网站消息，为落实《氢能产业发展中长期规划(2021—2035年)》，积极拓展清洁低碳氢在工业领域应用，加快技术装备产品升级，促进氢能产业高质量发展，工业和信息化部、国家发展改革委、国家能源局于2024年12月30日联合发布实施《加快工业领域清洁低碳氢应用实施方案》(以下简称《实施方案》)。

中国新闻网 2024-12-31

2024年度电视盘点：MiniLED白菜价，国产旗舰狂卷画质

在经历2023年的寒潮后，2024年的电视市场终于有了回暖的迹象，特别是下半年，随着国补活动的开启，中国电视市场也迎来了新一轮的增长。而在全球范围内，中国电视的出海行动也取得了新的进展，全球五大电视品牌里中国品牌已占据三个。

雷科技 2024-12-31

强化企业创新主体地位！郏县液压支架“撑”开国际大市场

近日，位于郏县经济技术开发区的平顶山平煤机煤矿机械装备有限公司（简称平煤机装备公司）机加工分厂装配车间里，公司工程师郭新灿、周玉乾，质量管理部部长周玉亮、技术研发中心主任王跃功、技术带头人李恒乾等十余人围在一根平躺着的立柱旁，认真地对新研制的等压液压支架立柱进行校正。

河南日报 2024-12-31

国内首个高校“AI禁令”发布

据“首都教育”微信公众号消息，期末已至，在高校读书的同学们正忙着完成各种论文、报告，很多学生会选择利用AI来当帮手，相比翻阅厚重的书籍资料，或者利用互联网搜索引擎查找资料，借助AI完成作业更加方便、实用，但也出现了滥用AI的情况。

新京报 2024-12-31

挑战同档最强品质！REDMI Turbo 4防水大满贯：支持IP66/IP68/IP69

快科技12月31日消息，REDMITurbo4即将发布，今天官方公布了其防水性能，支持IP66+IP68+IP69，号称“防水大满贯”。首销还免费赠送进水保，一年内因发生意外进液，导致手机发生故障且无法正常使用，可享受一次免费维修服务，不包含外观损坏及人为故意损坏场景。

快科技 2024-12-31

FSF呼吁2025年继续对微软施压！号召Window用户改用GNU/Linux

快科技12月31日消息，据报道，自由软件基金会（FSF）发布了名为“继续向微软施压（KeepputtingpressureonMicrosoft）”的文章，鼓励自由软件支持者在2025年继续向微软进行施压。

驱动之家 2024-12-31

广汽发布第三代机器人GoMate，人形机器人量产渐行渐近 | 投研报告

华龙证券近日发布汽车行业点评报告：广汽发布第三代机器人GoMate，人形机器人量产渐行渐近。2024年12月26日，广汽集团在中国机器人网年会发布自研第三代具身智能人形机器人GoMate，现场演示中表现出了其精确动作控制、精确导航定位与灵活自主决策能力。行业首创可变轮足移动结构，融入自研视觉自动驾驶算法。

中国能源网 2024-12-31

星河动力谷神星二号火箭计划 2025 上半年首飞

IT之家12月31日消息，国内航天民企星河动力航天今日发布2024年度回顾，并披露了2025年的后续火箭进展。2024年，星河动力航天谷神星一号成功完成了五次陆地和海上发射任务，实现了灵活的地域、轨道适应能力和高密度发射能力。

IT之家 2024-12-31

3399元入手骁龙8 Gen2手机！一加Ace 5 Pro开售

它采用了超窄黑边纯直屏设计，搭配利落直边中框，整体机身线条流畅，配重均匀。同时，一加Ace5Pro还采用了全新的星轨玻璃工艺和丝绸玻璃工艺，使得手机触感细腻、不粘指纹，并且拥有深邃且浪漫的视觉效果。

中关村在线 2024-12-31

在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

推荐体验

相关资讯

RWKV – transformer 与 RNN 的强强联合

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

微软新出热乎论文：Transformer扩展到10亿token

Transformer——ChatGPT背后的核心架构

微软将ChatGPT相关技术扩展到更多工具中

近期资讯

一加Ace 5系列是如何“All in游戏” 打造性能体验天花板？

三部门联合发布实施《加快工业领域清洁低碳氢应用实施方案》

2024年度电视盘点：MiniLED白菜价，国产旗舰狂卷画质

强化企业创新主体地位！郏县液压支架“撑”开国际大市场

国内首个高校“AI禁令”发布

挑战同档最强品质！REDMI Turbo 4防水大满贯：支持IP66/IP68/IP69

FSF呼吁2025年继续对微软施压！号召Window用户改用GNU/Linux

广汽发布第三代机器人GoMate，人形机器人量产渐行渐近 | 投研报告

星河动力谷神星二号火箭计划 2025 上半年首飞

3399元入手骁龙8 Gen2手机！一加Ace 5 Pro开售

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响