在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

作者：机器之心发布时间：2023-05-25

机器之心报道机器之心编辑部深度学习技术在人工智能领域取得了重大进展，在各种科学和工业应用中发挥了关键作用。这些应用通常涉及复杂的序列数据处理任务，包括自然语言理解、对话式人工智能、时间序列分析等，...【查看原文】

相关资讯

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 Attention Is All You Need 之后，基于 transformer 的强大的模型一直在不断地涌现，它们在 NLP 相关任务上的表现远远超过基于 RNN (Recurrent Neural Networks, 递归神经网络) 的

ChatGPT

HuggingFace 2023-05-31

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

本期为TechBeat人工智能社区第510期线上Talk！北京时间7月5日(周三)20:00，新加坡国立大学博士—侯皓文的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “RWKV论文解读 - 在Transformer时代重塑RNN”，届时将解密RWKV注意力机制。Talk·信息▼主题：RWKV论文解读 - 在Transformer时代重塑RNN嘉宾：新加坡国立大学博士侯皓文时间：北京时间 7月5日(周三)20:00地点：TechBeat人工智能社区http://www.te

人工智能

TechBeat人工智能社区 2023-07-07

微软新出热乎论文：Transformer扩展到10亿token

当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文字；OpenAI 前

微软 OpenAI 大语言模型 GPT-4

机器之心 2023-07-09

Transformer——ChatGPT背后的核心架构

Transformer——ChatGPT背后的核心架构什么是Transformer？Transformer是一种神经网络架构，它在自然语言处理（NLP）领域引起了革命。与先前按顺序处理输入数据（如逐字阅读）的模型不同，Transformer能够并行处理输入数据的各个部分。这种并行处理能力是游戏规则的改变者，因为它允许模型一次性地学习一个词与句子中所有其他词的上下文关系，而不是逐个学习。这意味着它能更像人类一样理解语言。Transformer的组成部分Transformer模型主要由两部分组成：编码器和解码

ChatGPT

知识日新 2023-12-09

微软将ChatGPT相关技术扩展到更多工具中

北京商报讯（记者杨月涵）美东时间周一，微软宣布，将ChatGPT的技术扩展到其PowerPlatform平台上，这将允许其用户在很少甚至不需要编写代码的情况下，就能开发自己的应用程序。

微软 ChatGPT 编程

北京商报 2023-03-07

近期资讯

京东日韩首个自营海外仓来了！机器人干活效率提升100%

快科技12月26日消息，据“京东物流黑板报”公众号，日前，京东物流日本东京1号仓正式开仓运营，这是京东物流在日韩布局的首个自营海外仓。正式运营后，京东物流日本东京1号仓将为日

2024-12-26

欧洲超级计算机跻身全球前五：竟属于一家意大利能源公司

据媒体报道，意大利能源巨头埃尼公司（Eni）将于本日启动全球最大之一的超级计算系统“HPC6”。据埃尼官网介绍，HPC6拥有近1.4万枚超威半导体（AMD）的图形处理单元（GPU）。报道称

2024-12-26

网约车上的臭味引发热议：为什么人在密闭空间里会变臭

12月26日消息，据媒体报道，近日网约车上的臭味引发了广泛讨论，为什么人在密闭空间里会变臭？据了解，让人“变臭”的原因包括汗臭味、皮肤油脂、脚臭以及口臭等等。以汗臭味为例

2024-12-26

【Nature】华南理工实现钙钛矿太阳能电池重大突破

作者，华南理工大学为第一完成单位，论文合作者包括德国ChristophJ.Brabec教授，瑞典林雪平大学高峰、王锋教授，香港中文大学路新慧教授，国家纳米中心丁黎明研究员等。用无机阳离子（如Cs+）取代有机阳离子（如甲铵基（MA+）和甲脒（FA+））制备的全无机钙钛矿是提高钙钛矿太阳能电池长期光稳定性和热稳定性的有效途径。

小材科研 2024-12-26

银昕推出VANGUARD系列金牌电源：支持ATX 3.1标准

快科技12月26日消息，银昕推出VANGUARD系列金牌全模组电源，包括VG650、VG750和VG850三个型号。该系列电源全面遵循最新的ATX 3.1与PCIe 5.1国际标准，对电源的能效比、显卡供电能力及智能保护

2024-12-26

侮辱诽谤华为产品！一博主被判赔20万

快科技12月26日消息，日前，东莞市第一人民法院在南方日报刊登“华为技术有限公司、华为终端有限公司诉余明亮名誉权纠纷案判决内容公告”。判决公告显示，二审驳回上诉，维持原判，

2024-12-26

理想同学App测试版抢先看！支持识物、翻译、语音交流

快科技12月26日消息，在日前举办的“2024理想AI Talk”直播中，理想汽车CEO李想就AI等话题展开对话。直播中，李想还宣布理想同学App将在12月27日正式上线手机端。直播结束后，理想

2024-12-26

李想：过去最好的汽车是德国造今天最好的智能车是中国造

快科技12月26日消息，在2024理想AI Talk上，理想汽车CEO李想就AI等话题展开对话。他认为，只要所有的中国企业不放弃，就有可能成为全球领先的AI企业，一切皆有可能。过去的时候，我们认为全世

2024-12-26

一加Ace 5系列今天发李杰：尽最大努力给到满意价格

快科技12月26日消息，今天下午，一加Ace 5系列正式发布。在发布会彩排结束后，一加中国区总裁李杰表示，一加Ace 5系列产品亮点非常多，知道大家都很关心价格，我们会尽最大努力给到大家满意的

2024-12-26

稳居50万以上车型销量榜首！问界M9上市一年大定破20万台

快科技12月26日消息，AITO问界M9自上市以来累计大定订单已突破20万台，稳居50万元以上车型销量榜首。华为车BU董事长余承东在鸿蒙智行年度直播中透露，问界M9累计大定超过19万辆，正向20万

2024-12-26

在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

推荐体验

相关资讯

RWKV – transformer 与 RNN 的强强联合

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

微软新出热乎论文：Transformer扩展到10亿token

Transformer——ChatGPT背后的核心架构

微软将ChatGPT相关技术扩展到更多工具中

近期资讯

京东日韩首个自营海外仓来了！机器人干活效率提升100%

欧洲超级计算机跻身全球前五：竟属于一家意大利能源公司

网约车上的臭味引发热议：为什么人在密闭空间里会变臭

【Nature】华南理工实现钙钛矿太阳能电池重大突破

银昕推出VANGUARD系列金牌电源：支持ATX 3.1标准

侮辱诽谤华为产品！一博主被判赔20万

理想同学App测试版抢先看！支持识物、翻译、语音交流

李想：过去最好的汽车是德国造今天最好的智能车是中国造

一加Ace 5系列今天发李杰：尽最大努力给到满意价格

稳居50万以上车型销量榜首！问界M9上市一年大定破20万台

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响