在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

作者：机器之心发布时间：2023-05-25

机器之心报道机器之心编辑部深度学习技术在人工智能领域取得了重大进展，在各种科学和工业应用中发挥了关键作用。这些应用通常涉及复杂的序列数据处理任务，包括自然语言理解、对话式人工智能、时间序列分析等，...【查看原文】

相关资讯

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 Attention Is All You Need 之后，基于 transformer 的强大的模型一直在不断地涌现，它们在 NLP 相关任务上的表现远远超过基于 RNN (Recurrent Neural Networks, 递归神经网络) 的

ChatGPT

HuggingFace 2023-05-31

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

本期为TechBeat人工智能社区第510期线上Talk！北京时间7月5日(周三)20:00，新加坡国立大学博士—侯皓文的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “RWKV论文解读 - 在Transformer时代重塑RNN”，届时将解密RWKV注意力机制。Talk·信息▼主题：RWKV论文解读 - 在Transformer时代重塑RNN嘉宾：新加坡国立大学博士侯皓文时间：北京时间 7月5日(周三)20:00地点：TechBeat人工智能社区http://www.te

人工智能

TechBeat人工智能社区 2023-07-07

微软新出热乎论文：Transformer扩展到10亿token

当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文字；OpenAI 前

微软 OpenAI 大语言模型 GPT-4

机器之心 2023-07-09

Transformer——ChatGPT背后的核心架构

Transformer——ChatGPT背后的核心架构什么是Transformer？Transformer是一种神经网络架构，它在自然语言处理（NLP）领域引起了革命。与先前按顺序处理输入数据（如逐字阅读）的模型不同，Transformer能够并行处理输入数据的各个部分。这种并行处理能力是游戏规则的改变者，因为它允许模型一次性地学习一个词与句子中所有其他词的上下文关系，而不是逐个学习。这意味着它能更像人类一样理解语言。Transformer的组成部分Transformer模型主要由两部分组成：编码器和解码

ChatGPT

知识日新 2023-12-09

微软将ChatGPT相关技术扩展到更多工具中

北京商报讯（记者杨月涵）美东时间周一，微软宣布，将ChatGPT的技术扩展到其PowerPlatform平台上，这将允许其用户在很少甚至不需要编写代码的情况下，就能开发自己的应用程序。

微软 ChatGPT 编程

北京商报 2023-03-07

近期资讯

泪奔！韩国客机失事最惨一幕：1家9口空难离世家仅剩狗

12月31日消息，当地时间12月29日，一架韩国济州航空7C2216航班的客机在位于韩国全罗南道的务安机场着陆时，偏离跑道后撞上机场围墙。除2人获救外，机上其余179人全部遇难，这是在韩国国内发生

雪花 2024-12-31

创维新款23.8寸显示器上市：2K 180Hz屏仅899元

快科技12月31日消息，创维推出了23.8寸显示器——F24G52Q Pro，首发899元。新款显示器采用23.8寸的Fat IPS面板，2560x1440分辨率、180Hz刷新率、400nits峰值亮度。同时，该显示

鹿角 2024-12-31

Windows本地AI开发神器！微软推出并开源AI Dev Gallery

快科技12月31日消息，微软针对Windows 11 AI+ PC设备推出了一项名为AI Dev Gallery的新功能，旨在帮助开发者在其应用中融入端侧AI功能。该功能已在GitHub上开源，为开发者提供了一个强大的本地

黑白 2024-12-31

马斯克评论文章激怒德国：炮轰世界首富干预大选

财联社12月31日讯（编辑史正丞）就在距离德国大选还剩8周之际，世界首富、美国当选总统特朗普的亲密顾问、特斯拉CEO马斯克又成了德国政府的炮轰对象。当地时间周一，德国政府的副新闻发言人C

2024-12-31

我国开建全球最大万吨级纯电动运输船：续航可达500公里

快科技12月31日消息，据央视新闻报道，日前，全球最大的万吨级纯电动运输船在湖北宜昌开工建设。该船是三峡集团所属长江电力三峡电能牵头、国内多家科研单位参与的重点项目，是我国万吨级

若风 2024-12-31

爱奇艺副总裁陈伟再被曝离职：曾成功打造《中国有嘻哈》

快科技12月31日，据媒体报道，今日，传爱奇艺高级副总裁陈伟已经离职。对此，爱奇艺方面暂无回应。据以往报道，这并非陈伟首次被曝出离职的消息。早在2022年3月，当时外界就有传言称爱奇艺要削

秋白 2024-12-31

免费喝1两：江西老字号春蕾茉莉超特茶5两29元半价大促

江西老字号春蕾茶叶旗舰店，南昌春蕾茉莉超特花茶5两日常售价59元，今日下单可领20元限时券，送茉莉花茶包*2袋。官方立减10元，到手价29元包邮。结算时可见赠品，没有不赠。传统制，免费喝

小晖 2024-12-31

《GTA6》B站预告对比油管女人汗毛妊娠纹细节清晰

近日，国内视频平台哔哩哔哩突然引发了大量海外玩家的关注，其背后的原因是由于一位海外推主发现《GTA6》首支预告在B站的版本要比外国人常用的YouTube版本清晰不少，其中展现的细节也更加丰富。

2024-12-31

我国新规：司机驾年龄延长至63岁摩托车放宽至70岁！

快科技12月31日消息，据国内媒体报道称，新修订的《机动车驾驶证申领和使用规定》明天开始（2025年1月1日）实施。新规中显示，大中型客货车驾驶证的申请年龄上限由60周岁延长至63周岁，大中型

雪花 2024-12-31

知名投资人：英伟达正在“印钱” AI机遇无穷无尽！

“AI总龙头”英伟达的股价确实在年末这段时间遭受了一些挫折，但站在2024年的最后一天展望未来，专家和投资者相信，这家人工智能（AI）市场的宠儿即将迎来新的篇章，以及更令人印象深

2024-12-31

在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数

推荐体验

相关资讯

RWKV – transformer 与 RNN 的强强联合

Talk | 新加坡国立大学博士侯皓文：RWKV论文解读 - 在Transformer时代重塑RNN

微软新出热乎论文：Transformer扩展到10亿token

Transformer——ChatGPT背后的核心架构

微软将ChatGPT相关技术扩展到更多工具中

近期资讯

泪奔！韩国客机失事最惨一幕：1家9口空难离世家仅剩狗

创维新款23.8寸显示器上市：2K 180Hz屏仅899元

Windows本地AI开发神器！微软推出并开源AI Dev Gallery

马斯克评论文章激怒德国：炮轰世界首富干预大选

我国开建全球最大万吨级纯电动运输船：续航可达500公里

爱奇艺副总裁陈伟再被曝离职：曾成功打造《中国有嘻哈》

免费喝1两：江西老字号春蕾茉莉超特茶5两29元半价大促

《GTA6》B站预告对比油管女人汗毛妊娠纹细节清晰

我国新规：司机驾年龄延长至63岁摩托车放宽至70岁！

知名投资人：英伟达正在“印钱” AI机遇无穷无尽！

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响