RWKV：一个大模型小团队，要做 AI 时代的安卓
独自一人开发大模型，转身创业并拒掉巨头的橄榄枝。
作者 | 凌梓郡
编辑 | 郑玄
「Interested in working at OpenAI ?」
香港大学物理系毕业的彭博，在今年 2 月 3 日收到了一封来自 OpenAI的邀约邮件。吸引这家 AI 巨头的，是他作为独立开发者发布的一个开源模型：RWKV。信中并没有包含具体薪资。不过，此前有消息称 OpenAI 为软件工程师提供的年薪中位数为 92.5 万美元。
Open AI 来信
当时国内还少有人关注到这个创新的模型设计。
彭博回复了邮件：「OpenAI is great, but I like building Open AI :) Let me know if OpenAI plans to build a community project one day.」（OpenAI 很好，但我喜欢建设 Open 的 AI :) 如果 OpenAI 哪天计划做一个社区驱动的项目，欢迎告诉我）。
如今，他是元智能 OS 的创始人。这是一个基于 RWKV 模型的创业公司。他更希望建设真正 Open 的 AI，这需要更多商业和资金的支持。这就像 Linux 是免费的，基于 Linux 开源生态，会形成 Redhat 这样的商业公司。
为了降低模型的推理成本，RWKV 创新性地将大模型最常用的 Transformer 架构改写成了 RNN，这展现出的实用价值受到了业内的关注。让团队引以为傲，反复强调的是：在开放研究组织 LMSYS 每周更新排行榜中，真实用户测评的模型对抗Elo排名中，RWKV 系的对话模型 Raven-14B 的排在 Alpaca-13B、OpenAssistant-Pythia-12B、ChatGLM-6B 等知名项目前。
而 RWKV 和 Raven，从设计，到优化，到大规模训练，全部由彭博一人完成。
在执行推理任务时，RWKV 的性能优越。如果 Transfomer 架构的算力成本是 T（序列长度）的平方，RWKV 推理的算力成本只有 T 分之一，并且显存的占用是恒定的。「我们是市面上真正能够在手机的芯片上长期跑的模型。因为其他的模型跑着跑着显存就会爆掉。」元智能的另一位联创罗璇介绍。
随Token增加，不同 LLMs 在文本生成上的时间｜来源：RWKV 论文
独特的性能，让 RWKV 在开源社区中获得了一定的关注，得到了来自 Stability AI 的算力支持。RWKV 也积累起了自己的开发者社群，并成立了 RWKV 基金会。5 月底，来自全世界 27 个研究机构、开源社区、高校的 RWKV 开发者们合著的论文才在 arxiv 上发表，外界得以更详细了解模型设计的细节。
大模型的热潮让黑客松复兴。在今年 4 月份深圳一场黑客松上，经历三组初赛后，「第一个国产开源语言模型 RWKV」在进入决赛的 17 个队伍中脱颖而出，获得了第一名。罗璇便是这场黑客松的发起人。他表示，这场开启于 3 月的比赛「可能是中国最早的 AIGC 黑客松」。他是 AI-Transformer 社群的创始人，曾在腾讯担任高级产品经理、猎豹移动担任高级产品总监；2016 年 all in AI，先后在阿里巴巴机器人部门和 AI Lab 担任产品总监，2018 年创业做了 AMR 机器人公司，担任 Syrius 矩星的联合创始人。
夺冠之后，RWKV 团队想尝试商业化，需要一个产品和市场经验丰富的人，于是邀请罗璇加入。此后，基于 RWKV 的商业团队组成了 4 人创始团队：RWKV 原作彭博、CTO 刘潇、COO 孔晴、罗璇。这便是「元智能 OS」的起源。
罗璇介绍，目前元智能 OS 团队有 7 人，主要精力依旧放在训练更好的基础模型上。目前公司正在进行第一轮融资，也已经接到一些微调行业模型的商单。而元智能 OS 最终的目标是成为大模型时代的 Android。这意味着开发者基于 RWKV 开发应用，形成生态，与模型适配的芯片会进入终端。
01
诞生于个人开发者
的创新模型
RWKV 这一模型读作「Ra Ku」，最初的作者只有一个人，来自于毕业于香港大学物理系的彭博。RWKV 模型的诞生，一部分源自彭博自己用 AI 生成小说的兴趣。
小说是一种需要连贯逻辑、内在世界观的长文本。三年前，GPT 系列模型已经引起了学界的关注，但是长文本生成依旧是不小的挑战。
在 2017 年的谷歌论文中，为了实现 Attention 机制，研究者提出了如今被 LLM 广泛采用的 Transformer 架构。这一架构的特点是具有可扩展性。并行的 Transformer 组件提升了模型训练数据的效率，从而让 LLM 的参数规模持续增加，最终出现了「智能涌现」的特点。
但是这一架构也有缺点，在执行推理任务，也就是生成内容的时候，计算复杂度会随着序列长度（T）成 2 次方 O(T*2）增加，这意味着推理时计算成本的也会成 2 次方增加。这种计算复杂度的增加是由 Attention 机制带来的，因此，一部分研究者在思考如何能够简化 Attention 机制。
2021 年，苹果发布了一篇论文《An Attention Free Transformer》，提出了种不需要 Attention 机制的 Transformer 模型。这给了彭博很大的启发，他将这篇论文中的公式进行改写，成功将 Attention 公式改写成了 RNN（循环神经网络）形式。循环神经网络是之前 NLP 里最常用的深度学习模型。
公式的改写，将推理的计算复杂度降为了线性增长。于是，RWKV 被形容为成兼具 Transformer 与 RNN 优点的模型架构：可并行高效训练、推理性能优越。
RWKV 模型训练完成后，彭博将其在国外的 GitHub、以及国内的魔搭社区上线。他开发了更适合对话的 ChatRWKV，并建立了 Discord 社区、QQ 群，欢迎开发者们一起做「大规模语言模型的 Stable Diffusion」、「开源 ChatGPT」。这样一个出自独立开发者的模型，在 5 月初，RWKV 一度在开放研究组织 LMSYS 的模型对抗排名中取得了第六名，无疑令人惊喜。
对于小型创业团队、个人开发者而言，RWKV 是没有算力门槛，是可以快速尝试的模型。在最近一次不到二十人的小范围聚会中，我遇到四五个基于大模型做应用的创业者。其中就有两个使用了 RWKV。
这样创业小团队的画像很常见：基于已有的开源模型，结合私有数据做 Finetune，帮助一些需要提升效率的企业，做模型定制或内部的 AI Agent 开发。
他们常常在开源社区选用最合适的模型，也熟悉各个开源模型的特点。一位创业者则在朋友圈展示出 RWKV 的安卓端版的页面，这是一个可以在手机端进行推理的模型版本。
其中一位创业者表示，RWKV 模型的优势是处理长文本的信息，并给出回应，因此在格外需要这一能力的用例上会优先考虑，不过模型的缺点也很明显，发散性太强，交互过程中会容易偏离话题。「它实际上的竞争对手是 GLM」他说。
ChatGLM 是清华智谱团队开发的模型。其中的 6B 版本在国内开源模型中表现出色，颇有口碑。前不久团队刚刚宣布了此前开源的 ChatGLM-6B 和 ChatGLM2-6B 允许商用。
02
RWKV 保持开源，
元智能 OS 想成为
大模型时代的安卓
在开源模型层出不穷的当下，如何评测模型无疑是关键任务。各家也往往搬出其自研模型在 MMLU、AGIEval、C-Eval 等评测基准上的表现，以自证模型能力。但不止一位行业人士指出，模型可以根据评测基准做特定的数据优化，由此最终得到比较好的打分结果。这一现象难免令外界无所适从。
要真正理解 RWKV 在排行榜上取得的排名的含义，就需要理解排名产生的规则。开放研究组织 LMSYS 则创新地尝试一种综合的测评策略，每周更新排行榜。最新的结果显示，RWKV 系列 14B 的对话模型 Raven 排在第 15 位，综合排位在 ChatGLM-6B（清华-智谱）之前，后者是在国内颇具口碑的开源模型。在 5 月 8 日的排行中，RWKV 一度排在第六。
LMSYS 的测评策略中一共使用三种方式为模型打分，RWKV 似乎在第一种 Chatbot Arena（对话模型竞技场）的表现上更加优越；而在 MT-bench、MMLU 这样的基于任务集的测试上得分偏低。
LMSYS 模型测评排名（截止7.25）
Chatbot Arena（对话机器人竞技场）是随机匿名的人类打分机制。在网页上，访客同时跟两个匿名模型进行交互，并投票给更认为体验更佳的一方。这样收集众多模型间 1V1 的比拼结果之后，LMSYS 最终统计模型的排名。在每周的排名公布时，也会公布任意两个模型在竞技场上「狭路相逢」时的表现。最近一周，当 RWKV-4-Raven-14B 与 ChatGLM-6B 被人类比较时，59% 的概率下，人类会觉得 Raven 表现更优秀，这或许说明了在对话的场景下，Raven 略胜一筹。
而在 MT-bench、MMLU 这样的基于任务集的测试上得分偏低，这表明 RWKV 在能力泛化、知识迁移、多轮有挑战的任务上能力较弱。
罗璇曾形容 RWKV 是「最佳开源可商用」LLM。不过，在百川智能 Baichuan-13B、智谱 ChatGLM2-6B 先后宣布开源可商用之后，国内开源可商用的模型格局必然发生新的变化。5 月，RWKV 在 Hugging face 模型平台上线，但目前已经不在 Open LLM Leaderboard 榜单上，ChatGLM2-6B 和 Baichuan-7B 榜单中排位相近。
在 5 月接受 36Kr 采访时，彭博表示「RWKV 中文 7B 模型和 ChatGLM 6B 中文模型也是互有胜负，不过，RWKV 还没开始真正炼中文模型，使用的是英文词表，还没有加入大规模中文语料。」
彭博目前的主要精力都集中在训练模型上，RWKV-4-world 系列模型也在不断上线中，其中就包括了针对中文的特化模型，重点提升了中文能力，降低了其它语言的能力。目前 Demo 也已经开放在魔搭社区供人尝试。在 AI 作曲上，彭博也发布了最新的开源成果，基于 RWKV 生成 MIDI 形式音乐的模型。（注：MIDI 一种数字音频格式，用于控制电子音乐设备之间的通信）
RWKV-4-world 中文模型续写小说 Demo
已关注
关注
重播分享赞
关闭
观看更多
更多
正在加载
正在加载
退出全屏
视频加载失败，请刷新页面再试
刷新
视频详情
rwkv-4-music 作曲 Demo
RWKV 模型本身会一直保持开源和非盈利，目标是成为大模型时代的 Linux，而元智能 OS 则希望能够成为大模型时代安卓。
罗璇表示，安卓是 Linux 在手机垂直领域的版本。对应而言，元智能 OS 就会成为大模型时代某一领域最通用的模型。「大模型时代的安卓」包含了两层含义，「会有一个大的生态，在这个基础上，提供多样的能力给第三方应用；另外一方面，硬件会是 RWKV 的重要生态。」他介绍，目前终端和服务器上的 GPU、CPU 都可以用来做模型推理，而在模型训练方面，Nvidia、AMD、Intel 等芯片都已能够很好支持，国产芯片中不少也移植了 RWKV 的算子。
03
「做 ChatGPT
现在不能做的」:
未来的模型会在端侧运行
元智能 OS 已经接到了帮助一些微调行业垂直领域的商单，客户主要来自金融、律所、智能硬件等行业，以 license 的形式收年费。RWKV 模型吸引它们的主要是两点：全自研，算力成本低。
元智能 OS 会结合特定领域的公开数据，在基础模型上微调一个更具备行业知识的垂直模型，再交由客户结合自己的私有业务数据，进行本地化部署。部署环节往往由第三方技术提供方实现，这是由于公司希望私有数据不外泄。本地化部署所面临的是业务上的门槛，而非技术上的门槛，「数据不能出来，不能进模型。」
这也是为什么以 API 形式提供 B 端服务商业模型的前景开始受到怀疑。尽管 OpenAI 已经在 3 月分更新了服务条款，明确表示不再使用任何 API 的数据进行训练，依旧难以打消企业们对于数据外泄的担忧。因此，API 商业模式的前景也开始受到怀疑。
元智能 OS 的观点是明确的：API 不是一个好的商业模式。
延迟问题难以解决。在智能汽车、智能音箱，以及未来的 XR 眼镜、头显等场景，通过 API 调用云端算力资源的延迟性较高。「现在 Open AI 的 API 调用体验非常差，实际上是不可用的」
- 成本问题，调用 API 按照消耗 Token 的数量来计费，如果在终端设备上使用功能，还要为云端的 Token 付费，也是不合理的。罗璇表示，如果接入 OpenAI 的 API，计算下来，一个智能音箱需要 10 美金的订阅费抵消成本。
- 数据安全问题。除了企业不愿意外泄数据，在个人助理领域，个人用户也不希望自己的私人数据被传入云端。
在端侧运行大模型，也已经是行业内的共识，高通前不久展示针对 Stable Diffusion 而做的优化，实现了在安卓手机上运行模型。陆奇在深圳的公开演讲中也曾表示，可能需要三到五年的时间，大模型会在手机端上运行。
由于 RWKV 模型的性能优势，元智能 OS 将「终端部署大模型」视为自己的最大战场。彭博表示「AI 大模型的决战战场是在硬件上面，也就是芯片。无论是端侧和云测都需要专用芯片。」陆奇在深圳的公开演讲中就曾表示，可能需要三到五年的时间，大模型会在手机端上运行。
目前 RWKV 已经提供了在 Windows 和 Mac、Linux 电脑上可以安装的版本 RWKV Runner。除了已经放出的安卓版本，IOS 版本在开发中。罗璇告诉极客公园：元智能 OS 正在进行第一轮融资。团队未来半年的核心还是模型，提升模型能力是一方面，另外也正在和一些芯片公司和算力平台洽谈，打造标杆客户。
其中，标杆客户包括有终端部署的形式，也包括跟云平台合作提供 API 调用。「现在的精力其实是更多在模型训练、开发者生态和融资，接下来会逐渐调整到产品和生态」。
04
「硬件的迭代周期，
是天然的门槛」
基于大模型的 Killer app 尚未出现的当下，基于大模型的应用价值，引起了人们的诸多讨论。
Notion AI、Office 365 Copilot 这样商业价值确定的应用，共同之处是在成熟的软件产品上新增 AIGC 功能。罗璇形容，这样的新功能，是「在原来定义好的场景下，提升效率，帮助人节省了劳动力。」
但是他认为，这样产品思路并没有带来增量价值；而且，只做效率提升，带来的商业价值很快就会见顶。他认为，如何用大模型带来的生产力创造增量价值，比如「让人们获得更多、更好的数字化内容」，应该是创业者思考的方向。
另外一个现象是，调用模型能力，从单点价值出发的创业团队似乎难以形成商业壁垒。「创业公司基于 ChatGPT 能够创造的价值非常单薄」的观点便是代表。
比如 Jasper.AI 这样调用模型能力应用的营销写作产品，在 ChatGPT 推出之后，反而迎来了流量下降。这意味着基础模型能力更强、更易用之后，具备覆盖一部分应用的能力。另外一个例子是 Gammaly，这个已经存在了十几年的写作辅助软件，在 ChatGPT 表现出优异的语言能之后，也面临着自证「Gammaly 能够提供更好的写作辅助」的新课题。
组织过十几场黑客松，作为经历过互联网时代产品老人，罗璇也表示目前的初创产品往往存在问题：
- 对于技术边界理解不深入。或者不知道现在的模型能做什么，或者不知道随着模型发展，未来能够做什么；这表现在，做出来的应用，是模型已经能实现的功能；或者想实现的效果，未来三到五年，通过模型能力也无法实现。
- 对市场竞争格局、现有市场供需关系理解不深入，这容易带来两种结果：做出来的产品很容易被有渠道的大厂直复制；或者做出来的东西没有市场需求，没有人用。
在大模型技术快速发展的当下，理解技术边界，思考技术会如何演变，对于产品经理而言变得更加重要，这样才能避免思考产品时刻舟求剑。
RWKV 模型在进入终端硬件上有优势，罗璇本人也看好模型进入在机器人、XR 等手机、PC 之外的终端硬件之后所带来的可能性。首先，这些终端硬件带来激活新的应用场景，从而衍生出其上搭载的软件服务和数字化内容；其次，硬件的迭代周期很长，是天然的门槛。
「谁先做，就很有可能就有一些优势。」在黑客松中，为了鼓励硬件项目，他还专门设立了硬件奖项。深圳拥有的硬件产业链优势，也寄托了他「让 AI 发生在中国大湾区」的愿望。
*头图来源：RWKV
本文为极客公园原创文章，转载请联系极客君微信 geekparkGO
直播预告
据经济观察报不完全统计，全国已经出现了 106 个大模型。但随着「百模大战」进入深水区，越来越多的机构、投资人开始关注大模型的产品化、场景化和商业化。对于中国创业者来说，在大模型领域应该关注怎样的市场和增量？
7 月 26 日（周三）20 点，极客公园「开始连接」直播间将邀请到 360 集团副总裁、N 世界负责人梁志辉，一起聊聊 AI 时代的「数字员工」，正在成为我们的得力助手。
赶快点击下方按钮👇预约精彩直播吧！
更多阅读