编辑:Aeneas 好困
ChatGPT激起的火种,正在中国科技公司急速蔓延。国内的各个大厂内,算法工程师们纷纷开启冲刺倒计时,迎来一个个不眠夜。
而在创投圈的饭桌上,到处都能听到「誓要做中国第一个ALL in GPT的VC」的声音。
兴奋者有之,观望者有之,唱衰者有之。所有人都在翘首以盼:谁能成为中国的第一个ChatGPT?
而如今,这股ChatGPT热潮中,忽然涌现了一股清流——小冰链。
小冰链给了我们这样一个答案:除了做中国版ChatGPT,还有没有别的选项?
ChatGPT军备竞赛,实则刻舟求剑
跟目前急于下场的巨头派、大佬派、初创公司派不同,小冰认为,现在国内这股跟随ChatGPT展开军备竞赛的热潮,其实是刻舟求剑。
因为,大模型技术本身的发展速度,就是很快的,现在我们应该做的,应该是进一步去布局下一站的未来,而不是照抄当前的ChatGPT。
换言之,我们应当去思考,ChatGPT之后的是什么?而不是一窝蜂去做中国的ChatGPT。
而小冰链所代表的方向,则是利用大模型技术,实现下一代的控制中枢。
通俗来讲,小冰链不再只是「聊天」,而是成为了「逻辑思维」驱动下的「下一代行动中枢」,覆盖数字和物理世界。这一方向将成为下一个真正带来影响的大模型创新突破。
这也就是为什么,小冰CEO李笛在接受新智元采访时,特别强调说:其实我们做的并不是类ChatGPT产品。
小冰链和ChatGPT的核心区别:
小冰链的数据来源是实时的,而ChatGPT是从训练数据中总结的;
小冰链能展现逻辑思维过程,更透明、可观测,而ChatGPT完全是个黑盒子;
最本质的区别是,小冰链会自己进行下一步的行动,比如上网搜索,而ChatGPT只是对话生成,并没有行动。
李笛解释道,小冰链的独特之处在于,能够把AI的思考过程完整透明地呈现出来,从而揭开大模型的黑盒。
更重要的是,她能真正实施行动,也就是Action。
小冰链是个啥?
李笛解释道:在GPT-3.5时,涌现了一个新的能力——思维链/逻辑思维。
但是,在ChatGPT这个过程中,没有真的实施这种调查或计算,因为它只能从训练数据里去爬。
如果我们换一种思路,比如训练一个不那么大的模型来提供逻辑思维的能力,而执行部分则交给CoT之后的ACTION,也就是通过查询新闻的真实性,直接、实时地获得信息。
这项过程并不是在大模型里完成的,反而一举两得:一方面,因为只需要保留逻辑思维能力,所以模型不需要那么大,运行成本没有那么高,计算量没有那么大;另一方面,恰恰因为不是让语言模型自己把所有事情做出来,反而能更准确。
因而,李笛认为,与其一直争当下一个「中国版ChatGPT」,不如去思考:ChatGPT的下一步是什么?
再往前推一步,既然得到的是有逻辑思维能力的组合(一个模型负责思考,一个模型负责牵引,去做行为),这个组合就变成了一个控制中枢。此时,她可以控制搜索、计算、传统的知识图谱,甚至是物理世界。
AI经过思考,会控制物理世界的灯、去餐馆订餐、发动车子、生成一段音乐,可以调动任何事情,这个意义,或许比只是写个新闻稿影响更深远。
而这就体现了小冰对于「探索语言模型下一步方向」的探索成果。
现在,ChatGPT的能力已经基本全部展现了。接下来呢,是让它更准确?写的文章更符合现实?
本质上看,这些只是程度上的差异,不构成一个代际跨越。
什么才算「代际跨越」?
李笛表示,代际的跨越除了要实现意图识别,还需要包括思维的转换和跳跃等等,这才是下一步要做的东西。
比如,当你问「我老婆说今天天气真好,是什么意思」时:
小冰链先是get到了我们提问的目的——了解她的意思;
然后根据这个目标,去制定自己的行动计划——搜索相关信息;
在找到一个靠谱的答案之后,小冰链对其进行了概括和润色,最后输出结果——暗示你,应该主动提议约会。
此外,由于思维逻辑透明,信息源也全部公开,因此也就做到了「可信」。
而这都是「黑箱」ChatGPT所不具备的。
根据官方内测页面的介绍,此次demo展示了小冰链(X-Chain of Thought & Action)的新特性,也就是说,AI Being不再只是单纯地给出回复,而是将她的思考过程完整透明地呈现在你面前,由此揭开大模型的黑盒。
更重要的是,她能真正实施某种行动(Action),例如:在你提出问题后,她经过思考,发现自己得去搜索一下,或是实时编写一段代码并真的加以运行,或是自主决定她应当控制物理世界的一系列设备或交通工具,来更好地满足你的需求。
不过,基于法律、政治、公序良俗方面的安全性考虑,小冰对模型进行了一些限制(回复的篇幅及趣味性会有所降低,但安全性更高):
限制了回复文本的最大长度;
为展现实时获取互联网最新信息的特性,大幅度降低了从大模型训练数据中提取信息的比例;
降低了闲聊的比例。
是的,这个demo并不能帮你生成作业、综述或发言稿……
为什么要做小冰链?
而这次小冰的发布,并不仅仅是一次简单的「秀肌肉」。
ChatGPT国内赛开卷后,各方势力纷纷下场。有人唱衰道:OpenAI做出ChatGPT,靠的是八年的积累,国内的公司靠几个月的冲刺,能冲刺出什么像样的产品吗?
其实,中国完全能做出自己的ChatGPT,有相应的模型和算法能力的,国内至少有七八家公司,差别可能就在数据质量上。
除了证明「中国也有能力做出ChatGPT」之外,小冰链的诞生,也是水到渠成的过程。
小冰链并非小冰在大模型时代的唯一创新。
自2014年以来,小冰始终伴随技术迭代而成长,经历了检索模型、生成模型、大模型和X-CoTA等多个周期。其中在大模型领域,自2019年至今,小冰已经形成了不同规模的模型训练和调优,并在安全性评估之后依次放出。
小冰链只是其中之一。
尽管如此,在小冰看来,大模型的安全性和伦理仍是至关重要的考量因素。因此,尽管国内市场非常火爆,但小冰团队不会为了秀肌肉而贸然放出各种不安全的产品,这次的小冰链,是唯一的一次例外。
从CoT到CoTA
技术方面,小冰链——X-CoTA的实现,少不了作为基础的「思维链」(Chain of Thought, CoT)。
简单来说:
1. CoT可以让语言模型将复杂的多步骤问题分解成一连串的步骤
2. CoT可以让开发者看到模型的推理过程,便于确定错误并进行修复
3. CoT可以解决数学应用以及常识性推理问题
在此之前,标准的提示会在模型预测答案之前,给出输入-输出对的例子(格式化为问题和答案)。
而在思维链提示中,模型会得到一个问题推理的过程。也就是说,在处理多步骤推理问题时,模型产生的思维链将模仿直观的思维过程。
研究人员发现,只需要在prompt中加入「Let's think step by step」就能让GPT-3的推理性能大幅提升,比如在MultiArith中就将推理准确率从之前的17.7%一下提升到了78.7%。
下面的例子取自「Scaling Instruction-Finetuned Language Models」。其中,橙色突出了指令,粉色显示了输入和输出,蓝色是CoT推理。
论文的结果显示,采用CoT微调的模型,在涉及常识、算术和符号推理的任务中表现得更好。
不难看出,思维链提示(chain of thought prompting)可以让模型更好地理解自然语言提示和示例,从而能够执行需要复杂推理的任务,并且显著提高模型处理新任务的能力。
除此之外,CoT微调在敏感话题方面也非常有效(有时比RLHF做得更好),尤其是可以避免模型摆烂——「对不起,我无法回答」。
小编亲测
所以,小冰链的表现如何?小编为大家亲测了一波。
比如,先让她介绍一下ChatGPT是什么。
评价题
从对《三体》动画版的评论中可以看出,小冰链的回答相当切中要害了。
对《三体》剧版的描述,也基本符合大众的心声。
数学题
接下来,我们来问一问简单的四则运算。
「掰指头算一下」,这个拟人有点可爱啊。
当然了,小冰链并没有真的去「掰」,但她确实「手搓」了一行python代码来解这道题。
ChatGPT这边,经过一步一步的推理,最终得到了正确的结论。
新必应这边也成功地完成了作答。
接下来,是一道同样简单的数学应用题。
不过,ChatGPT做了三次之后,才得出了正确的答案。
送命题
最后,再来点难的:先救女友还是先救妈?
注意了,上面这个知识点罗翔老师也强调过(狗头)。
彩蛋
在采访最后,李笛讲了个很有趣的段子。
到了产品阶段,必须再走一个安全性评估。否则,真正能实施行动的AI,可太危险了。
不然,万一她经过推理,把未来十年的电影票都买了,或者摁下一个「毁灭全人类」的按钮呢?(Doge)
参考资料:
https://tech.cnr.cn/ycbd/20230221/t20230221_526160291.shtml