前段时间,猎豹移动董事长兼CEO傅盛正式发布了单卡可部署的百亿模型——猎户星空大模型。本文为现场演讲实录。
这是我的开年AI大课暨猎户星空大模型发布会的演讲实录。1月21日,我们发布了猎户星空大模型,140亿参数,配合独家推出的七大方向强应用套件和企业私有数据,效果可与千亿大模型比肩。千亿全面,但百亿专业。
我们说,猎户星空大模型专为企业应用打造,是因为我们从一开始就是从应用中生长出来的。用Think Different 规律思考技术路径;先应用,再微调垂直模型,再找适合应用的大模型。
我提出企业应用AI三段位的理论,在青铜、黄金和王者三段位中,数字员工和辅助决策是企业应用AI的更大价值所在,也是AI大模型和应用发展的方向。这既是猎户星空大模型及强应用服务“聚言”的业务逻辑,也是我们和行业头部客户一起实践、共同成长的认知结果,分享在这里,和大家多交流。
以下内容由混沌学园编辑整理:
一、Think Different:创新的不二法门
过去的2023年是人类科技史上特别重要的一年,我特别喜欢的科普作家卓克,把2023年定义为“人类历史的第三个科学奇迹年”。所谓科学奇迹指的是,一个新事物的出现彻底改变人类社会。
第一次,1666年,牛顿开辟光学,创立微积分、推导出引力公式,使得现代文明、工业大厦由此展开,改变了整个人类社会的面貌。
第二次,1905年,爱因斯坦发布了狭义相对论、 质能方程等四篇论文,不仅彻底改变了物理学,还为 20 世纪的许多技术进步奠定了基础。
第三次,2023年,GPT引领AI浪潮,技术的底层范式发生重大变化。
于是,我们知道AI将带来整个社会的底层重构,意味着所有人的工作方式、思考方式都要发生变化。那么,我们如何抓住这次创新大潮?
今天谈的是创新这个非常难的话题,我有很多经验可以与大家分享。我想从个人经历的科技大潮小故事开始。我在2002年进入互联网行业,那时候看到互联网的蓬勃发展,每天起早贪黑地工作,非常卷。现在回头看,每个大变革的时代,作为普通人往往都是类似的心态,担心自己没有办法抓住浪潮。
32岁时,我旅行到了斯坦福,站在斯坦福的大草坪前我震惊了,工作日他们怎么会有时间跑步,之后又看到高速路上在堵车,大家纷纷拖着小船、游艇要去度假。我震惊的是为什么在北京,大家每天工作加班累成“狗”,但在硅谷的人却如此休闲,而很多创新却恰恰来自于这些休闲的人。
我意识到,勤奋并不是可以做成一些事情的充分条件,因为你勤奋,对手会比你更勤奋,你不要利润,对手可以亏着卖,尤其是大公司,它可以不计成本地把你按下去。
在遍访这些美国初创公司后,我意识到同质化的勤奋只会更卷,不同的道路才可能胜出。我后来仔细想,到底什么叫做创新?
所谓创新,就是找到不同的路,以更少的投入换取更大的产出。
1997年,重回苹果担任CEO的乔布斯,推出了著名的宣传片Apple Think Different,大家都认为这代表了一种特立独行的文化。我认真思考这件事,猛然意识到,Think Different不是特立独行的文化,而是创新的底层思维模式。
我记得在跨年的时候我参加了一个围炉夜话的节目,有几个90后的年轻人说,你们赶上了好时代,我们这个时代太卷了。
卷的思维模式是 Think Better,而创新的思维模式是 Think Different。
与其更好,不如不同。在今天的时代下,Think Different是创新的不二法门,只有找到不同的路,才有可能真正实现爆发。
有一本书《为什么伟大不能被计划》,按照书中的说法,OpenAI的出现根本不是必然,甚至是偶然。正是因为有人在大家看不到的道路上在尝试,他们发现了一条路,并且走通了这条路。但新的道路不在大多数人的认知地图中。正因如此,Think Different从最开始不被大多数人看好。
回到我个人的创业经历中来,正是因为想清楚了这个底层规律,所以在2012年,国内移动互联网创新最卷的时候,我决定让猎豹移动Think Different,All in出海。那时候国内竞争激烈到什么地步呢?每家公司都在说要拿到移动互联网的船票,连马化腾先生都说,微信如果晚出来三个月,那么腾讯就要被颠覆。
在认真考察了美国的移动App后,我发现他们做得好像不怎么好,那我们为什么不去做海外?猎豹移动是中国第一批大规模出海的互联网企业。大家都知道的TikTok,我们是最早的天使投资人,为什么要投他?那时候没有人相信上海10个人的团队做美国的音乐短视频App可以火起来,而我相信Think Different,不同的路总是有机会。
到了2016年,共享经济如火如荼,那时候我就想,如果再开启一条曲线,我想做不同的事情。于是我又做了一个决定,让猎户星空 Think Different,All in AI。当时我看到AI的时候,就觉得这是一次范式的变化。
由于那个时候起步较早,我们AI也有一些技术优势。可能大家不知道的是,我们在语音识别领域做到行业领先。例如,小爱同学的语音识别是我们提供的,当时有10个语音服务提供商,我们的准确率排名第一;另外在2022年北京冬奥会机器人评测中,我们是中标最多的服务机器人企业。
这是我们画的AI1.0的技术树,从最早DNN、CNN/RNN,到后来的Attention、Transformer,所有行业内的公司认识到AI的巨大改变,于是一起在这棵树上往上成长,顺着谷歌指定的路线大家一起做。
其实在2016-2017年,大家对AI的判断是它一出来就可以改变世界,当我们做好了视觉识别、语音识别,AI就可以理解语言,进一步实现自动驾驶,大家以为顺着谷歌指引的路线就可以实现AGI。但事实上,在2018年、2019年这棵树长不上去了,全行业难破瓶颈。
这时候出现一个分支,也就是GPT1、GPT2。在GPT2刚发布的时候,整个OpenAI就是硅谷的“笑话”。通过预测下一个词就产生智能,这件事不靠谱,如果靠谱谷歌为什么不做?
直到2022年11月30日 ChatGPT 横空出世,李开复老师把ChatGPT的出现定义为AI2.0时代,这不是在原来的路线上长出来的,而是在分支中爆发出来的。
震惊世界的 ChatGPT,彻底开启生产力革命。因为语言是计算机最难理解的事情,要知道人类是先有智能还是先有语言,这件事在学术界还没有定论,但我们知道,语言在本质上构建了我们对整个世界的认知,对逻辑、推理的掌握,于是产生了智能。所以当ChatGPT可以通过不断的语料学习,完成对语言的理解时,那么离通用人工智能就不远了。
其实回过头看,ChatGPT 也是 Think Different 的产物,而OpenAI 在同样的技术路线下也卷不过巨头。
OpenAI最早做了四个项目,ChatGPT甚至是他们公司里面最不看好的,其他三个项目得到的资源都比ChatGPT多。
ChatGPT的出现,改变了机器学习里面非常重要的技术路线,以前我们认为让计算机学会语言,就像我们学英语一样,告诉它主语、谓语、宾语等语法规则,因为这是比较符合我们的认知,但只有OpenAI相信,由于Transformer的出现,使得计算机可以处理大量的数据,只要给它足够多的文本,可以自然产生对语言的理解。
OpenAI 改变了机器学习语言的技术路线,从“学外语模式”变成了“学母语模式”。一旦对语言理解之后,就具备了推理和逻辑能力,产生了智能。
OpenAI,与其说是技术积累的成功,不如说是技术信仰的成功,更是 Think Different 的成功。还有一个比喻,ChatGPT的横空出世更多像哥伦布航海,舰队肯定牛,但也不是最牛的,而是因为他走了别人不敢走的路。
今天,几乎所有伟大的创新公司,都是Think Different 的成果,如苹果、特斯拉、OpenAI。但在最初,它们都是被质疑甚至被嘲笑的。比如,特斯拉刚出现的时候,所有的汽车工业没有一个觉得埃隆·马斯克可以把特斯拉做成,笔记本电池加四个轮子就可以造汽车吗?直到Model 3的诞生。
当然Think Different也有很多失败之处,这时候我们就要不停地思考、复盘,不停地在路径当中不断总结,不断寻找那条路,如果一旦找到那条路,创新就属于你。
二、AI大模型创新依然可以Think Different
回到ChatGPT,它是一次生产力革命,相信这已经是大家的共识。
人类历史上可能只有蒸汽机的出现叫做生产力革命,蒸汽机出现后能量的转化范式发生了变化。在蒸汽机出现之前,全球人均的GDP和生产力水平,在两千多年的时间里从未提高过,一直在低水平上,蒸汽机出现之后,人类生产力大幅度提高,工业文明开始。
而ChatGPT由于具备语言理解,产生了人类独有的逻辑和推理能力。《人类简史》里说,之所以我们的祖先智人可以脱颖而出,就是因为讲八卦的能力,人类进化了虚拟事物的能力,而虚拟事物的本质就是逻辑,没看见的可以说出来,认为它存在,这就是一套逻辑系统,当这个逻辑系统被人类掌握后,人类才开始成为地球的主宰。
而ChatGPT由于理解逻辑和推理,使得今后电脑有可能实现智能的转换范式。以前我们要做一个智能系统要上很多人、很多设施,成本非常高,而且不是边际成本递减,但是ChatGPT出现后,有可能一台电脑就可以像人一样工作。
这一次的生产力变革,使得国家之间的智能竞争不再是人口和教育数字,而是人口+教育+算力的竞争,而每一家企业可能未来真正的智能水平也不只靠有经验的员工,而是靠有经验的人和很厉害的算力,这件事在硅谷已经出现了,有的企业已经会将一半的资金用在算力投资上。
今天这个时代,每个业务用大模型重做一遍,都能获得十倍增长。有些企业已经开始崛起:
第一,微软。2023年,老态龙钟的科技巨头微软完全焕发了新的活力,我们在年初还讨论过,微软有没有可能成为地球上唯一一个市值超过10万亿美金的公司,这是真的有可能。微软以前的Slogan是让每一个家庭都有一台电脑,现在就可以变成让每一个人都有很多AI助理,所以它整个的想象空间扩大了。
第二,我们知道Midjourney,现在年收入超过2亿美金。如果只把它看成是一个玩图的网站,那想象不到它的商业价值,但如果把它跟类似猪八戒网的网站对齐,它就是提供设计外包。以前企业要找无数的设计师满足对图片的需求,现在只要点几下,就可以获得需要的图片,所以它的生产力大幅度提升。
第三,创业公司HeyGen,它就做了一个应用,把一个人的演讲变成英语、日语,口形还能对准,现在年收入超过1800万美金,供不应求。如果把它看成以前的视频制作公司,帮你拍外语视频,它的生产力也是极大提高。
第四,Pika也是最近硅谷很热的一家视频制作公司,只有4名员工,估值超2亿美金。
面对这一次的AI大潮,每个人都跃跃欲试,但不知所措,总结起来就是两句话:
第一,这一波技术来得太猛。很多人问我,以后是不是不懂技术、不会编程就要被淘汰,我们完全不懂AI到底是什么。第二,变得太快了,刚学一些又有新的技术出现。
而我要说,这一波AI的到来绝对不是不懂技术的会被淘汰,而是给不懂技术的人一个非常强大的支撑。以后谁懂业务,谁懂计算机的行业规律,那谁就有可能被AI放大其能力,可能是十倍、百倍的放大。因为以前技术只属于程序员,但今天不再如此,技术被平权化,扩散到千千万万个普通人,使得我们可以跨越这条鸿沟。
所以我想说,万变不离其宗,所有的技术浪潮无论听起来有多神奇,都应该躬身入局,以终为始,找一条适合自己的路。
记得我跟李彦宏的一次对话,他说每个月认知都在迭代,一方面在学习新东西,一方面很焦虑。在2023年3月份,国内千亿大模型创业如火如荼,所有人都想要做中国的OpenAI。
当时我的团队也找到我说,“老板,再不动手训练大模型就落伍了,A100要大涨价了”,他们堵在门口不让我走,担心这一波过去再做就来不及了。当时我抑制住了激动的心情,说等我想想。当然在他们的“胁迫”下还是买了一些A100,做一些基础算力。因为从技术团队的角度上,训练千亿大模型是技术皇冠上的明珠,每个技术团队都有摘取的愿景,但那时候我想的问题是如何才能有独特的价值。
因为当时训练千亿大模型本质上是资本的投入,一次训练要耗费上千万美金,而且训练一次要用3-6个月的周期,就像孙悟空在炼丹炉里面,它不出来永远不知道是什么样子,可能要等3-6个月才能看到这个模型怎么样,不行就要再来一次。那么,做还是不做?
在千家万户都在卷千亿大模型的彼时,只有做千亿大模型才是唯一路径吗?到了4月份,我跟出门问问的李志飞聊,他说不要做,因为再过半年中国会有很多个千亿大模型,到时候会出现千亿大模型过剩,但却没有应用。
我想起当时第一波做AI1.0的时候,招了很多博士,做的很多技术都可以发论文,但我要坦诚的说,第一代机器人做得并不好。后来我才换了一条道路,机器人需要什么技术,就把那个AI技术打磨好,而不是先搞一堆技术放在那里。
况且,如果没有商业落地,那只是技术狂欢,脱离市场的技术投入,就是资源浪费。这个观念今天讲出来需要勇气,因为天天大家都在讲硬科技,但如果坦诚地看,在AI1.0时代,很多AI公司并没有真正实现闭环,或者实现的闭环并不够好,烧了很多钱并没有独到的东西,这是事实。
我想引用乔布斯的一句话:技术不是为工程师而生,而是为应用而生。
再回过头来看,这波大模型的技术浪潮其实微软是最笃定的,投资了OpenAI,将AI融入应用,把原来的Windows、Office加入Copilot,一个消息接着一个消息往外放,股价不断上涨。
所以说,Think Different ,不是只有跟随 OpenAI 才能成功。
我之所以没有走训练千亿级大模型的路子,是因为我在思考,不断的拼资本、算力,拼到最后能用起来吗?
这里我总结了两套大模型创新的模式。去年三四月份的时候,大家都觉得不做这个千亿大模型上不了牌桌,做完了再去看哪里能用。而我想这次要慢慢来,这次科技浪潮不是一年的事,甚至不是十年的事,我们要先从应用出发,挖掘应用场景,寻找垂直模型,到真正准备好了我们再开始训练,我相信这么一个大赛道下我们有的是机会。
我发现ChatGPT有用以后就在公司说,所有的部门都要参与到这次的AI变革当中,全员AI。通过搞内部创新的方式,涌现出一些特别惊人的例子。我们公司CFO的助理,从没学过编程,用了ChatGPT以后,一言不合就开始写程序,震惊了所有的程序员。
下面这张图也是她画的,她想表达的意思是,在垂直技术领域,AI可能带来生产力的跃迁,一个人可以通过AI赋能,从一个领域的非专业人员快速达到中等专业水平,未来的很多岗位限制都会因为初阶技能的消失而打通。
所以今天OpenAI是一个技术浪潮,但不是让懂技术的人更牛,而是不懂技术的人能够跨越技术的鸿沟。
通过近一年的实践我们发现,大模型在企业增效中非常明显,但是只靠员工自我驱动难以落实,一定要一把手亲自抓,而且要深度结合企业流程进行AI重构。我们公司内部已经开始组织部门进行调整,成立了AI生产力部门,把过去散落在各地的中台部门全部统一到这个部门里,并直接向我汇报。
总结起来就是,AI前景肯定很大,但现在还处于早期,大模型落地需要强应用。不把针对企业流程的应用做好,接入一个API就能够让企业增长20%的效率,是不可能的。只有进行流程重构,做好应用才有可能。
可能也有很多人知道,我吵架经常会上微博热搜。有一次,朱啸虎说,“AI大模型对创业者不友好,99%的能力都是被大模型覆盖的,你们的创业公司有什么价值?”我就很生气,怼了一下说,“做好应用,依然是创业者最好的机会!”很多人以为我是一时兴起,但是事实上不是的,因为在这之前我们实践了太多,让大模型回答好一个基本的问题都要做非常大的努力,需要做很多的套件才能真正实践起来。
我就想起来两句诗——纸上得来终觉浅,绝知此事要躬行。你只看朋友圈就觉得AI要吞噬人类,未来全人类只需要一家公司就是OpenAI,但是事实上你真正动手做发现太多的细节是可以去做的,魔鬼都在细节里,如果只要一个底层技术很牛就能做出一切,芯片公司将来会统领所有行业。但是并不是这样的,底层技术有底层技术的价值,应用有应用的价值。
我们在去年三四月份就和客户一起成长,在2023年5月,有客户说能不能帮我私有化部署大模型。但是当时一个千亿参数大模型一年私有化授权费用是几千万,到今天应该还是,然后,你买服务器的费用最低成本160万(当时的价格)。我们客户说,我们其实就想做一个客服,AI大模型被讲的那么牛,我一年投个几千万难以承受,再高深的技术最后得算账,我不能因为有这个技术就用,用了以后比我现在的成本高几十倍,有没有更便宜又不损失性能的方案?
这个时候行业又发生了变化,LLaMa来了。LLaMa在行业内有一个绰号叫做“奶妈”,因为它滋养了很多大模型公司,使得大模型的算法壁垒快速消失。开源社区本来就是人类文明的一部分,我们可以看到这棵科技树在OpenAI的旁边又长出了一个分支。
有人说OpenAI都在搞几千万卡的并联了,但是有一帮科学家、从业者、技术极客说千亿参数可以涌现智能,百亿参数可不可以呢?百亿参数的智能在有一些情况可不可用呢?所以在LLaMa出现以后,整个开源社区开始百花齐放,小参数模型的性能快速崛起。
我们可以看到在有一些评测上,百亿参数模型在某一些能力上已经接近了GPT,我觉得这就是这个行业每天都在日新月异的发展给我们带来的机会。我们突然发现也许千亿参数不是唯一的选择,这个分支带来了AI大模型的二元对立时代。
我当时在一个演讲中说,有经济实力的公司全在卷算力,他们的梦想是造出一个爱因斯坦。同时还有一帮开源社区的极客爱好者,用更小的资源、更精巧的算法去实现智能,看谁能造出平民化大模型,每个人都可以随便用,而不是一上来就要几千万门槛的大模型。当然,由此我们也能看到,所有的技术并不是在一个树上从头长到尾,而是会不断涌现出新的分支,可能有一天一个分支就会变成主流。
在我们自己的实践中,我们就给客户做调试,后来发现用百亿参数的模型,加上客户自己的私有数据,再加应用的打磨,效果是可以约等于甚至大于千亿参数大模型。
虽然千亿参数大模型必然全面性更好,比如让它做一道奥数题,回答法律知识,它的面会很宽,但是在企业场景当中并不需要做奥数题,只要在一个专业点上做好就可以了。所以不同专业的应用领域,用一个百亿参数把数据打磨好,把应用做好,它就可以满足需求,而且更具性价比。
这有一个非常真实的案例。今年四五月份的时候,我们用千亿大模型的参数没有做深入调试,结果只有60%的准确率,相信很多从业者一定也会有这样的体验,听起来很好,但用的时候有很多问题。我们用了6个月的时间,与前面提到的那个客户一点点打磨,做到了97%的准确率,基本上完成对这个场景的增强。
所以我们想说,我们自己也在实践,企业应用百亿参数就够了。
三、企业应用AI的三段位理论
AI在企业内部到底能做什么?很多朋友跟我说,用了之后感觉企业不太能用起来。
在阐述这个问题前我讲一下什么是AIGC。AIGC就是AI生成内容,但如果把这个过程放大来看,AI由数据训练出来,如果只是基于互联网、出版物等公有数据,那么AI对整个知识的了解就是大家的常识,当你给它一个问题,那就可以产生内容(C1),但这种回答都是正确无用的,因为很表层。如果可以结合企业的私有数据,那就可以产生专业知识的内容(C2)。如果可以根据私有数据再配合强应用+套件,那就可以实现企业经营决策的全流程(C3)。
我把企业用AI总结成三个段位:
第一,青铜段位,基于公有数据,使用AI和Prompt,生成一些宣传文档或图片。
第二,黄金段位,基于专岗私有数据,例如公司的行政文档、员工守则、业务标准,把它灌到大模型里,这就是今天被行业内广泛提的“数字员工”。
第三,王者段位,企业全过程的经营数据由AI参与,使得AI可以直接提供经营决策,比如今天该不该发布一个产品,哪些费用可以被减少,哪一个地方的工作重点需要加强。因为企业最大的成本不是用工成本,而是经营错误的成本,是对经营不够了解导致决策失误的成本,所以企业要想真正用好AI,应该是全流程、全数据化,可以理解企业各种经营细节的“数字老板”,帮你提出经营决策建议,这件事情必须做到真正的流程重构。
四、OpenAI的“阳谋”
在展开前,调侃一下OpenAI的“阳谋”。大致意思是,你知道这件事可能对你不太好,但却拒绝不了。比如,两千多年前汉武帝想要削藩,但是诸侯势力太大,如果直接诛杀势必会引发造反,于是,出现了一个千古阳谋——推恩令。它规定诸侯的土地平均继承给儿子,有几个儿子便分为几份,这导致诸侯每一代得到的军队和土地逐渐变少,最后甚至完全消失了。这便是“阳谋”。
OpenAI几乎把互联网上所有公开出版的数据都读取了,但人类的知识体系无比巨大,互联网再浩瀚也只是人类知识体系的冰山一角,甚至还有很多文档没有公开出版。比如我们每次开会讨论作出的决策,背后有几十人、几百人组成的观点系统OpenAI是没有的,所以OpenAI推出了GPT Store。开发者通过它可以很快构建自己的应用,使得OpenAI从以前通过互联网抓取数据变成GPT Store,在内生的平台上产生数据。通过GPT Store,很多决策数据被呈现和记录下来。
调侃一下,都说Apple Store是交“苹果税”,GPT Store是交“智商税”,因为大模型可以学习,真正地把数据变成自己的内容。
如果一家公司要实现经营数据的全流程AI化,只靠合同、财务……短期内可以提高效率。如果我们没有使用ChatGPT,相当于在帮自己的竞争对手,甚至有可能使得ChatGPT具备你的能力,某天你的企业就变成了它的一个API接口。这件事正在发生:
GPT Store发布的时候,一位硅谷创业者说,Altman给了500美金的OpenAI优惠券,但是毁了300万美金的创业公司。因为它把创业者做的事给做了。
Altman还在一次采访中表示,以后95%的人都不用工作,5%的人工作就可以创造足够多的财富,让所有人幸福生活。
最初我也有恐惧,但今天发现不需要。刚才讲的科技树,在大型的千亿通用模型边上又开始出现百亿参数模型,甚至最近还出了几个几十亿参数的模型。这个发展趋势让我预判:以后每个人都有自己的贴身助理。
所以,企业要有持续的竞争力,就应该使用私有化大模型,让经营数据内循环,让企业过去留在每个人脑海的经验变成整个决策智能的一部分。我们可以期待AI助手帮我们判断新产品的市场潜力,挖掘市场上的机会,监管员工的工作,计算每天工作的有用率等等,而这,正是我们可以期待的未来。
五、猎户星空大模型:为企业应用而生
七年磨一剑。我们在AI行业投入了很长时间,现在已经打造出了顶级的团队。经过各种算法的尝试、多种服务器的使用和多种大模型的训练,共同打磨出我们的五个优势部分:顶级团队、算法理解、场景认知、应用打磨和数据累积。
猎户星空训练了140亿参数的大模型,在企业应用的专业场景中可以实现千亿参数的效果。在发布大模型基座的时候,我们做了7个应用方向的微调,在很多榜单上名列前茅,很多用户也都说我们调得不错。
评判一个模型的应用是否调得好,需要在方向上积累非常专业且高质量的数据,我们做到的同时还提供“千元显卡即可运行”的目标。让人骄傲的是,我们也做到了,所以担得起这三个词组的评价:用得好、用得起、用得安心。
我们经常可以看到,有些大模型在榜单上靠前,但用起来却很一般。这是为什么?
因为可以对大模型进行“应试教育”,从而在榜单上刷出很高的分数。但我跟团队说,不能为了分数就去进行“应试训练”,所以猎户星空发布了“素质教育版”。在这个版本里,我们不刷题,保证它遇到没有见过的新问题时,水平是一致的。
再来看素质教育版本的基座能力,在200亿参数以下,我们在所有大模型的评测体系上的分数都很高,这代表了较强的基座能力,也意味着犯错的几率会很小。
在综合评测机构OpenCompass的测试中,我们比720亿的千问得分略差一点,但700亿以下的范围内,我们的得分都是最高的。这标志着我们发布的大模型的基座能力能够在企业应用当中替掉很多三四百亿参数模型。何为参数?可以简单理解成网络复杂度,百亿参数模型比千亿参数可以省出90%以上的私有化部署成本。
另外,猎户星空可以支持320K的Tokens,一个Token相当于1-2个汉字,可以一次性读取50万字的文档。经过我们的实测,对30万字的文档里的任何一句话进行提问,它全部可以回答出来。最早的时候大概只能支持千字量级的文档,文档过长的话,需要做大量的匹配工作。而现在,相当于一本几十万字的侦探小说,让它读完之后,问它杀手是谁,它立马能回答出来。
可以说,这是非常厉害的特性,量化性能的损失低于1%。把它的模型缩小到原来的几分之一大小,它依然能够实现原来模型99%的性能,我们把这叫作“减脂不减肌,无损压缩”。模型大小降低70%,推理速度却提高30%,这意味可以用非常便宜的显卡运作起来。我之所以说企业的私有化大模型时代到来了,正是因为服务器成本和运营成本会降到可以忽略不计的地步。
除了以上的优势,我们还加入了日、韩语能力测评。
以前我们做服务机器人的时候,每进到一个餐厅就得做适配,这让我们很苦恼。以前,在海外销售的服务机器人不具备多语言能力,很多可能性被钳制住了,现在有了大模型,日语、韩语可以做到很好的交流,能够进一步扩宽市场。
在评测指标上,今天发的140亿参数的猎户星空大模型是所有200亿参数以下各项评测性能最好的,但是跟GPT的全面性仍然有一定差距。不过,通过各企业应用定义好垂直场景,通过数据和应用的打磨,我们已经实践出在应用场景上超越GPT-4的可能性,这不是妄想。
六、下一个里程碑
我们今天发布这个大模型之后,下一步准备怎么做?
最近业内开始出现一个叫MoE的构架。所谓MoE构架,是用多个模型进行集体决策,完成对一件事情的判断。今天在业内发的论文里,8个百亿参数模型的联合运行,其性能的某些指标已经超过了GPT3.5。相当于很多火箭都在打造一个更大更强的发动机,SpaceX做了一个核心的发动机,绑成9个就是猎鹰9号,绑成27个就是猎鹰重型,它用一个极简的可复制的构架完成了最大载送量的火箭,而不是去从头造一个特别独一无二的发动机。猎户星空正在做同样的事情,专注在百亿参数模型的性能提优,保证通过新的构架完成基础能力的不断提升。
为了让企业更好地应用,我们独家推出微调全家桶。微调指一个基座只有技术人员可以使用,这个时候就要有一个微调方向,去解决这个问题。我们做了一个聊天的微调大概用了15万条高质量的数据,有的是发完了以后再做的微调,有的时候是自带的插件微调。
大模型要和传统的程序有一个接口,这个接口调用一个插件,我们也针对插件做微调。除此之外还有专业问答,通过微调进行大海捞针,之后生成。
这些方向基本上都是我们通过不断实践、和客户摸索出来的。微调只是相对大模型的预训练为“微调”,但是工作量并不小,而且哪个数据能够让大模型表现更好,都是一点一点打磨出来的。
在七个微调方向里,我们重点打磨的两大方向为RAG和Agent。这是今天AI大模型浪潮里非常重要的两个方向。
RAG即专业知识问答,它更学术化的名称为“检索增强生成”。比如,当你问大模型:“为什么周鸿祎先生要穿红色衣服?”如果没有做RAG的检索增强,他可能就会说:“因为可能他喜欢红色”。我们看过各种原因,包括“他喜欢红色”、“红色是他的吉祥色”“今年是他的本命年”等等,这些结论是它根据泛知识做的大致推理。而做了检索增强以后,它会根据背景信息去重新生成检索,给你一个正确的回答:因为他的名字经常被人读成“周鸿伟”,他穿红衣是为了提醒别人他是“鸿祎”。这个回答他曾在几次演讲当中说过,但是不一定是互联网上的公开数据集,因此如果没有检索增强,就很容易出错。
RAG被很多行业人反复提及,并且有了专业术语。但是真实的情况是,如果你不深入做,虽然很快可以给别人Demo,但是半年都用不好,因为将准确率把控好非常困难。
今天开源社区有很多RAG套件,基本上往上一套之后再把文档一换就可以回答了,但是这个回答往往准确率不够高,而我们这次推出RAG套件是一系列的组合,能够保证极高的准确率。我们在内部做了一轮评测,准确率远远高于对手,这不是大模型基座单一的能力,而是与RAG套件统一合作完成的。
有一个概念叫“数字员工”。但是,目前的数字员工能力很低,基本上就只能对文档给出提示。要想真正地将企业应用与专业知识深度融合,做到和人一样准确的回答,需要RAG套件。
Agent是硅谷今年特别火的方向。它帮助大模型实现人类的记忆、行为规划等等一系列的事情。Agent用得最多的场景是和传统的系统接口之间调一个打开接口。
这件事听起来很简单,但是并不容易。因为大模型常常回答不稳定,如果不做足够多的微调,问它同一个问题就会出现不固定的答案,或者难以从一句话里找出关键点。
在Agent所需要的五种能力中,猎户星空大模型均接近GPT-4的水平,其中包括:意图识别成功率90.3%、首轮抽参成功率100%、多轮抽参成功率90%、缺槽反问成功率91%、插件调用成功率91%。
虽然我不是很懂专业领域,但是我知道这些很重要。因为要保证大模型跟你的系统接口不出错,保证大模型能够稳定运行,就需要套指标。我们评测过很多同等参数量的模型,能够超过70%都很难。比如我问:“北京今天天气怎么样?”它得知道你问的是天气,还是北京的天气,而且每次保证足够的稳定。我们最近想要把我们的经营数据和大模型打通,这套工作程序非常复杂,但是能够稳定输出,因此需要试一试。
综上所述,要先把RAG和Agent两个套件用好,企业数字员工才能够落地。否则用一些公开接口、一套开源数据库、开源向量数据库或构架去提升准确率的话,完全没法应用。
七、实现企业应用AI的王者段位,打造“数字老板”
我们这次发布的140亿参数大模型,完全开源免费,还可商用。之后,我们还会成立免费的社区支持群,将微调应用方向开源,以此希望促进大模型行业不再只是技术狂欢,而能够真正落地,我们甚至期待更好的技术大模型的出现。猎户星空百亿参数大模型,我们认为它是企业标配的首选,值得企业们为我们驻足。
通过以上的讲解可以看出,我们的产品差不多算是达到黄金段位了,但是还未登顶王者段位。不过,我们正在走向王者的路。
真正要实现王者段位,就要让AI要和企业的经营数据全绑定,一步一步深入,为企业提供决策支持。我们当时提出了一个叫AI基地的概念,AI产生决策,而不是内容,一个企业要真正到达王者段位,需要AI辅助决策。
为此,我们推出了一个强应用套件——聚言。聚言专门用作咨询服务,当企业或员工遇到难题时,它可以教课、做培训,它帮助企业老板提高决策效率,增加企业决策准确度,是一种真正意义上的“数字老板”。
我们做了三个重点的强应用,在这几个强应用上还提供保姆式的服务,真正通过应用+调试+流程整合一条龙服务,全程帮用户进行落地。我们专门参考传统咨询公司的做法,提供的服务包括从业务流程如何组织体系改造,到方案设计、大模型的选型、实施、培训等。我们提出交钥匙解决方案,保证AI的应用效率可以做到行业领先。
虽说基础模型和模型工具大家都有,但在今天再回头看,跟着应用一起生长出的几个套件才应该是真正的重点,而这套解决方案是跟客户一起打磨出来的,不是在办公室里想出来的。
其实,AI不是一把手推动,就没有办法真正推下去。而AI真正的提效不在于数字员工,而是老板,老板的效率高那么整个公司就活了。
杰克·韦尔奇说:“老板是最后一个知道公司要倒闭的人。”其因为很多经营的细节是散落在很多地方,只能通过一个个人的汇报了解总体情况,而且听汇报的效率和精力都是有限的。
接下来,我有三个问题问老板们:
1. 如果你是企业的一把手,你真得听得到一线的呼声吗?
HR一直是很难数字化的部门,因为在大模型出现前,每个人的工作都通过文字表达,所以过去的系统很难真正做到对员工工作状态有足够了解。
我想很多老板对一线员工的理解往往停留在他们是否繁忙、是否辛苦的层面,却并不知道他们在忙什么。常常出现的情况是,整个公司都在做战略项目,一线却少有人做。当我们在策划这个产品的时候就想要帮助老板解决这个难题,真正帮企业提效,找到AI比人擅长的地方,而不是简单替代人。
AI真正比人擅长的地方是可以读数千份文档,做出归纳总结,它的广度和精力一定比人强,它做出基本的推理一定能够起到决策支持的作用。
2. 你知道公司的云成本花到哪里了吗?
猎豹移动出海是当时亚马逊在海外最大的中国客户,我们很早就对亚马逊在全球的部署深度参与,当我们的海外业务遇到阻碍的时候,把整个云的运维队伍分拆出来成了一家公司,帮助各个中小企业和出海企业上亚马逊云和谷歌云,仅就这一个业务,它的复杂让我自叹才疏学浅。后来才发现这是一群极其深度的工程师,他们的语言对外几乎无法交流,CEO不懂云,CIO不敢得罪CTO,业务部门总是申请更多的云资源,但很多时候都不怎么用,CIO又不了解业务的细节,所以云就变成闲置资产。正是为了避免这样的事情再次发生,我们在上面开发了针对这项功能。
3. 是否为新营销策略而苦恼?
今天的一份咨询报告十分昂贵,如果找ChatGPT解决需求,虽然他的回答听起来有用,但实用价值并不高,为此,我们构建了几个Agent互相讨论的工具,可以给出一些有价值的营销策略。
聚言聚齐了我们考虑的各个方面,希望成为老板真正的决策助手,让AI进入全流程和经营决策,并跟随客户一起生长,在未来越来越有实用价值。
八、2024年预测
接下来,我想对2024年AI做三点预测:
第一,千亿大模型真正使用起来很少。
在这一轮大模型竞争中,千亿大模型并不需要那么多,但私有化百亿大模型会百花盛开,相信更多的企业会部署私有化的百亿大模型,真正帮助企业经营提效。
第二,超越OpenAI的机会来自应用创业公司。
今天很多朋友去美国看回来跟我们说,这一波AI的应用创业硅谷实在太火了。回想Web时代的互联网创业,中国可能和美国是1:1的比例,但是这一波AI创业硅谷至少是我们的好几倍。硅谷已经有了AI应用一条街,那条街上全由AI创业公司组成,他们将大模型的能力和实际运用相结合,让AI参与到生活中。
第三,数字老板是成功企业的标配。
以后董事会考核CEO使用AI的时长,如果一个CEO用AI用得少,那就意味着他一定会落后于这个时代。
讲完所有内容之后,让我们做一下总结:
首先,我认为科技创新的核心是Think Different,在原来的路径上或许你可以做得更好,但是你的对手也可以做得更好。我们今天看到的科技爆炸不是一条通天的登天梯,而是不断的竖状结构。当这条路被别人占领的时候,你就可以想另一条路,也许就能实现新的创新。
当你在一条路上卷不过别人的时候,可以构思出另一条路,这条路也许也能让你抵达目的地。这就是科技史上一次又一次的Think Different,成就了一次又一次的创新,我们都亲眼见证过成功的案例,所以并非只有一条路才能成功,每一个科技创业者都应该去找到不同的道路实现差异化的创新。
另外,我们在业内首提企业应用AI的三个段位理论:从青铜到黄金,再到王者。
接一个API让员工用大模型只是青铜段位;能够深度的使用RAG套件、私有数据相结合、实现数字员工是黄金段位;第三个段位则是企业经营全流程AI化,实现AI的辅助决策,帮助企业提高决策效率和企业准确率。
而我们猎户星空大模型,正是希望各位企业成为AI应用的王者。同时,也提醒大家,创新道路千万条,不是只有OpenAI这一条。
最后我想说,今天能够站在这里我感到非常激动,因为这是有史以来我准备的最充分的一次演讲,这个PPT我打磨的至少五六版。今年讲七年磨一剑,实际上是七年时间都在探索,虽然我看似自信地说意识超前,但是说出口的瞬间背负了很大的压力。
2016年,当我喊出应用AI的时候,很多人问我干嘛不去做电动车。但我生来倔强且坚持,既然选择了就决定一路往前。我一直热爱AI领域,中间有很多人质疑我的选择,我从选择的那一天起就决定不要轻易放弃。但是,创新是很孤独的路,我相信你们大家也有过心碎、焦虑的时刻。
我既然做了AI这件事情就要保持对他的热爱,无论是To C还是To B,我是一个做产品的人,就应该热爱产品、热爱应用,只要有热爱,我相信我就能在创新的道路上一点一点的摸索出自己的道路。
Think Different看上去很容易,实际却很难,失败的风险也很高。
我们看到的创新成功案例,是无数个创新者、创业者在不断寻找方法,前仆后继失败的人之后冒出的那几个人。我们不一定可以成为最终冒出头的人,但是要做一往无前的人,因为每一份的努力都有意义。
猎户星空大模型开源地址:
https://github.com/OrionStarAI/Orion
https://huggingface.co/OrionStarAI
作者:傅盛
微信公众号:“傅盛”(ID:fstalk)
本文由 @傅盛 授权发布于人人都是产品经理,未经作者许可,禁止转载
题图来自Unsplash,基于CC0协议。