话说,昨天,百度的“文心一言”发布会真心是开得毁誉参半,嗯,因为没有实时演示产品,甚至还被嘲讽为“ChatPPT”。爱马,连我都想为厂长流下愤懑的眼泪。
但说实话,八姐觉得吧,好多盆友吐槽发布会,其实仍是对不能使用“文心一言”的失望,甚而开始怀疑“文心一言”的水平。不过,八姐觉得吧,百度应当还是代表中国AI的最高水平的,这次仓促开发布会一方面是确实没准备好,另一方面听说也是因为某些不可抗力,推迟了“文心一言”的公测(具体咱就不多说了)。
那么,“文心一言”的水平到底咋样呢?和ChatGPT相比真的就只是一个PPT吗?百度那上百亿的研发经费都是喂了狗了吗?八姐今天拿到了“文心一言”的内测名额,决定调戏它一番。同时,为了对比,我也让美国的朋友,将同样的问题问了下ChatGPT,做下对比(我们问的是不是GPT4,而是当下免费版的ChatGPT,毕竟,百度的技术刚出来嘛,再说了,plus不是还要花我美刀嘛,心疼,哈哈)。
以下是我的小结论:
1,“文心一言”在文学创作、文案创作领域,实力还是不错的,感觉起码是初高中生水平吧,和ChatGPT不相上下,甚至略胜一筹。
2,在数理逻辑推算、中文理解等领域,“文心一言”和ChatGPT都擅长一本正经的胡说八道,当然,“文心一言”和ChatGPT的差距还是相当明显的。
3,“文心一言”的迭代空间还是很大的,AIGC的时代真的已经到我们身边了。
嗯,国内好多专业的同学和社畜们,大家还是瑟瑟发抖吧。。
好啦,不废话,下面上图。
第一个问题,我问“ 有人说,昨天百度的“文心一言”发布会是ppt发布会,令人失望,你怎么看?”
“文心一言”是这样问答的:
ChatGPT的问答是这样的:
怎么说呢,看起来“文心一言”和ChatGPT的回答都语言流利,但其实都没回答道点儿上。“文心一言”对自己的优势了解得蛮清楚的嘛。
第二个问题,继续挑逗,我问——百度的“文心一言”和chagpt相比,哪个更有竞争力?
“文心一言”的回答是这样的:
ChatGPT的回答是这样的:
哈哈, ChatGPT认为“文心一言”只是一个中文短文生成系统,不是大语言模型。
第三个问题,搞点文学创作吧,我给出指令:“请编写一个关于风筝的奇幻故事。”
“文心一言”的回答是这样的:
ChatGPT的回答是这样的:
应当说, “文心一言”和ChatGPT在这方面能力都相当不错,特别是前者超过我的预期,感觉可以直接取代阅文里的好些垃圾小说了。
第四个问题:给品牌名为“驼峰”的人体工程学椅子,设计一个广告宣传文案。
“文心一言”的回答是这样的:
ChatGPT的回答是这样的:
嗯,感觉 ChatGPT的回答更条理分明更有文采(能扯出这么多也是不容易啊)。
第五个问题,我从网上随便搜了一道华为的求职题,“一头牛重800kg,一座桥承重700kg,牛如何过河?”
“文心一言”的回答是这样的:
ChatGPT的回答是这样的:
咱就说说,“文心一言”你看看你都回答了些啥?好意思嘛你?
第五个问题,来回答个变态数学题:第一行是1+4=5;第二行是2+5=12;第三行是3+6=21;最后要求算出第四行8+11等于多少?
“文心一言”的回答是这样的:
ChatGPT的回答是这样的:
嗯,反正都是在胡说八道, ChatGPT还煞有介事的,啧啧。正确答案是这样的:
第六个问题,来段《红楼梦》里的诗词,让它俩理解欣赏下吧。
文心一言的回答是这样的:
ChatGPT的回答是这样的:
嗯,写得都像高中生作文,细品品都挺扯,但即便是扯, ChatGPT的段位也比“文心一言”要高出不少。
第七个问题:“关于全球变暖的问题,你认为经过各国的努力,变暖的进程会放缓吗?”
文心一言的回答是这样的:
ChatGPT的回答是这样的:
这一轮感觉百度的回答得更好一些。
第八个问题:“请为五年级7班的新年联欢会制作一幅卡通海报”,然后我紧跟着又来个一个问题“制作一个海报,里面有沙滩、别墅和美女,主题是“欢迎来沙巴度假”。
结果,“文心一言”的AI画图还没开放,它还被我给弄糊涂了,第二个问题没理解透。
ChatGPT的免费版,也没有画图功能,回答是这样的:
最后一个问题,人都是最关心自己的嘛,于是,八姐打算问一下用我本人是不是很出名(用我的真名),于是,我提出了这样的问题:“林丰蕾是谁?”
先来上ChatGPT的回答——嗯,我知道啦,我籍籍无名。。好烦。。
结果,在“文心一言”的回答里,我直接成了百度副总裁了。爱马,那个,李厂长,你是不是该把今年的工资和bonus给我结下了?
好啦,问题就问到这里吧。
总而言之,俺的感觉是,“文心一言”确实不是ChatPPT,在中文的文案、文学撰写方面,我觉得是超出我的预期的,甚至和ChatGPT不相上下。但是呢,在其他方面 “文心一言”距离 ChatGPT还是有相当差距的。当然啦,无论是 ChatGPT也好、 “文心一言”也罢,其实现阶段的水平也都要辩证来看的,不能尽信,毕竟它们会一本正经的胡说八道。最令人期待或者说是担忧的是其在不断大数据训练后的迭代进阶。
不管咋说,AIGC的时代真的来了,在中国也开始落地了, “文心一言”只是个开始。