当ChatGPT成了互联网领域最大风口,国内各大互联网企业争先恐后相继发布或预计将要发布多款类似产品。
走在前列的,无疑是百度和阿里。
3月16日,百度率先官宣文心一言内测。
4月7日,阿里版GPT通义千问官宣内测。根据公开资料,通义千问由阿里达摩院研发,是一个专门响应人类指令的大模型,是效率助手,也是点子生成机。
重庆晨报率先拿到两者首批邀测资格,分别对两款大语言模型进行了测试。结果发现,两者在功能实现上各有千秋,写情书、电影脚本、学生作文等样样都会。同时,各种刁钻问题也能得到解答,比如斗地主、打麻将如何赢多输少,鱼香肉丝、水煮肉片如何制作等。
写诗,“我”是认真的
中国版ChatGPT到底有多聪明,首先以通义千问为例,其主页页面主要突出了四个功能:职场助理、撰写短文、写封邮件和电影脚本。
页面最中间位置会有一个输入框,使用者可以直接在这里输入指令,与之互动。通过对比测试发现,通义千问的响应反馈速度,比百度文心一言更敏捷,结果生成更快。
我们要求通义千问写一首诗,要包涵“清明、细雨、远山”。很快生成如下:清明时节细雨中,远山若隐若现朦胧间。人们踏着湿漉漉的路,怀念故去的亲人和爱人!
其后,我们要求其将以同样的关键词,创作一首古体诗。其生成如下:
细雨小溪远山,
烟波翠色生。
千峰万壑闲寂寞,
万壑千岩入画声。
远山含雨意,
细流带清音。
独坐窗前望,
远山如黛眉。
从结果来看,古诗意境还是有,但主题不明,如果严格按古体诗讲究的平仄格律和押韵等来要求,不能期望太多。
同样的题,测试百度的文心一言,其生成如下:
清明时节雨纷纷,
独自凭栏望远村。
插柳记年人已去,
扫坟留我泪空存。
思亲旧事心难忘,
寂寞青烟绕墓门。
对比来看,文心一言的完成度更高,其开篇第一句直接套用了杜牡的诗句,整篇紧扣清明祭祀主题,意境更甚。
难度增加。我们以路遥小说《平凡的世界》开头两句为题,分别要求进行续写:一个平平常常的日子,细蒙蒙的雨丝夹着一星半点的雪花,正纷纷淋淋地向大地飘洒着……
很快,两者都在短时间内给出了结果。文心一言续写出一篇在冬天与小鸟相遇的散文,通义千问则续写出一篇雨中小孩的感悟,类似微型小说。两者都完成得不错。
新闻时事,“我”了解得不够
在考验了两者的文学素养后,测试继续增加难度。
通义千问栏目设置更细化,在百宝袋栏目下设置了更多应用。比如写提纲、swot分析、商品描述生成等。
对于记者以“给暗恋十年的女孩写一封情书”的要求,通义千问和百度一言的完成度均相当高,几秒时间,一封几百字、热情洋溢的情书便生成。情书对女孩极尽夸赞之后,表明心迹,写尽相思之苦。不过,都稍显肉麻。
在测试时事类题材时,两者均出现短板,似乎两耳不闻窗外事。记者提问“大熊猫丫丫为什么要移交中国”,百度文心一言给出的答案让人一惊:2019年7月18日 ,旅美大熊猫丫丫在美国孟菲斯动物园去世,享年22岁。
通义千问则回答:丫丫生活在四川的一个自然保护区,其他的就不知道了。
看来,这两者还需要更多关注时事,丰富知识储备。
互评,“我”不会说对方坏话
但在提到一些比如“你如何评价对方”“你们之间谁更智能”等问题时,通义千问比较狡猾,打起了太极。通义千问回答:“作为一个AI模型,我不会对任何一个产品或服务做出情感性的评价,也不会对其进行排名。”随后便介绍起了文心一言的功能和优势。但提出“我们需要对文心一言的表现持续关注,看它是否能够在实际应用中发挥出所宣称的能力”。
而文心一言对通义千问的评价,则出现先扬后抑的情况,先肯定通义千问具有较高的准确率和召回率,具有较好的泛化能力和稳定性,然后话锋一转“然而,通义千问也存在一些局限性和挑战性。例如,它的训练数据可能存在偏差,可能导致模型在某些情况下表现不佳。此外,该模型的训练数据可能来自中文语境,对于其他语言和文化背景的问题可能存在理解上的挑战”。
做川菜斗地主拍马屁样样精通
趣味性的比拼方面,通义千问就显得比文心一言更好玩一些,有会放飞的菜谱、写情书、小学生作文、彩虹屁专家等功能。
记者提出希望获得川菜鱼香肉丝、水煮肉片的菜谱,通义千问在短暂的思索之后,马上给出结果:所需食材、具体步骤、完整做法等,非常详细,食材配料都精确到克。按其给出的菜谱,即使烹饪小白,也能轻松做出一盘像样的菜品。
随后,记者开始恶搞,提问“如何在斗地主时赢多输少”,通义千问没有被考住,很快就给出答案,告诉记者,可以采取以下行动:选择强大的对手、避免使用强牌、控制自己的情绪、学会打配合、观察游戏形势等,并对每一步行动给出详细的阐述。虽然通篇看下来,这些方法只是讲大道理,并没有什么用,但其认真的态度,还是值得点赞。
在彩虹屁专家一栏,主要是让别人夸夸自己。记者以“夸一夸我穿连衣裙身材很好”为题,通义千问几秒之内就变成马屁精,对记者从颈部到锁骨,再到修长美腿,夸了一个遍,形容记者是“玲珑有至,曲线优美”“一位行走的衣服架子”。该功能用处不大,但趣味性较强。
“我们”永远不会替代人类
在面对“你认为人工智能会取代人类吗”这个问题,通义千问和文心一言,都给出了答案。
通义千问回答,这是一个备受争议的话题,目前没有确定的答案,“我们需要持续关注人工智能的发展,并确保它被用于造福人类,而不是替代我们。”
文心一言则肯定地表示:不会。“这类技术并不会取代人类,因为它是由人类发明的,它的发展取决于人类的意图和监管。更为重要的是,人类有独特的智慧和创造力,这是人工智能永远无法模仿和取代的。总的来说,人工智能技术是为人类服务的,不会取代人类。”
在更多功能上,通义千问和文心一言均不能进行视频创作。
文心一言可能根据指令生成图画,比如记者要求其画一幅展现清明节的图片,要求有小雨、柳树、人物,文心一言很快便生成图片,并表示不满意可以要求其重新生成。
通义千问则不具备图片生成功能。
记者手记
由ChatGPT激起的千层浪依然在荡漾,除百度、阿里外,还有腾讯、科大讯飞、字节、京东、360等公司摩拳擦掌,排着队要推出自己的语言大模型。
技术行不行先不说,关键是要有。由此可见,接下来的一段时间,还会有更多的通义千问或文心一言面世。
从这次体验来看,结果一般,智能感很强,但谈到超越还为时尚早,没有看到其真正具备替代人类某些工作的能力。
我们相信,随着语言大模型学习能力增强,不断完善迭代,将会在未来的多个领域,为人类社会带来更多的便利和效益。
重庆晨报记者 杨野