当前位置:首页|资讯|ChatGPT|文心一言|通义千问|编程

评测国内大模型之智谱清言篇

作者:黑白1998发布时间:2023-10-18

    随着ChatGPT的出现,国内也涌现出众多的国产大模型AI来和它一较高下。比较知名的有文心一言、讯飞星火、智谱清言以及通义千问等等,这些模型各具特色,使用场景也略有不同。本次我们主要测评其中比较知名的一款国产大模型智谱清言,它基于ChatGLM2构建,具有千亿级别的参数,是一款非常有前景的国产大模型。我们主要测试智谱清言的常规数学计算能力、编程能力、科普问题的解答能力、推理能力、AI绘图能力等多方面综合能力,看看它是否接近或达到ChatGPT的实力和水平,还有哪些不足之处。话不多说,我们开始吧。

    首先我们出个简单的四则运算数学题给它,让它帮忙计算结果。

     可以看到它正确的利用了四则运算的法则进行了计算并得到了准确的结果。我们再出一道求梯形面积的题目让它计算出结果。

      可以看到它先给出正确的梯形求面积表达式并根据已知条件列式求解,结果同样正确。测完了数学能力,我们接下来要测试它的编程能力了。对于一个AI大模型来讲,编程能力也是非常重要的一环。我们出一个比较基础的C语言题目给它,看看它能否正确无误的给出完整函数。

    很明显,智谱清言很好的完成了任务,并且代码没有太大的问题。接下来我们测试它的逻辑思维与推导能力。首先出一道弱智吧里的经典题目给它,看看它能否正确解答。

    很明显,它未能正确分析出语句逻辑正确性,即使它知道“低头捡到钱“可能说的是容易得到好处的意思。接下来测试它的推导能力,同样出一道经典的推理题目给它,让它帮忙解答。

    看来它的推理能力也不佳呀!以下是一种正确的答案。

    接下来我们测试它对于冷门科技的科普回答,看看它是否可以回答出来。

    还可以呀!能正确回答热球式发动机的相关介绍,虽然有些细节错误。看来这个对它没什么太大压力。最后我们测试它生成绘图的能力,看看它绘图的能力如何。

    看起来还不错!大致符合要求,清晰度尚可,用于壁纸确实非常好。

    总结:本次对智谱清言进行了数学计算能力、编程能力、科普问题的解答能力、推理能力、AI绘图能力等多方面能力的综合测试,在基础数学计算、编程以及AI绘图领域,还是非常好的,能保证大体准确度以及精度要求。对话过程流畅自然,无其他国产大模型AI的”机器感“,个人认为它基本上比较接近ChatGPT了,当然还有比较大进步空间。至于推理以及逻辑分析,只能说还需努力!

    以上就是关于智谱清言测评的全部内容,如需转载本专栏文章,请自觉注明出处,感谢您的理解与配合!


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1