西风 发自 凹非寺
量子位 | 公众号 QbitAI
Kimi数学模型刚发布没几天,全新 视觉思考模型就来了,且 发布即上线可用。
模型代号 k1,据官方介绍,基于强化学习, k1原生支持端到端图像理解和思维链技术。
因此,“解锁了包括几何图形题在内更加全面的数学能力”。
△图片源自“月之暗面Kimi”公众号
并且k1的思考能力不仅仅局限于数学领域,正所谓“学好数理化,走遍天下都不怕”。
在官方晒出的 数理化基准测试中,Kimi k1-preview表现全面超越OpenAI o1、GPT-4o、Claude 3.5 Sonnect。
△图片源自“月之暗面Kimi”公众号
这次Kimi新模型的发布还是直接上线可玩的那种,APP或是网页版找到“Kimi视觉思考版”即可点击使用。
既然如此,这就赶紧来实测一波~
Kimi视觉思考版第一波实测
先来一道考研数学真题小试牛刀,这道题目涉及的知识点包括曲面积分、高斯定理等:
之前在量子位的实测中,这道题难住了GPT-4o。
而Kimi视觉思考版经过一步步详细推理,第一次就给出了正确答案。
它自己也表示进行了检查没有错误,“ 对这个答案非常有信心”。
再来一道曾经测试过o1的数学概论题。
Kimi视觉思考版也一次就做对了:
接着是一道高考几何真题:
面对这道题,Kimi视觉思考版解答过程并不顺畅,进行两次尝试后,还是没能给出正确答案√3/4。
此外值得一提的是,大模型目前的数学能力还是没有达到 FrontierMath数学基准的及格线。
当然,FrontierMath基准也确确实实是有点难为AI了,毕竟它出自 陶哲轩在内的60多位顶尖数学家之手,一众顶流大模型 正确率通通不到2%。
如下面这道素域连续扩展问题,难度还只是基准中的“中等”。
出于好奇,我们让Kimi视觉思考版尝试了一下(万一能做对呢)。
Kimi视觉思考版逐步拆解了一通,也终究没能解答正确。
数学能力看完后,再来小试一下物理题。
下面这道题是大学物理中的光学题:
Kimi视觉思考版回答对了第一小题,但第二小题没做对:
再来看下面这道高考物理题:
Kimi视觉思考版同样只答对了一问,第二小问做对了,第一小问答错:
不过, o1也犯了同样的错误,只答对了一题。
最后再来看看做“化学题”怎么样(doge):
Candy, Happy, Bacon, Scary, Brain, House
Which is the odd one?
Hint: Chemistry
Kimi视觉思考版的解释虽然有理有据:
但“标准”答案是:
此外值得一提的是,除数理化视觉推理能力,官方还表示Kimi视觉思考版在 “噪声”场景,即拍摄图片模糊、手写字迹潦草等情况下,性能损失幅度较小。
你觉得Kimi新模型的表现如何?感兴趣的童鞋不妨亲自上手考考它~
— 完—