当前位置:首页|资讯

Kimi版o1实装上线,这里是我们的一手测试↑

作者:量子位发布时间:2024-12-16

西风 发自 凹非寺

量子位 | 公众号 QbitAI

Kimi数学模型刚发布没几天,全新 视觉思考模型就来了,且 发布即上线可用

模型代号 k1,据官方介绍,基于强化学习, k1原生支持端到端图像理解和思维链技术

因此,“解锁了包括几何图形题在内更加全面的数学能力”。

图片源自“月之暗面Kimi”公众号

并且k1的思考能力不仅仅局限于数学领域,正所谓“学好数理化,走遍天下都不怕”。

在官方晒出的 数理化基准测试中,Kimi k1-preview表现全面超越OpenAI o1、GPT-4o、Claude 3.5 Sonnect。

图片源自“月之暗面Kimi”公众号

这次Kimi新模型的发布还是直接上线可玩的那种,APP或是网页版找到“Kimi视觉思考版”即可点击使用。

既然如此,这就赶紧来实测一波~

Kimi视觉思考版第一波实测

先来一道考研数学真题小试牛刀,这道题目涉及的知识点包括曲面积分、高斯定理等:

之前在量子位的实测中,这道题难住了GPT-4o。

而Kimi视觉思考版经过一步步详细推理,第一次就给出了正确答案。

它自己也表示进行了检查没有错误,“ 对这个答案非常有信心”。

再来一道曾经测试过o1的数学概论题。

Kimi视觉思考版也一次就做对了:

接着是一道高考几何真题:

面对这道题,Kimi视觉思考版解答过程并不顺畅,进行两次尝试后,还是没能给出正确答案√3/4。

此外值得一提的是,大模型目前的数学能力还是没有达到 FrontierMath数学基准的及格线。

当然,FrontierMath基准也确确实实是有点难为AI了,毕竟它出自 陶哲轩在内的60多位顶尖数学家之手,一众顶流大模型 正确率通通不到2%

如下面这道素域连续扩展问题,难度还只是基准中的“中等”。

出于好奇,我们让Kimi视觉思考版尝试了一下(万一能做对呢)。

Kimi视觉思考版逐步拆解了一通,也终究没能解答正确。

数学能力看完后,再来小试一下物理题。

下面这道题是大学物理中的光学题:

Kimi视觉思考版回答对了第一小题,但第二小题没做对:

再来看下面这道高考物理题:

Kimi视觉思考版同样只答对了一问,第二小问做对了,第一小问答错:

不过, o1也犯了同样的错误,只答对了一题。

最后再来看看做“化学题”怎么样(doge):

Candy, Happy, Bacon, Scary, Brain, House

Which is the odd one?

Hint: Chemistry

Kimi视觉思考版的解释虽然有理有据:

但“标准”答案是:

此外值得一提的是,除数理化视觉推理能力,官方还表示Kimi视觉思考版在 “噪声”场景,即拍摄图片模糊、手写字迹潦草等情况下,性能损失幅度较小。

你觉得Kimi新模型的表现如何?感兴趣的童鞋不妨亲自上手考考它~


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1