当前位置:首页|资讯|GPT-4

陈根:GPT-4满分通过麻省理工数学考试,GPT又下一城,人类危险

作者:根新未来发布时间:2023-06-30

原标题:陈根:GPT-4满分通过麻省理工数学考试,GPT又下一城,人类危险

文/陈根

GPT-4满分通过MIT本科数学考试,万万想不到啊,MIT数学考试,被GPT-4攻破了?!

突然有人在最新论文工作中高调宣布:GPT-4在MIT的数学和EECS(电气工程和计算机科学系)本科学位考试中,表现出的能力完全满足毕业要求。而且妥妥地拿下满分!

这个结果的测试者靠谱吗?到底是谁对GPT-4进行的这项测试呢?测出这个结果的不是别人,正是来自MIT和波士顿大学、康奈尔大学的研究团队。这个论文一出,无数目光迅速被吸引过来。

GPT-4这样看似开挂的行为,自然引发了不少网友的感慨。那么,有没有可能以后不需要比GPT-4更强的模型,来解决学术问题了?这个问题根哥不好回答,至少目前GPT4如果不受算力的制约,只要开放给各个领域接入使用,不论是在法律、金融、教育、医学、财务、作曲等领域都可以取代并完胜我们人类。

那么GPT-4开挂MIT考试,这到底是怎么回事情呢?具体来说,GPT-4这次是参与了这样一场测试:就是研究团队策划了一个数据集,其中包含4550个问题和解决方案。这4550个问题和解决方案,来自MIT数学系和EECS的学生获得本科学位,需要学习的课程问题集、期中考试和期末考试。具体包括:6-1:电气科学与工程;6-2:电气工程与计算机科学;6-3:计算机科学与工程;6-4:人工智能与决策;18-1:普通数学;18-2:应用数学;18-3:纯数学;18-C:数学与计算机科学。

这些题目统统出自MIT的数据集,从中随机生成228个问题,不涉及图像和已有解决方案的问题。然后题目的难度等级由易到难依次为:练习、习题、 期中考试、期末考试、实验和专题。按答案类型排序,题目的难度由易到难依次为:编程、开放、选择题、数值、表达式和图像。这一次,参与考试的不只有GPT-4和GPT-3.5,还有StableVicuna-13B、LLaMA-30B和LLaMA-60B。简单来说,就是目前最牛的几个大模型统统来参加考试,看看到底谁智商最高,能力最强。

考试结果是什么情况呢?得分最高的是GPT-4,得分率100%;表现最差的是Meta的LLaMA-30B,连个及格线都过不了,只拿下了30%的分数,这简直就是一个妥妥的学渣。

这前几天Meta的人工智能首席科学家Yann LeCun(杨立昆)才在巴黎的会议上嘲笑CPT,然后神吹了一把自己的这个人工智能技术有多么神奇,这下一秒就成为了学渣。所以科学家要是吹其牛来,那一般人根本就听不懂。

而看到GPT-4这样的考试结果,不少网友心生感慨,GPT-4在数学考试上的进步,未免有些神速了哈。2年前,AI还在苦苦挣扎小学数学问题。类似“小明种了5棵柠檬树,每年从每棵树上得到6个柠檬,10年间他总共得到多少柠檬”这种。去年年初,MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示,把数学问题转换成等价的编程问题,就可以让GPT-3的同门师兄弟——OpenAI的Codex掌握高数,达到MIT本科水平。

不过尽管GPT-4的这次测试拿下了高分,但它依然存在着不可告人的黑箱子,也就是说这些测试的数据与答案是不是已经包含在数据集里,同时,这些不断引导的提示词似乎成为了影响它考试成绩的关键信息。

这也导致了一些网友评论到,应该把这些题丢给MIT数学和EECS的学生去做,并不断给他们“好的提示”,这样人类学生也能拿下100%的高分成绩。但不论如何,人工智能在我们人类有规律性的知识领域超越我们人类,这是必然的事情。


Copyright © 2024 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1