陈根：GPT-4满分通过麻省理工数学考试，GPT又下一城，人类危险

文/陈根

GPT-4满分通过MIT本科数学考试，万万想不到啊，MIT数学考试，被GPT-4攻破了？！

突然有人在最新论文工作中高调宣布：GPT-4在MIT的数学和EECS（电气工程和计算机科学系）本科学位考试中，表现出的能力完全满足毕业要求。而且妥妥地拿下满分！

这个结果的测试者靠谱吗？到底是谁对GPT-4进行的这项测试呢？测出这个结果的不是别人，正是来自MIT和波士顿大学、康奈尔大学的研究团队。这个论文一出，无数目光迅速被吸引过来。

GPT-4这样看似开挂的行为，自然引发了不少网友的感慨。那么，有没有可能以后不需要比GPT-4更强的模型，来解决学术问题了？这个问题根哥不好回答，至少目前GPT4如果不受算力的制约，只要开放给各个领域接入使用，不论是在法律、金融、教育、医学、财务、作曲等领域都可以取代并完胜我们人类。

那么GPT-4开挂MIT考试，这到底是怎么回事情呢？具体来说，GPT-4这次是参与了这样一场测试：就是研究团队策划了一个数据集，其中包含4550个问题和解决方案。这4550个问题和解决方案，来自MIT数学系和EECS的学生获得本科学位，需要学习的课程问题集、期中考试和期末考试。具体包括：6-1：电气科学与工程；6-2：电气工程与计算机科学；6-3：计算机科学与工程；6-4：人工智能与决策；18-1：普通数学；18-2：应用数学；18-3：纯数学；18-C：数学与计算机科学。

这些题目统统出自MIT的数据集，从中随机生成228个问题，不涉及图像和已有解决方案的问题。然后题目的难度等级由易到难依次为：练习、习题、 期中考试、期末考试、实验和专题。按答案类型排序，题目的难度由易到难依次为：编程、开放、选择题、数值、表达式和图像。这一次，参与考试的不只有GPT-4和GPT-3.5，还有StableVicuna-13B、LLaMA-30B和LLaMA-60B。简单来说，就是目前最牛的几个大模型统统来参加考试，看看到底谁智商最高，能力最强。

考试结果是什么情况呢？得分最高的是GPT-4，得分率100%；表现最差的是Meta的LLaMA-30B，连个及格线都过不了，只拿下了30%的分数，这简直就是一个妥妥的学渣。

这前几天Meta的人工智能首席科学家Yann LeCun（杨立昆）才在巴黎的会议上嘲笑CPT，然后神吹了一把自己的这个人工智能技术有多么神奇，这下一秒就成为了学渣。所以科学家要是吹其牛来，那一般人根本就听不懂。

而看到GPT-4这样的考试结果，不少网友心生感慨，GPT-4在数学考试上的进步，未免有些神速了哈。2年前，AI还在苦苦挣扎小学数学问题。类似“小明种了5棵柠檬树，每年从每棵树上得到6个柠檬，10年间他总共得到多少柠檬”这种。去年年初，MIT+哈佛+哥伦比亚大学+滑铁卢大学的联合研究表示，把数学问题转换成等价的编程问题，就可以让GPT-3的同门师兄弟——OpenAI的Codex掌握高数，达到MIT本科水平。

不过尽管GPT-4的这次测试拿下了高分，但它依然存在着不可告人的黑箱子，也就是说这些测试的数据与答案是不是已经包含在数据集里，同时，这些不断引导的提示词似乎成为了影响它考试成绩的关键信息。 

这也导致了一些网友评论到，应该把这些题丢给MIT数学和EECS的学生去做，并不断给他们“好的提示”，这样人类学生也能拿下100%的高分成绩。但不论如何，人工智能在我们人类有规律性的知识领域超越我们人类，这是必然的事情。