复旦大学NLP实验室发布大模型高考数学测评结果，国内AI大模型成绩超GPT-4o，如何看待这一结果？

每年高考都是备受全社会关注的一件大事，而今年略有不同，因为除了鱼跃龙门的高三学子们，还多了许多陪他们一同参加考试的 AI 大模型。

在所有的考试科目中，数学显然一直都是最难的那一门，不论是对考生还是对大模型。因为数学最考验逻辑思维和计算能力，而大模型是从自然语言训练，即便是公认最强的 ChatGPT 也被诟病不懂数学。

去年高考，国产大模型还远不像今天这样生机勃勃。今年就不一样了，一年多的百模大战让国产大模型也能凑满一整个考场。考试刚结束网上就有很多 AI 大战高考的文章。

不过其中一些测试显然太过简单粗暴，比如直接上传数学试卷的截图，然后就下结论说国产 AI 不如 GPT-4o，因为这就不是在比数学能力了，而是在比 OCR 能力，能做出这种测试的自媒体我想大概连 LaTeX 是什么都不知道…

而复旦大学NLP实验室的测试就更加严谨准确了，以高考数学真题单选、多选、填空的客观题为测评集，采取文本转义或 LaTeX 格式对国内外主流大模型进行了考试。先看一下考试结果吧（LaTeX版）：

新课标I卷：

新课标II卷：

从结果可以看出：

1、少数大模型已经能在高考数学题目中拿到70%以上正确率；且模型之间拉开了较为显著的差距，一些主攻文本的模型显然数学能力不足；

2、在两张试卷的测试中，GPT-4o、Gemini-1.5都没能打赢国产大模型；

3、如果把GPT-4o、Gemini-1.5作为两个大模型数学能力的基准划分为优、中、差三等，能稳定优于GPT-4o则为优，介于GPT-4o和Gemini-1.5之间则为中，否则为差。以此可以将国产大模型划分为三档，优档中则只有Qwen2-72B和讯飞星火两个模型。

这个结果说实话挺出乎意料的：

一来是因为大模型之间明显拉开了差距。我上次拿公务员行测考试的题目测试国产大模型，而行测中语文和常识题比较多，区分度不够，大家上下也不过相差几分，看来数学能力依然很多大模型的短板弱项；

二来是像Qwen-72B这样的开源模型在两次考试中分别位居一二，要知道这可不是1+1=2那样的简单计算，也不是鸡兔同笼那种被训烂了的二元一次方程组，而是实实在在涵盖了集合、虚数、向量、根式、函数、曲线等高难度题目的高考真题啊。

Qwen2-72B作为一个开源模型，怎么就能拿到这么好的成绩？强的有点不真实了…莫非选择题是蒙对的？所以我们还是得自己动手测几道题吧。

测评地址：https://modelscope.cn/studios/qwen/Qwen-72B-Chat-Demo/summary

第一题：

第二题：

第三题：

前三道简单题显然没什么问题，过程也是对的。时间关系我直接从后面再测两道题。

第12题：一顿操作还是算错了。

第13题：能解出正确答案 𝑎=ln⁡(2)

可以看出，测评结果跟复旦NLP的结果基本一致。压轴的选择题可能存在蒙的成分，但中等、简单题目是可以给出比较准确的解答思路和计算结果的。

最后，再聊聊大模型测评吧。

现在市面上的大模型越来越多，随之而来的是大家对大模型能力比较的需要。我们可以看到，不论哪个模型，在发布时都会贴出一大堆测评分数，来佐证自己的能力。

但是问题在于：

1. 就像高考真题和模拟试卷的关系一样，测评数据集难免会发生泄漏，也难免会有人针对性地进行刷榜。
2. 现在的大模型都是通用对话型，不再像过去是针对某个非常具体的分类任务设计，所以需要综合地评价模型在不同方面的能力。
3. 现在的模型相比于过去，能力还是有长足增长的。所以一些比较老的测试集就会出现区分度不够的问题，就好比一张考试试卷，大家都能考到85分以上，这样的测试结果意义其实也不太大。

所以为什么 Lmsys ChatBot Arena 火起来了，就是因为它引入了排位赛 Elo 分数的机制，通过让海量的真实对话去打分决出胜负，来评测模型排名。

针对测评区分度的问题，前段时间 Lmsys ChatBot Arena 还专门发了一篇文章，提供了一个 Arena-Hard 测试集，相比于 MT Bench，Arena Hard Auto v0.1 提供了更强的区分度：

在排行榜中也专门提供了 Hard Prompts 分类，Qwen2-72B 和 Llama3-70B 一起上榜前10，和GPT-4-0314 并列：

所以从测评的角度，高考数学真题真的是非常难得的测试题目，因为高考真题严格保密，绝不存在泄题或者刷榜的因素，同时数学和推理能力完全可以作为 Hard 题目，来区分模型的能力排名。

总之，我觉得今年国产大模型的高考表现是超出预期的，特别是通义千问 Qwen2 这样的开源模型能做到第一、第二的成绩，真的非常优秀了。我也很期待国产大模型们明年高考的表现，一定会有更大的变化和进步。

**END**

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 全套学习资料已经上传至CSDN官方，朋友们如果需要**扫描下方微信二v码获取全套资料**【保证100%免费】