日前由上海人工智能实验室旗下司南评测体系OpenCompass,对7个AI大模型进行了高考9个科目的全科目测试,从而能全面评测大模型实力。
此次参与测试的模型分别来自阿里巴巴、零一万物、智谱AI、上海人工智能实验室&商汤、法国Mistral的开源模型,以及OpenAI的闭源模型GPT-4o。
以参加高考人数最多的河南省分数线作为参考,文科成绩最好的AI模型能够达到一本线,而理科成绩最好的模型则只能上二本。
文科状元由阿里通义千问大模型以546分的成绩夺得,而理科状元则是上海人工智能实验室&商汤联合研发的浦语文曲星,得分为468.5分。
OpenAI的GPT-4o在文科上得分531分,排名第三,理科得分为467分,排名第二。
在评测中,AI在文科科目如语文、历史、地理、思想政治等科目上展现了深厚的知识储备和理解能力,但在理科科目中,数理推理能力普遍存在短板。
特别是在面对带图题目时,得分率仅有37.64%,显示出在图片理解和运用能力方面,所有大模型均存在较大提升空间。
阅卷老师指出,尽管大模型在基础知识掌握上表现出色,但在逻辑推理和知识灵活应用方面仍有较大差距。
例如在作答主观题时,大模型常常无法完整理解题干,导致答非所问;在解答数学题时,解题过程机械且逻辑性差。