文心一言通义千问们互评高考作文,快打起来了!

摘要:大模型高考,谁没考好?


作者|蓝媒汇编辑部


又是一年高考时,随着第一科语文考试结束,全国高考作文题目再度成为全网热议。


一年前的今天,大模型风口渐起,除了照例有各路大V、达人在朋友圈、微博等社交平台展开作文大赛之外,ChatGPT、文心一言、讯飞星火三款头部大模型也被AI蓝媒汇(id:lanmeih001)“请来”作答高考作文。


而在2024年,百花齐放的国产大模型已在性能和体验上不输GPT-4,使用更多中文语料的训练也让这些本土玩家普遍“更懂中文”。


于是,AI蓝媒汇以新课标I卷作文题为例,分别测评了BAT三家传统大厂,以及科大讯飞、月之暗面、百川智能三位热门选手的共计六款主流大模型,还引入了大模型互评环节。


谁考得最好,谁没发挥好,拭目以待。



· 新课标I卷 作文题目:


阅读下面的材料,根据要求写作。(60分)


随着互联网的普及、人工智能的应用,越来越多的问题能很快得到答案。那么,我们的问题是否会越来越少?


以上材料引发了你怎样的联想和思考?请写一篇文章。


要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字。



· 百度 文心一言4.0:


其余五款大模型打分如下:


综合得分:55.8



· 阿里云 通义千问2.5:


其余五款大模型打分如下:


综合得分:56.8


附:文心一言给出满分的原因



· 腾讯 元宝:


其余五款大模型打分如下:


综合得分:58.2


附:文心一言给出满分的原因



· 科大讯飞 讯飞星火:


其余五款大模型打分如下:


综合得分:57.2



· 月之暗面 Kimi:


其余五款大模型打分如下:


综合得分:55.2


附:讯飞星火给出低分的原因



· 百川智能 百小应:


其余五款大模型打分如下:


综合得分:56



从测试以及评分结果来看,在所有六款大模型之中,文心一言综合打分最高,给友商文章平均打出了58的高分。其中还有两次给了满分。


而讯飞星火打分最低,给友商文章平均只给出了53.2的分数。


那么,这些作文,你给多少分?


来源|AI蓝媒汇