作者 | 月山橘
编辑 | 张洁
校对 | 卷毛
*今日头图使用Midjourney创作,关键词“A boy is sitting on gaint books in a room, there are many test papers flying in the air, anmie style, 8K, --ar 16:9”
高考临近,又到高考作文押题的赛点了!
最近,B站UP主“图灵的猫”用AI预测出了2023年高考作文的七大命题方向,对应高考的七套考卷。
用AI押题,听上去不太靠谱,但这已经不是这位UP主第一次用AI预测高考作文题了。
去年5月,他用AI预测2022年高考作文题,命中了全国乙卷、新高考II卷、北京卷II和浙江卷!
在他上个月发起的投票中,有超7成的参与者支持他继续预测2023年的高考作文。
当然,押中与否是个概率问题,不见得百发百中。不过,用AI押题这件事是怎么实现的?需要花费多少时间和成本?带着这些问题,我们和“图灵的猫”聊了聊。
作为拥有90万粉丝的B站科技区UP主,“图灵的猫”很擅长用技术“整活”,做一些有趣的开发实践。
比如让AI预测高考作文题、训练一个反诈AI跟骗子聊天、开发一个自动写小说的免费网站等等,这些视频都收录在他名为“图灵计划”的合集里。
截至发稿前,他让AI预测2022年和2023年高考作文题的两条视频,分别获得了275万和36.3万的播放量。
以今年这条题为《爬遍全网数据,我又用AI预测了2023年高考作文题》的视频为例,“图灵的猫”在视频中介绍了让AI预测高考作文题的原理和过程,并给出了AI的预测结果。
一共七大命题方向,每个命题方向包括三部分:核心词、预测主题、模型表征。
对应到高考作文,可以理解为中心思想、文章主题、与主题相关的描述或关键词。
话不多说,我们先来看看今年他用AI押题的最终结果:
AI预测的2023年高考作文题
那让AI预测高考作文题的原理是什么呢?
首先要从高考作文的本质出发。在“图灵的猫”看来,高考作文本质上是对考生价值观、人生观和家国意识的引导。
深谙此道的高考作文命题组,会从官媒文章、国家政策、政府指导意见和工作报告中,寻找规律和命题灵感。
而规律挖掘和数据分析,正是AI所擅长的。获取的数据越多,分布越合理,AI就越能够准确地预测。过程没有感情,全是技巧。
基于以上原理和思考,“图灵的猫”专门写了一套爬虫,爬取了近一年上千篇人民日报、央视新闻等官媒发表的文章,政府指导意见和工作报告。
然后把它们保存到本地,形成一个个文档,再通过自然语言处理中的预训练模型和主题建模,对这些文档进行理解和归纳,分为文化、教育、科研、国防、外交等主题,每个主题提取出一些具有代表性的关键词,比如说科研主题下的“神十三”。
考虑到近来AI技术的迭代,相比于去年的预测,今年略有不同的是,他引入了ChatGPT作为辅助,更加智能地给出选题建议。
但由于ChatGPT的训练数据,绝大多数来自英文互联网,对中文语境下的文本理解存在一些偏差。再加上联网版的GPT模型,比如NewBing、GPT-4的插件等,都有调用接口限制,一般只能记住几千个token或汉字。
如果直接用它们进行预测,得出的预测结果,往往都是基于搜索引擎前几条的人为预测结果,而不是真的基于大数据的AI预测。
想要分析上千篇人民日报,如此大量的文本,需要一个不限制文本输入长度的模型,因此往往只能部署在本地,但这与ChatGPT并不冲突。
他的做法是,使用本地模型完成第一轮主题归纳,然后将简化的信息输入ChatGPT,基于ChatGPT强大的泛化能力,判断和预估不同主题和关键词被选中的概率,起到类似命题指导组的作用。
而在花费的时间和成本上,图灵的猫表示,去年由于是从0到1开发预测模型、爬数据,所以耗时很久,但今年用时缩短很多。每个环节的耗时比例大概是:60%的时间抓取数据,30%的时间用AI进行主题建模,然后剩下10%的时间人工对内容进行规整。
他告诉我们:“目前ChatGPT二十多万次的API调用,大概只要十几美元,再加上已经在本地对信息进行了处理和压缩,所以总体消耗的token数量少很多,最终花费的成本并不高。”
2023年高考作文预测结果的准确性,要等到几天后才能见分晓。
“图灵的猫”还发动态提醒大家:“高考完别忘了来看看准确率”。
我们回顾了UP主2022年的预测与高考真题,两者虽然并不完全一致,但AI确实踩中不少要点。
比如,在2022年全国新高考II卷中,要求以“选择·创造·未来”为题写作,参考材料中提到了科学攻关、北斗导航系统,并传达出民族自主自强的精神。
2022年全国新高考II卷 作文题
而在AI给出的命题方向中,有一个以“探索、梦想”为核心词,预测主题正是“科技发展、探索精神、自主自强”。真题材料中提到的“北斗”,也出现在模型表征中。
除此之外,全国乙卷、北京卷II和浙江卷的作文真题,也与AI预测的命题方向不谋而合。
一部分网友惊叹:“高考命题组可以考虑一下反预测命题算法了”,还有人希望UP主预测一下中考题、四六级、考研题、考公题。
但由于这些考试的出题标准过于离散,没有统一的命题规律和命题流程,各省市乃至学校之间都有很大不同,“图灵的猫”认为预测意义不大。
也有一部分网友表示质疑:
UP硬核“精准预测”的这些关键词,哪个高三生耳朵没听出茧?
这些核心词和主题都是过去一年的热点,不用AI,我也能押。
AI可以穷举,但重点划得太多,相当于没有重点。
还有网友从教育公平的原则出发,认为很多地方的考生不了解互联网及其衍生的文化,AI预测的“流浪地球”“孔乙己”“互联网文学”等,高考作文显然不会考。
还有考生表示,这些预测结果基本都在自己的语文老师押题范围之内,有些甚至已经在模拟考中遇到过了。看AI预测,颇有“听君一席话,如听一席话”的意味。
再加上命题组不按常理出牌也是常有的事,所以AI预测的意义或许并没有想象中大。
对此,图灵的猫认为,AI预测和人类预测在本质上并无差别,都是基于经验模型进行的,只能说是给学生备考提供一些方向。而围绕主题进行扩展写作,依然是对写作能力、文字功底、价值观等的考验,押题并没有多少短时间提分的奇效。
不过,如果真的能再次精准押中,那么高考命题组的老师们未来可能要进一步大开脑洞了。