跳到正文
Phys.org·· 6 天前AI 评分33

AI 评分或使大学评估理论上永远不经过人工阅读

AI grading means university assessments could theoretically never be read by a human

AI 导读

AI 评分可能让大学评估理论上永远不经过人工阅读,但现有证据不足以支持其可靠替代人工。一篇分析文章援引的一项8月发表的研究分析50篇本科生物科学论文发现,ChatGPT在总分上与人工评分有一定一致性,但不能可靠地给出并解释分数,单项评分标准表现尤其差且平均给分高于人工。澳大利亚部分大学允许经批准的AI辅助反馈,但要求人工监督并对评分负责。

AI 深度导读逐节精读,配原文插图
背景
围绕AI评分的讨论常被推到两个极端。一端是末日式设想:学生提交由AI生成的作业,再由AI评分,大学考核过程中彻底不再有真人参与。另一端是乐观版本:教师从无尽作业堆的评分负担与时间压力中脱身,对学生个体差异的偏见被规避,省下的时间投入高质量教学与研究。文章指出的一个常被忽略的事实是,AI评分并非新事物——教育出版商Pearson称,其专门训练的系统已评阅3900万份作答,包括论文、简答与公式题。过去几十年里这类技术属于昂贵的小众产品,高校未必容易获取;随着AI变得随手可用,这一局面发生了变化。
做法
在技术路径上,ChatGPT这类模型是把学生作品的文本模式与大量既有文本比对,据此预测该给什么分数;如果训练语料与考核任务足够相似,预测就更接近人类评分者的结果。具体操作上,教师可以把一篇论文连同评分量表(rubric)上传给ChatGPT或Claude,要求其评分并给出反馈。高校普遍不公开自己的具体做法,政策主要受隐私法规约束。迪肯大学禁止教师把学校数据与信息上传到公开可用的AI,其中包括学生作业,理由是可能把私人数据暴露在境外存储,超出澳大利亚隐私法规的管辖范围。墨尔本大学允许教师用经过批准的AI“支持对学生作业的评价”,但禁止仅凭AI决定分数或等级。对用AI生成反馈评语,高校的接受度通常更高,但同样要求人工监督。可核查的对照证据来自墨尔本大学与卡迪夫大学于8月发表的一项研究:研究者让较新版本的ChatGPT评阅50篇本科生物科学论文,并与人类评分者给出的分数作比较。
结论
这项研究的结果是混合的。整体论文得分上,ChatGPT与人类评分者存在一定程度的一致性;但研究者的结论是,不能依赖ChatGPT来给出并解释分数。它在单项评分标准上表现尤其差,例如论文内容是否适切、支持性证据是否充分。同时,ChatGPT平均倾向于给学生论文打出比人类更高的分数。文章还引入作者本人针对师生如何看待反馈与AI的研究:AI可能在师生之间制造距离,学生本会去找助教,现在却先向AI要反馈;另有研究描述了学生从人类教师评语带来的个人化认可中获益——反馈让学生看到自己的学习被认真对待。默认把评分交给AI,还可能让教师错失改进教学的机会:文章以假设情形说明,若40篇学生论文都暴露出对同一概念的相同误解,批改作业的教师本应意识到这门课的教学出了问题。文章还指出,澳大利亚高校正为应对AI投入大量精力做考核改革,但研究显示,很多学校在重做考核时很少关注评分环节以及评分产生的最终成绩。
机制
文章把AI评分的偏差归因于其工作方式:AI并不“评价”,它“预测”。它把学生文本的文本模式与训练中见过的大量文本作比对,输出最可能的分数,而不是逐条依据标准判断内容是否成立。这解释了两件事:训练语料与考核任务越相似,预测越贴近人类评分者;而在需要按单项标准判断内容适切性、证据充分性的地方,它的表现最弱,因为这类判断依赖对内容的评估而非模式匹配。作者也把ChatGPT平均给分高于人类这一现象,归因于同一机制。
意义
文章由此提出另一条思路:与其只争论AI能否复刻人类评分,不如同时重新审视评分与分数本身。研究界对数值评分的批评由来已久:聚焦“达标”会削弱独立思考,也会助长学生之间不必要的竞争。新南威尔士大学已在部分科目试点取消数值分数,改由教师依据既定学习成果判断学生是否胜任,校方称这会把重心移向学生学习。文章明确说明,这些改动并非为应对AI而做,但仍提示了AI时代分数与等级可能如何变化:未来的选择未必是“用技术”与“不用技术”的二选一,而是高校能否设计出把学生与教师拉得更近的考评体系——学生要的是有意义的反馈,不是技术性的打勾。
局限
可核查的对照证据面较窄:那项研究只覆盖50篇本科生物科学论文,考察的是ChatGPT一类工具在特定任务上的表现;作者对可靠性的判断也只说到“至少目前”不行。此外,高校普遍不公开各自的AI评分做法,加上隐私法规框架的差异,外界难以评估政策的全貌与实际执行情况。
下一步
作者提出,取消数值分数与等级可以是往前走的一条路,但这并不能提供全部答案。新南威尔士大学的试点做法能否推广、在更多科目与更多考核类型上是否站得住,文中未给出验证结果。作者呼吁继续探索其他评分选项,并把重点放在能拉近师生关系的考评制度设计上。

原文图表

摘自 Phys.org
university assessment
图 1university assessment

本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文

来源:Phys.org · phys.org