
今年暑假,马萨诸塞州洛厄尔市一名小学教师在查阅学生作文时,发现多处不合常理的低分。经学区预警及州教育部门核查,在约75万份MCAS(马萨诸塞州综合评估系统)测试答卷中,约1400份因AI辅助评分出现错误。据报道,部分本应获6分(满分7分)的优秀作文被判为零分。尽管该流程已包含对10% AI评分结果的人工复核,但漏洞仍由一线教师质疑触发。这一K-12阶段的案例,其背后的原则对高等教育同样具有警示意义。
高校正面临同样的诱惑:将数周的评分周期压缩至几分钟。对于兼职学生而言,快速反馈价值巨大,但错误代价高昂。核心立场明确:大学可使用AI辅助评估,但绝不能移交责任。颁发学位的机构及教师必须拥有每一个分数——包括机器建议分数——的最终所有权。
机器往往对薄弱作业过于宽容
《高等教育评估与评价》杂志刊登的一项研究显示,将50篇本科生物科学论文交由同一款主流聊天机器人的两个版本,在四种不同提示词下测试。除一种情况外,AI给出的平均分均高于人类评分者。在极端情况下,AI与人类评分在百分制下的差距高达40分:薄弱作业被提分,优秀作业被压分。最需要“论点薄弱”批评的学生,反而收到了正面评价。
“匹配平均分”是评分系统最容易制造的假象。2024年一项针对60篇硕士论文的研究发现,GPT-4的评分虽接近人类平均分,但高度集中在中间区间,与个别评分者一致性较差;即便重写指令,此现象也未明显改善。若仅以班级平均分为验证标准,系统似乎合格;但若关注个体学生,其缺陷便暴露无遗。
先划定技术边界
首要任务是界定AI的介入范围。对初稿提供可丢弃的建议,与对计入学位的成绩打分,性质截然不同。欧洲已划定红线:《欧盟人工智能法案》将评估学习成果的AI系统列为高风险类别,强制要求人工监督,相关义务将于2027年12月生效。非欧洲高校虽无法律约束,但不应等待监管落地。
其次,必须在本校数据上重新验证工具。供应商的准确率数据基于其自有测试集,而近期预印本报告指出,不同机构间AI与人类评分的一致性差异巨大,无单一模型或提示词能通吃所有场景。每当工具或指令更新,均需重新测试。
建立允许“失败”的审查机制
若人员无法行使否决权,“人在回路”便形同虚设。面对限期批准数百条AI评论的压力,讲师往往倾向于直接通过。因此,需建立允许“失败”的审查机制:让教师在盲测状态下随机标记样本,不看AI输出,随后按成绩等级、年级及学生群体(如兼职生、二语学习者)比对数据,以识别向中间靠拢的趋势漂移或对特定群体的不公。每一次失误、边缘结果及影响晋升的分数,均须由专人审阅。
保障学生的询问与申诉权
在线学习中,书面反馈即是对话。当AI参与评分或撰写评论时,必须告知学生,展示应用标准,并提供不受惩罚的人工重评途径及明确截止日期。要预期申诉会发现错误:一旦发现问题,应修正记录并对所有受影响作业进行重新评分,以排查同类缺陷。同时,保留每个分数背后的工具版本、指令及输出日志。无法重建的分数无法辩护,无法向学生解释分数的大学,并未真正完成批改工作。
责任必须落实到人
分数是对个人的评判,必须有人为此负责。负责任的管理框架应浓缩于一页纸:明确规定AI介入的边界,要求在发布前及每次变更后进行验证,指定对准确性负责的学术人员,并在重大决策上留下人类签名。此外,框架中应明确大学为检查工作量预留的教师工时。若答案为“零”,则节省的批改成本实则转嫁给了学生。
AI可减轻批改负担,但不能签署成绩单。每个学生都应有权询问“谁审核了我的反馈?”,并获得一个具体的姓名作为回答。