教育AI实验室近期完成一轮小规模实验：让模型按教师给定的评分细则，对语文、历史主观题作答给出分数、扣分维度与证据片段，用于日常练习的形成性反馈，而非终结性评价。
实验发现两个主要偏差：一是同一份细则中不同维度的宽严尺度不一致，模型倾向在“语言表达”维度给分偏高；二是作答较长时，评分证据出现锚点漂移，扣分理由与原文位置对不上。
对应的做法是把评分细则结构化，拆成“维度—分值—可观测证据要求”三列，要求模型输出前先定位证据句再定分；同时用少量教师双评样本做锚点校准，并对同一作答多次采样，当分差超过设定阈值时自动转人工复核，不进入反馈环节。
阶段性进展：在某中学期末练习的约3000份主观题作答上，与教师双评相比，绝对误差不超过1分的比例为89%，加权Kappa约0.78；证据定位准确率约82%。
下一步计划：扩展到理科解答题的步骤分判定，重点验证多解、跳步与量纲错误三类场景，并补齐跨学科细则的迁移测试。
评论