在岗位实训里，学员最缺的往往不是知识点，而是可以反复开口、不怕出错的练习对象。本期教育AI实验室做了一组小实验：用大模型做“陪练”，让学员在模拟客户对话中完成话术演练，再由模型按评分量表给出分项反馈。
难点不在生成对话，而在评分口径。我们先请3名资深讲师对200条真实演练录音标注，作为基准；再把量表拆成5个维度，并为每个维度写出可观察的行为锚点。首轮模型与讲师的一致性（加权Kappa）只有0.42，主要偏差是“习惯性给高分”和前后标准漂移。
调整三点后回升到0.71：1）每个得分必须引用学员原句作为证据，无证据不得给分；2）对模糊项强制输出“待人工复核”，不硬判；3）把长对话切成回合级打分再汇总，减少上下文稀释。
要点
· 进展：回合级评分＋证据引用是提升一致性的关键——模型负责找证据，量表负责下结论。
· 下一步：在两门课程中做对照组，观察陪练评分能否替代部分人工点评，以及学员开口次数、完成率等行为指标的变化。
评论