跳到正文
Scientific Data· Keyang Qian·· 7 天前AI 评分42

SCALEFeedback:面向LLM教育反馈研究的开放合成大学作业评分标准与提交数据集

Open Synthetic University Assignment Rubric and Submission Dataset for LLM Educational Feedback Research

AI 导读

已获同行评议接收的Scientific Data论文发布SCALEFeedback数据集,含59门大学计算机课程155份作业的10,000份合成学生提交。该数据集经SAM框架对真实作业描述、评分标准与提交进行一对一LLM模仿生成,以降低学生隐私与知识产权风险。技术验证显示其语言特征与宏观分数分布接近源数据,且自动核查下未泄漏直接个人身份信息。

AI 深度导读基于原文整理的分节解读
背景
用大语言模型为学生作业提供教育反馈,是人工智能教育(AIED)领域受到较多关注的方向。但此前缺少大规模开源的作业数据集,尤其是同时包含详细作业描述、评分量规(rubric)与学生提交作品、且跨越不同课程的数据;数据可得性不足,限制了自动生成有效教育反馈方法的实证研究。
做法
作者构建了 SCALEFeedback(Synthetic Computer science Assignments for LLM Educational Feedback Research),一个面向大模型教育反馈研究的大规模合成计算机科学大学作业数据集。数据集由 Sophisticated Assignment Mimicry(SAM)框架生成,该框架通过基于大模型的逐一对真实作业描述、评分量规和学生提交作品进行模仿式合成,目的是降低直接发布原始教育材料所带来的学生隐私与知识产权风险。
结论
开源数据集包含 10,000 份合成学生提交作品,覆盖 59 门大学计算机科学课程中的 155 份作业。技术验证显示,合成数据在语言特征和宏观分数分布上接近源数据,同时在自动化检验下能有效防止直接个人标识符泄露。
意义
该数据集面向希望以可扩展方式开发高质量自动计算教育作业反馈方法的研究者;其发布为相关实证研究提供了可用的数据基础。
局限
数据集为合成数据,合成过程以逐一对源作业材料进行模仿为基础,因此其与真实学生作业的对应关系受模仿对象与生成方式约束;技术验证覆盖的是语言特征、宏观分数分布和直接个人标识符泄露,并非真实教学场景中的反馈效果。

本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文

来源:Scientific Data · nature.com