论文阅读：AIED 2024 RuffleRiley: Insights from Designing and Evaluating a Large Language Model-Based Con

总目录 大模型相关研究https://blog.csdn.net/WhiffeYF/article/details/142132328https://arxiv.org/abs/2404.17460RuffleRiley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System 论文介绍RuffleRiley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System由来自卡内基梅隆大学、德克萨斯农工大学和阿里尔大学的 Robin Schmucker、Meng Xia、Amos Azaria 等完成发表于 AIED 2024 国际人工智能教育会议。 研究背景传统智能辅导系统ITS虽然在辅助学习方面效果显著但内容创作成本极高——开发一小时的教学内容往往需要耗费数百小时的人工设计严重制约了其大规模推广。该论文针对这一痛点提出了一种基于大语言模型LLM的对话式辅导系统 RuffleRiley旨在大幅降低内容开发门槛同时提供高质量的自适应对话辅导体验。 核心方法该论文的核心创新在于将 GPT-4 应用于辅导脚本的自动生成与对话编排。系统通过两个 LLM 智能体协同工作一个扮演学生角色的Ruffle另一个扮演教授角色的Riley。举个简单的例子假设你在学习细胞生物学Ruffle 会主动向你提问形态服从功能’在细胞中是什么意思“引导你用自己的语言来解释知识点。如果你答错或遗漏了关键信息Riley 则会适时介入给予提示纠正你的误解。整个过程就像有两个 AI 陪你一起上课——一个负责考你”一个负责帮你形成一套完整的以教促学闭环。 实验结果该论文通过两项在线用户实验共 N200 名参与者对系统进行了系统评估将 RuffleRiley 与普通问答机器人及阅读活动进行对比。结果显示RuffleRiley 用户在理解感、记忆感、学习支持感和愉悦度等主观体验维度上均显著优于对照组。然而在客观学习成绩的提升上与单纯阅读相比未发现显著差异——这也揭示了当前 LLM 辅导系统在反馈精准性方面仍有较大优化空间。 研究意义该论文为 LLM 驱动的教育对话系统提供了完整的设计框架与实证依据对推动 AI 教育技术的规模化应用具有重要的参考价值。系统已开源为后续研究奠定了基础。