大模型工具在编程教育中的纠错与优化效能的评价研究——以北邮码上与OpenAI的Code Copilot为例

Abstract

数字技术高速发展的当代，编程已成为学习者的基础技能。然而，编程初学者常因频繁代码错误受挫影响学习兴趣与动力。基于人工智能的大模型工具可以帮助学习者学习，但是工具在教育上的效能如何，尚未有具体研究。本研究以两个编程问题的18份Python错误代码作为测试数据源对两个主流工具MashOn和Code Copilot进行测试。结果表明，MashOn和Code Copilot在覆盖率上可达到100%，在精确率上均可达到80%，能够生成完整的反馈和优化建议。在优化代码方面，MashOn稍逊于Code Copilot。但是MashOn的五轮启发式辅导对初学者更具指导意义，教育效能更强。