B 题 小学数学应用题相似性度量及难度评估
某 MOOC 在线教育平台希望能够进行个性化教学,实现用户自主学习。在用户学习
时,系统从题库中随机抽取若干道与例题同步的随堂测试题,记录、分析学生的学习和答 题信息,并且课后会自动生成作业题(或练习题)。此外,系统还能够定期回溯学生的易
错题所涉及的内容,自动推荐题型相似、难度有层次的其他题目供用户进行拓展练习。为 实现这样的功能,如何度量题目之间的相似性,如何评估题目的难度,是该产品要解决的
关键问题。
以小学数学应用题 1 为例,度量题目之间相似性的依据主要有以下两种:
题干文字。这种方法一般只能找到与题干文字相近的题目作为相似题目。但是,有些
题目的题干文字相似,而关键字词不同,题意差异较大;有些问题的背景可能毫无关 联,题干文字也几乎不同,而题目的解题思路与方法技巧却完全相同。因此,这种方
法效果有限。
事先标注题目的知识点等信息。这种方法的推荐效果取决于知识点的划分方式和粒度。
知识点划分太粗,推荐结果可能与例题或用户的易错题差别太大;知识点划分太细, 推荐结果可能太单一。两种情况下都无法真正达到拓展练习的目的。
评估题目难度的常见做法主要有以下两种 2:
根据考试的类型确定。比如,数学竞赛的试题一般比某个小学期末考试题目难。
教师根据经验主观判断。
上述判断题目相似性和评估难度的做法都有明显的局限性。该公司聘请你们团队尝试 解决这些问题。 以小学数学应用题为例,具体任务如下:
1. 设计刻画两道小学数学应用题之间相似性的度量方法。
2. 建立评估小学数学应用题难度的数学模型。
3. 附件 1 是一个示例题库,包含 100 道应用题。请将附件 1 中的题目,按相似性或难度
分类(不限制某一道题目只能属于一个分类)。如果某道题目没有相似题目,可以单 独成一类。评估算法的复杂度,能否适用于更大规模的题库。
4. 附件 2 中包含 10 道题目,请使用上述模型或方法分析这些题目的难度,并对于其中的 每一道题目, 在附件 1
中找出最相似的一道或若干道题目(没有相似题目可写“无) ”。 评估算法的复杂度,能否适用于更大规模的题库。
注 1 :题目所述小学数学应用题,是指以四则运算为主要求解方法,有一定实际背景的问 题。
注 2 :教学中还有一种确定题目难度的常见做法,即根据题目的实际得分率来定义题目的
难度。但是,题目的实际得分率不仅与学生考前的学习情况有关,还与很多“非技术”因素
有关,比如题目所用的词语、句型、语态,甚至是题目在试卷中出现的先后顺序等等;实 际的得分率也只能通过采集真实的试卷信息获得,工作量大。因此,本题所关心的是题目
的“技术”难度,不考虑实际的得分率。
附件说明:
1. 附件 1 为 CSV 格式文件,无标题行,共 2 列 100 行。第一列为题目编号, 形如“P001”、 “P002”等。第二列为题目内容。
2. 附件 2 为 CSV 格式文件,无标题行,共 2 列 10 行。第一列为题目编号, 形如“Q001”、 “Q002”等。第二列为题目内容。