地理高考试题的试题分析初探课件

地理高考试题的试题分析初探戴新宇

博士

副教授南京大学课题组地理高考试题的试题分析初探戴新宇博士副教授内容概要试题分析框架试题手动标注及总结试题自动标注：分词、实体识别、术语试题语义分析及表示2023/9/82内容概要试题分析框架2023/8/32试题分析框架2023/9/83试题分析框架2023/8/33试题手工标注目的：通过对若干试题进行规范化、系统化的标注,掌握试题中词法、句法、语义特性,把握试题的类型、求解目标、知识点分布等,进而抽象出人工标注过程中学习得到的知识和求解策略标注结果将来可以作为标注数据,利用自然语言处理和机器学习方法,对新的试题进行自动的标注,这些标注的结果将用于解题。自动标注的时间、地点、术语等可以帮助分析理解试题,标注出的知识点、求解目标、问句模式可以帮助确定查询目标及确定解题策略。2023/9/84试题手工标注目的：2023/8/34试题手工标注规范给定的一道试题(选择题)及ABCD四个选项,对其进行手工的标注,需要标注的内容包括:求解目标(AnswerType):

多实体、单实体、判断、流程、其它;问句模式(Questiontype):事实、因果、比较、关联、图表计算、其它。(注:四个选项的求解模式可能不同,因此此项标注以选项为单位);时间:标注出该试题及选项中存在的时间名词及短语;地点:标注出该试题及选项中存在的地点名词和短语;术语:标注出该试题及选项中存在的地理学科专业术语;课本知识点:标注出该试题所考察的知识点在书本上对应的书号、章、节;思维导图知识点:标注出该试题所考察的知识点在思维导图中所处的位置;图片:标注出图片的类型，以及图片中包含的三元组信息。2023/9/85试题手工标注规范给定的一道试题(选择题)及ABCD四个选手工标注总结（求解目标）共28套试卷,

486个选择题,

1944个选项进行了标注，试卷包括2006-2014年北京市高考地理试卷,以及近几年北京市海淀区、西城区、东城区、朝阳区的模拟试卷。求解目标:

486个选择题,

其中“判断”357个,“单实体”83个,“多实体”36个,

“流程”9个,“其它”1个。题面中的某些词汇基本可以确定求解目标。“分别”、“依次”：“多实体”题型“顺序”、“阶段”：“流程”题型“正确”、“原因”、“影响”：“判断”题型……2023/9/86手工标注总结（求解目标）共28套试卷,486个选择题,1手工标注总结（求解目标标注示例）2023/9/872,图2为某山地的垂直带谱示意图。读图，回答第4～5题。2,4图中所示山地判断4A各自然带的界线随季节变化而移动4B北坡热量条件差，林带上界比南坡低4C南坡冰雪带下界因降水量大而较低4D南北坡山麓水平距离造成基带差异大2,5该山地位于单实体5A喜马拉雅山脉5B天山山脉5C祁连山脉5D昆仑山脉手工标注总结（求解目标标注示例）2023/8/372,图2为手工标注总结(问句模式)问句模式:问句模式以选项为单位,但是有些试题4个选项的问句模式一致,因此共标注1944个问句模式,其中“事实”1177个,“因果”363个,“比较”218个,“图表计算”112个,“关联”70个,“其它”4

个。题面中的某些词汇基本可以确定求解目标。如“相比”、“最大”、“最高”：“比较”问句“看出”、“能够”：“关联”问句“原因”、“导致”、“因为”、“因素”：“因果”问句。……

2023/9/88手工标注总结(问句模式)问句模式:问句模式以选项为单位,但是手工标注总结(问句模式标注示例)2,图2为某山地的垂直带谱示意图。读图，回答第4～5题。2,4图中所示山地判断4A各自然带的界线随季节变化而移动事实4B北坡热量条件差，林带上界比南坡低比较比4C南坡冰雪带下界因降水量大而较低因果因...而...4D南北坡山麓水平距离造成基带差异大因果造成2,5该山地位于单实体事实位于5A喜马拉雅山脉5B天山山脉5C祁连山脉5D昆仑山脉2023/9/89手工标注总结(问句模式标注示例)2,图2为某山地的垂直带谱示手工标注总结(时间词)时间词标注:486道试题共标注时间词251个。我们基于时间词及短语的形式进行了归类,将试卷中的时间词及短语分为9类,包括：周期类,如“每天”“每年雨季”“每年10月4日至10日”等;时间段,如“1-3月”“从2010年起”等;季节(包括部分节气),如“春季”“秋冬季”“夏至日”“冬夏之交”等;不同粒度的时间点,如“2013年”“午后14点左右”“此日后20日”等;有条件的时间点,如“气温最低时”“甲天气系统途径菲律宾时”“地震发生后”等;某时期,如“甲时期”“十二五期间”等;一天中的某时段,如“日出时间”“日出日落时间”“上午”等;虚拟指代的时间,如“某年”“该日”等;other:其他。2023/9/810手工标注总结(时间词)时间词标注:486道试题共标注时间词手工标注总结(地点词)地点词标注:486道试题共标注地点词1019个。我们依据地点词或短语的构造规律,对地点词进行了归类,将试卷中的地点词及短语分为9类,包括:包含经纬度的地点,如“90◦E”,“北纬50◦”等;虚拟指代的地点,“图示河流”“该国东北部的某河河口附近”等;行政区域,国家、省、市、县等等,如“江苏省”“北京市”“苏、皖、浙、闽四省”等;XX站,如“空间站”“中山站”等;XX平原、高原等,包括特例”公园”,如“长江流域”“台湾岛”“巴西兰索瓦玛朗汉斯国家公园”等;XX区,如“喀斯特地貌地区”“中国部分农业主产区”等;包含方位词,如“向北”“城市中心”“地中海沿岸”等;8.other:其它。2023/9/811手工标注总结(地点词)地点词标注:486道试题共标注地点词手工标注总结(术语)术语标注:486道试题共提取术语1547个。术语的标注可能存在不一致的问题,比如“太阳年辐射总量”“工业生成成本”等是否归为术语值得进一步探讨。地理学科术语需要一个规范的、明确的集合,以供构造知识库和试题分析所用。2023/9/812手工标注总结(术语)术语标注:486道试题共提取术语15手工标注总结(思维导图知识点)思维导图知识点标注：基于北京大学出版社出版的《思维导图伴你学》(高中地理学习导图)一书。我们知识点的分布进行了考察,

“中国地理概况”、“地球和地图”、“人口数量变化和人口的合理容量”等知识点出现的比较频繁,需要对这类知识点的试题进行重点的研究和突破。由于思维导图结构相对复杂,部分同学标注不够规范。2023/9/813“人口老龄化”、“常住人口”、“养老金”：“人口数量变化和人口的合理容量”。“信风带”、“副热带”等：“气压带和风带”手工标注总结(思维导图知识点)思维导图知识点标注：2023手工标注总结(课本知识点)课本知识点标注：基于北京市高中地理用书,包括3本必修,和7本选修课本515道试题共标注课本知识点总条数921条。其中超过60%集中在“必修一”和“必修二”两本书中。

2023/9/814“侵蚀”、“板块”、“堆积”、“岩石”：“必修一-第四章”手工标注总结(课本知识点)课本知识点标注：2023/8/3图表分类地图底图：平面图、剖面图叠加图：网格(如经纬度)、曲面(如海拔)、等值线(如等压线)、散点表格与图表表格图表：柱形图、堆积条形图、散点图、折线图、曲面图流程图照片图表分类地图图表标注举例类型信息伦敦,类型,城市英国,类型,国家l1,类型,洋流l2,类型,洋流地图-底图-平面图英国,类型,区域l1,类型,轨迹l2,类型,轨迹伦敦,类型,点p1_1,类型,点p1_2,类型,点p2_1,类型,点p2_2,类型,点l1,轨迹点,(p1_1,p1_2)l2,轨迹点,(p2_1,p2_2)地图-叠加图-网格伦敦,经度,0度伦敦,纬度,北纬51度p1_1,经度,西经11度p1_1,纬度,北纬50度p1_2,经度,东经2度p1_2,纬度,北纬52度p2_1,经度,西经12度p2_1,纬度,北纬52度p2_2,经度,西经7度p2_2,纬度,北纬59度英国,北端,北纬61度英国,东端,东经2度英国,南端,北纬49度英国,西端,西经8度地图-叠加图-曲面英国,海拔,0-500米图表标注举例类型信息伦敦,类型,城市英国,类型,国家手工标注总结标注标准需要完善，需要更规范的标注体系；标注质量参差不齐，需要进一步提高；需要增加新的标注内容：如中心词、谓词等需要标注更多……2023/9/817手工标注总结标注标准需要完善，需要更规范的标注体系；2023试题自动标注2023/9/818试题自动标注2023/8/318试题自动标注：词法手工标注了2013-2014两年的北京高考试题,对其进行手动的分词和术语标注,作为分词、时间词、地点词、术语识别的测试集。分词结果的F-Score超过了90%,错误中超过50%是术语识别的错误。10%左右为包含标点的切分错误（如7.8%），10%左右为包含指代的实体识别错误（如“甲地”）。假设词典包含试卷中的所有术语，加一些额外的后处理，能够达到96%+。2023/9/819试题自动标注：词法手工标注了2013-2014两年的北京高试题自动标注：句法2023/9/820试题自动标注：句法2023/8/320试题自动标注（句法语义）AbstractMeaningRepresentation(AMR)一种简单的能够表达句子内部概念之间语义关系的一种表示方式。2023/9/821试题自动标注（句法语义）AbstractMeaning试题自动标注（句法语义）AbstractMeaningRepresentation(AMR)一种简单的能够表达句子内部概念之间语义关系的一种表示方式。分析的过程分为三个阶段:conceptidentification,relationidentification,parsing。2023/9/822试题自动标注（句法语义）AbstractMeaning试题自动标注（句法语义）AbstractMeaningRepresentation(AMR)一种简单的能够表达句子内部概念之间语义关系的一种表示方式。分析的过程分为三个阶段:conceptidentification,relationidentification,parsing。2023/9/823试题自动标注（句法语义）AbstractMeaning试题自动标注（句法语义）AbstractMeaningRepresentation(AMR)一种简单的能够表达句子内部