学生学业成就研究：基于国际大型教育测评项目TIMSS梁贯成

学生学业成就研究：

基于国际大型教育测评项目TIMSS香港大学健泰基金教授（数学教育）梁贯成2016年8月24日重庆西南大学「现代统计分析方法与应用」高级研修班

什么是TIMSS?TIMSS:

从第三届国际数学及科学研究(ThirdInternationalMathematicsandScienceStudy)到国际数学及科学趋势研究(TrendsinInternationalMathematicsandScienceStudy)国际教育成就评价协会(IEA-InternationalAssociationfortheEvaluationofEducationalAchievement)主辨透过测试及问卷,测量国际上学生在数学及科学成绩的状况,了解影响成绩的不同因素第三届国际数学及科学研究(1995年)历史上最大型的比较研究;测试小三,小四,初中一,初中二及高中三学生;超过40国家,五十万学生参加;在国际上有重大影响38国家/地区,十八万初中二学生参加;测量1999年的成绩,并1999与1995年的差异(约有1/3试题为共通题)第三届国际数学及科学跟进研(TIMSS-R)–1999年国际数学及科学趋势研究(2003年)49国家/地区,超过二十六万小四及初中二学生参加;约有1/3试题与1999年的测试为共通题国际数学及科学趋势研究(2007年)59国家/地区,超过四十二万小四及初中二学生参加;约有1/3试题与2003年的测试为共通题国际数学及科学趋势研究(2011年)63(+14)国家/地区,超过六十万小四及初中二学生参加初中45(+14)国家/地区,小学52(+7)国家/地区约有1/3试题与2007年的测试为共通题参加TIMSS2011的国家/地区ArmeniaAustraliaAustriaAzerbaijanBahrainBelgium(Flemish)BotswanaChileChineseTaipeiCroatiaCzechRepublicDenmarkEnglandFinlandGeorgiaGermanyMacedoniaMalaysiaMaltaMoroccoTheNetherlandsNewZealandNorthernIrelandNorwayOmanPalestinianNat’lAuth.PolandPortugalQatarRomaniaRussianFederationSaudiArabiaSerbiaSingaporeSlovakRepublicSloveniaSouthAfricaSpainSwedenSyrianArabRepublicThailandTunisiaTurkeyUkraineUnitedArabEmiratesUnitedStatesYemenGhanaHondurasHongKongSARHungaryIndonesiaIran,IslamicRep.ofIrelandIsraelItalyJapanJordanKazakhstanKorea,Rep.ofKuwaitLebanonLithuaniaTIMSS1995TIMSS1995TrendsinInternationalMathematicsandScienceStudy(TIMSS)2007TrendsinInternationalMathematicsandScienceStudy(TIMSS)2007Primary4MathematicsTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Primary4Mathematics(first15countries)TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Secondary2MathematicsTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Secondary2Mathematics(first15countries)InternationalBenchmarksTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Primary4(first20countries)InternationalBenchmarksTrendsinInternationalMathematicsandScienceStudy(TIMSS)2011Secondary2(first20countries)小四学生喜欢数学的程度

(国际平均=48%)

TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011初中二学生喜欢数学的程度

(国际平均=26%)TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011初中二学生对数学的重视程度

(国际平均=46%)TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011小四学生对数学学习的自信心

(国际平均=34%)

TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011初中二学生对数学学习的自信心

(国际平均=14%)

TrendsinInternationalMathematicsandScienceStudy(TIMSS)2011讨论上述的结果，需要什么数据？要搜集这些数据，我们要采取甚么研究方法？我们如何保证研究结果准确?如何保证研究结果准确?考虑五个问題:比较甚么？比较的对象是谁？如何比较？如何分析测量结果？如何保证数据质量?

1.比较什么？例： 何谓数学？何谓成绩？何谓课程？理论框架-三个层次的课程：预期课程（intendedcurriculum）实施课程（implementedcurriculum）实现课程（attainedcurriculum）实现课程的三个方面：内容表现观感预期课程(国家/地区)社会文化背景实施课程(班)实现课程(学生)个人背景学校及社区背景内容维度(2011)初二数代数几何数据的表达,分析及概率小四数几何图形与度量数据表达认知维度

(2011)知识

Knowing(recall,recognize,compute,retrieve,measure,classify)应用Applying(select,represent,model,implement,solveroutineproblems)推理Reasoning(analyze,generalize,synthesize,justify,solvenon-routineproblems)预期课程:内容2.比较的对象是谁？年龄与年级研究单位国家、学校、班级、老师、学生所需总体（desiredtargetpopulation），定义或有效总体（definedoreffectivetargetpopulation）与样本（sample）抽样方法两阶段层化聚点抽样精确度与抽样量3.

如何比较？测量工具问卷（国家、学校、老师、学生）试卷大纲及教材分析需要甚么数据？总分不同范畴的分数技能层次试卷试题的类形多项选择题、短答题、长答题、实践测试试题的选择测试蓝图、预试、学科专家意见、试卷的整体考虑试题的设计试题群、不同的试题小册子试题的翻译文化差异与文化适应内容多项选择题短答题长答题总题数分数整数19512528分数与比例15242128测量、估算与数感16312021数据陈述、分析与概率8221215几何122-1414规律、关系与函数91-1010总数8915810216TIMSS1995数学测试蓝图

内容维度(2011)初二数

(30%)代数

(30%)几何

(20%)数据的表达,分析及概率(20%)小四数

(50%)几何图形与度量

(35%)数据表达(15%)认知维度

(2011)小四知识

(40%)应用

(40%)推理

(20%)初二知识

(35%)应用

(40%)推理

(25%)知识

Knowing应用Applying推理Reasoning4.如何分析测量结果？例： 取得七十分的学生是否必定比取得六十五分的学生好？如何处理题目的不同难度？如何解决不同学生做不同试题的问题？短答题与长答题的批改两位数字编码IRT标度5.如何保证数据质量?规范化的搜集数据方法详细的操作指南搜集数据和编码训练双重计分和数据再输入试题的翻译两个或以上翻译、逆翻译试题的统计资料数据清洗国际质量监控员

结语TIMSS作为一个大型的,量的(quantitative)的跨国比较研究,必定有其限制其结果有其可信性,但对剖释问题的根源,一定不会很深入TIMSS不是另一项数学竞赛,我们不应太着重国家的排名它乃一面镜子，帮助我们自我了解强弱TIMSS的研究团队,已经尽了最大努力,让这面镜子把现象反影得最清楚和准确但是单是数据是没用的,研究结果还是需要有智慧的人去诠释和应用的结语(2)为甚么要花那么多工夫,做那么麻烦的事情?为了保证数据结果准确研究乃真理的追求不论我们作大型跨国研究抑或小型课堂研究,严紧的研究方法背后的原则都类同做研究时,至少应知道有些甚么我们因各样限制而没有做的「知之为知之,不知为不知,是知也。」谢谢!TIMSS国际报告可从

http://t

下载联络资料香港大学教育学院梁贯成电邮:frederickleung@hku.hk

什么是PISA?PISA（ProgrammeforInternationalStudentAssessment）(国际学生评估项目的缩写）是一项由经济合作与发展组织（OrganizationforEconomicCo-operationandDevelopment，OECD）统筹的学生能力国际评估计划。主要对接近完成基础教育的15岁学生进行评估，测试学生们能否掌握参与社会所需要的知识与技能PISA

评估内容第一次PISA评估于2000年首次举办，此后每3年举行一次。评估主要分为3个领域：阅读素养、数学素养及科学素养，由这3项组成一评估循环核心，在每一个评核周期里，有2/3的时间会对其中一项领域进行深入评估，其他两项则进行综合评测。PISA

评估方式PISA会在各个国家中抽取4500到10000名初三与高一为主的15岁学生担任调查对象，以测试学生是否能够掌握社会所需的知识与技能。因此，试题着重于应用及情境化。受测学生必须灵活运用学科知