设计开发测评工具探查教师概念水平-以美国ATLAST项目为例

1、    设计开发测评工具探查教师概念水平以美国atlast项目为例    （五）开展认知访谈及专家审阅修改试题对个人进行访谈可以帮助了解试题的认知情况，进行试题的修订。开展访谈最为重要的就是营造一种氛围使受访者感到安全，可以直率地回答问题。要明确说明访谈的目的是帮助修改试题，而不是评价个人。还有一点很重要，即抓住客观的信息，专心聆听受访者的各种想法和解释。在atlast测评工具的发展中，专家对试题的多次审查是很有价值的。这样的审查可以确保试题的准确性，每道题目的审查主要围绕呈现的情节和例子是否恰当、内容的效度、具体领域术语的使用、是否考虑掌握目标概念的先

2、前必备知识、是否符合学习者的认知特点及水平几个方面。内容专家在这些阶段都发挥了重要的作用，审查相关概念之间的内部关系以及深度。专家的审查对于确定内容的覆盖广度也很重要，试题所涉及的内容概念是确定广度的关键所在，有时概念与试题的完全准确联系并不清晰，而来自专家的反馈对于改善这些联系至关重要。每道试题首先由熟悉测试内容及试题编写原则的个人独立完成，然后再由该内容领域的试题开发小组及专家进行分析，以提供修改建议。（六）预测试及数据分析为了提高测试的信效度，需要通过项目分析对试题进行筛选和甄别。衡量试题质量高低的主要技术指标主要包括：难度、区分度、信度、效度、项目功能差异性、选项分析等。除了对每个题目

3、进行分析外，还需要对整个工具的质量进行分析，在工具整体层面的分析主要涉及信度和效度分析。为进一步提高工具的质量，工具开发者进行了预测试及数据分析。预测试数据分析采用项目反应理论（irt）和经典测试理论（ctt）分析，综合分析工具测试结果以提高工具质量，其中经典测试理论的检验参数主要包括：难度、区分度、选项分析等，而项目反应理论则重点关注试题难度、项目拟合度、怀特图、标准误、项目功能差异、试题信息量等参数。通过分析试题的难度参数，将较难的题目删除并且修改部分题目，此外，还进行信度分析、聚类分析和因素分析等，最终确定工具的信效度良好。（七）形成最终的测评工具在经过定性分析及定量研究，确保工具的信效

4、度均较高的情况下，形成最终的测评工具。该工具可用于学生学业测评及教师专业发展的不同方面，如形成性评价、讨论话题、个人反思等。四、atlast测评工具的主要特点及评析（一）以多认知层次题组设计的形式探查核心概念的理解情况在查阅和分析大量学科教学知识（pedagogical content knowledge，简称pck）相关文献的基础之上，atlast综述了教师知识的测评内容主要涵盖以下七个方面的知识：学科内容知识、识别概念组织的不同方式的相关知识、在学科内容中联系贯穿大概念的知识、学生对于科学内容认知情况的相关知识、评价某些特定学生群体思考能力的知识、如何有序教授学科概念的知识、驱动学生思考的

5、教学策略知识。考虑到atlast教师学科内容试题旨在探查教师对学科内容知识的理解，因此atlast将测试范围锁定在教师的学科内容知识并界定了测评要素包括上述7个方面教师知识中的3个：即学科内容知识、学生对于科学内容认知情况的相关知识、驱动学生思考的教学策略知识。在这3个测评要素的基础上进一步将所有试题的理解水平分为3个层次，由低到高依次是：科学内容知识、使用学科知识分析学生的思考、使用学科知识做教学决策。每一核心概念下均设置有一组试题，试题涵盖上述3个理解水平。以“生命系统中的物质流和能量流”中子概念c（植物将光能转化为储存在糖类中的化学能）为例（如图2所示）：水平1是最基本的理解水平，不要求

6、教师应用知识或者做出相关的教学决策，教师理解相关科学内容知识即可回答。水平2要求教师应用学科知识去分析和诊断学生的思考水平，如上述第2题所示，回答这些题目不仅需要教师理解科学知识，还要能够利用这些知识去判断学生的思考是否存在偏差。水平3的认知层次最高，教师必须评价学生在某一特定情境下的思考，评估每一个教学决策可能产生的影响，从而选出最优决策。选项中所描述的教学活动均有一定意义，但仅有一个是与题目给出的教学情境相关且科学内容完全正确的，其它的选项与提供的教学情境相关度较低。如上述第3题，选项abcd均有一定合理性，但正确答案a与试题的情境相关度最高且是促进学生学习的最佳教学行为。水平3的题目体现

7、出教师的高层次认知水平，教师需在类似日常工作的试题情境下利用学科知识去解决问题、做出恰当的决策。（二）基于错误概念的多选题设计，既能探查理解水平又便于操作在atlast测评工具的开发的过程中，前期研究人员通过文献研究以及开放式访谈详细整理了相关的错误概念，与此同时，后期atlast还精心设计了开放性试题，一方面通过开放性试题揭示了教师隐藏的错误概念；另一方面，教师的作答也为多选题的选项设置提供了素材和启示。设计的开放性试题及多选题例题如图3所示。atlast设计了开放性试题以探查教师对学生错误概念的了解以及教师可能存在的错误概念。此外，多选题的选项设计也是基于错误概念，以便了解学习者的认知情况

8、。atlast工具的开发是基于认知科学的最新进展和相关理论，开发者认为除了学科内容知识外，学习者的错误概念在概念的理解过程中也扮演着不容忽视的角色。错误概念的转变是学习者完成深入理解科学概念过程中重要的一步，而这一切的前提是了解学习者存在的错误概念。相比开放性试题，多选题更省时省力便于操作，但多聚焦在事实性记忆内容很难探查出真实的概念理解水平。基于错误概念的多选题设计为解决这一矛盾提供了借鉴，不仅可以探查被试的理解深度，还可以起到诊断理解误区及困难的作用，为教学实践提供启示和引导。（三）精心设置试题情境，巧妙融入日常教学背景教师试题均精心设置在相关教学情境之下，开发者在测试中设置一定的教学情境

9、，熟悉的教学情境使教师可以知晓这套测试是针对教师开展的，教师可在试题中识别出日常的工作内容，以提高教师参与测试的积极性。更为重要的是，情境化的试题在测评学习者的真实理解水平上有很大帮助。atlast在发展概念发展图、开发试题册、进行认知访谈等环节均精心考量教学情境的设计与融入，以便在试题中巧妙地融入符合教师日常工作的教学情境。五、启示如何将错误概念融入测评试题，并设计出适当的情景化试题一直是试题开发的一大挑战。美国atlast测试，以核心概念为主轴，以错误概念为探针，采用情景化题组的形式呈现问题情境，建立起测试目标、测试内容和测试情境三者之间的有意义联系，基于错误概念及情景化题组的设计理念始终

10、贯穿整个工具开发过程，由此开发出一套个性鲜明的测评教师学科内容知识的工具。该工具的理论基础、开发过程、设计思路及其富有情景化的表述，都能够对我国教师专业发展测评工具的开发提供一定启示。（一）以学科核心概念为主轴，以错误概念为探针贯穿试题设计的各个环节美国课程专家埃里克森（erickson）认为，10核心概念是指居于学科中心、具有超越课堂之外的持久价值和迁移价值的关键性概念、原理或方法。这些核心概念具有广阔的解释空间，源于学科中的各种概念、理论、原理和解释体系，为学科领域的发展提供了深入的视角，还为学科之间提供了联系。atlast测评工具的开发过程中，始终以学科核心概念为主轴贯穿试题设计的各个环

11、节。此外，在选项设计中融入错误概念，作为隐形的探针探查学习者的概念理解深度及困难之处。以学科核心概念为主轴，以错误概念为探针贯穿试题设计的各个环节的工具设计思路可为我国相关测试工具的研发提供借鉴。（二）精心设置教学情境，考察教师应用和决策能力情境化题组是指在任务中嵌入一定的情境或者背景，考察学习者的知识能力或者态度。不同于常规的纸笔测验试题，仅仅是简单的背诵记忆科学知识无法顺利完成这些情境化题组，这种设计旨在考察当学习者面对生活中各种情境及挑战时，是否能够有效应用知识，并且能够从不同的角度、不同的层面分析问题、解决问题。11情境化题组的设计目前广泛应用于国际学业质量测评项目，其中最为突出的就是

12、pisa情境化题组注重命题设计的情境生活化，考察学生在生活情境和科学知识之间建立联系的能力，而不再是孤立的科学知识。12这种命题设计更有利于测评学生的概念理解深度，区分不同水平的理解，在科学概念的命题和测评研究中有广阔的发展空间。atlast的工具开发过程始终注重情境的设计和融入，对考察教师在教学情境下真实的应用知识能力和决策能力有一定启发。综上所述，教师的概念理解水平对学生的学习有重要影响，对教师概念水平的探查是教师专业发展中至关重要的一部分。而当前我国在教师概念水平探查工具的设计和开发方面还处于摸索阶段，如何科学严谨地规划工具开发的整个流程？另一方面，学习科学和科学教育的丰硕成果为工具的开

13、发提供了契机，奠定了坚实的理论基础，但如何结合这些理论成果创造性地开发测评工具、如何设置试题情境等问题仍是工具开发中需要开发人员反复斟酌的重要课题，攻克这些难题对于开发科学有效的教师概念理解测评工具是大有裨益的。而atlast项目的测评工具设计与开发过程给了我们很好的范例和启示，即基于学习科学的最新理论，以核心概念为主轴，以错误概念为探针，采用情境化题组的形式呈现问题情境，建立起测试目标、测试内容和测试情境三者之间的有意义联系，连贯一致、环环相扣，为今后我国教师专业发展测评工具的开发提供了一定启示和借鉴。参考文献：1smith，s.exploring the relationship betw

14、een teacher content knowledge andstudent learningr.paper presented at the annual meeting of the national association forresearch in science teaching，garden grove，ca，2009：1-5.2shulman，l. knowledge and teaching：foundations of the new reformj. harvard educational review，1987，57（1）：1-23.3mak，y.，yip，y.，c

15、hung，m. alternative conceptions in biology-related topics of integrated science teachers and implications for teacher educationj. journal of science education and technology，1999，8（2）：161-170.4shulman，l.s. ways of seeing，ways of knowing：ways of teaching，ways of learning about teachingj.journal of cu

16、rriculum studies，1991，23（5）：393-395.5bransford，j.d.，brown，a.l，cocking，r.r. how people learn：brain，mind，experience，and schoolm. washington：national academy press，1999：8-21.6ausubel，d.p. educational psychology：a cognitive viewm.new york：holt，rinehart & winton，1968：1-9.7national research council.ho

17、w students learn：science in the classroomm. washington：national academies press，2005：397-415.8american association for the advancement of science. benchmarks for science literacym. new york：oxford university press，1994.9evans robert，et al.the role of science teachers beliefs in international classrooms：from teacher actions to student learning. rotterdamm.the netherlands：sense publishers，2014：81-102.10张颖之，刘恩山.核心概念在理科教学中的地位和作用j.教育学报，2010，6（1）：57-61.11chen，k.l.，liu，s.y.，chen，p.h.