我国高校英语专业本科毕业论文评测的效度检验研究

我国高校英语专业

本科毕业论文评测的

效度检验研究

鲁东大学外国语学院

修旭东

精选ppt该研究的主要过程分为三个阶段：

对语言测试与评价的效度检验框架进行综述，提供学术性写作测试的效度检验框架的详细参数；（第一部分：文献综述）根据效度检验框架开发和/或预试经验性的、全面的、操作性强的检验英语写作测试效度的工具；（第二部分：预示研究）把开发和预试后的工具运用到检验毕业论文评测的效度中去，为其在多大程度上有效提供证据。（第三部分：主体研究）精选ppt第一部分文献综述（第一、二章）精选ppt环境效度背景：任务要求：任务*目的*语言的（输入和输出）*回答形式--渠道*公开的标准--话语方式*加权--文章长度*项目顺序--作者、读者关系*时间限制--信息性质背景：测试的实施*硬件条件--内容知识--词汇范围*实施一致性--结构范围*安全性--功能范围精选ppt认知效度

写作内在过程写作实施过程监控写作支持源*确定目标※语言知识*主题/体裁调整*产生思想*语法的*语篇的*功能的*组织思想*表达*社会语言学的*检查

※内容知识*内在的*外在的精选ppt评分效度评分

标准/评分尺度

评分步骤※评分员培训※评分※统一标准※调整※评分条件※统计分析

评分员

定级和公布回答精选ppt试后效度分数解释※差异影响※对课堂的反拨※对社会的影响效标关联效度分数价值※同一测试的不同版本比较※同一测试在不同场合实施

的比较※与其他测试或测量比较※与将来成绩比较图2.14检验学术写作测试效度的社会认知模型

(编自

Weir2005:47)精选ppt研究问题

我国高校英语专业本科毕业论文在多大程度上是对学生英语写作能力的有效测试？为了回答这个总问题，需要研究下面两个分问题：应开发和/或预试哪些工具和程序来检验我国高校英语专业毕业论文的效度？有什么证据说明毕业论文是对我国英语专业学生英语语言能力的有效测试？

精选ppt第二部分：预试研究（第3章）预试研究回答第一个研究问题：应开发和/或预试哪些工具和程序来检验我国高校英语专业毕业论文的效度精选ppt第3章开发和预试将效度框架应用于毕业论文中的工具和程序

3.1预试研究一：开发和预试调查受试者特征的工具和程序预试研究一的目的是：建立抽取参加者样本的原则；根据第2章2.1找出受试者哪些特征（作为变量）影响其成绩；预试调查学生的基本人口统计数据和心理特点的工具和程序。数据来源：学生和他们的测试分数工具：问卷A1和问卷A2（见下文3.1.3和附录3.2-3.3）。精选ppt3.2预试研究二：开发和预试检验英语专业八级写作测试和毕业论文认知效度工具和程序

预试研究二的目的是：1）建立认知效度证据的变量；2）试验调查这方面证据的工具和程序。数据来源：学生和他们的测试分数工具：有声思维（对TEM8E中写作过程的有声思维）；问卷B1（关于TEM8E的写作过程），问卷B2（关于毕业论文的写作过程）；FG（小组访谈B，关于TEM8作文和毕业论文写作过程的异同）；日记B（关于毕业论文的写作过程）。精选ppt3.3预试研究三：开发和预试检验毕业论文环境效度的工具和程序

预试研究三的目的是：1）建立环境效度证据的变量；2）预试调查这方面证据的工具和程序。数据来源：学生、测试分数、论文评分员、英语专业测试中心的人员和罗汉普顿大学（RoehamptonUniversity）测试、评估和课程研究中心（CRTEC）的语言测试专家。工具：

问卷QC1,问卷QC2;访谈C1,和访谈C2(见下面

3.3.3和附录3.8-3.13).精选ppt3.4预试研究四：开发和预试毕业论文评分效度的工具和程序

预试研究四的目的是：1）建立评分效度证据的变量；2）预试调查这方面证据的工具和程序。数据来源：CRTEC的专家、教师/评分员。工具：问卷D（见下文3.4.3和附录3.14-3.15）。精选ppt3.5预试研究五：开发和预试检验毕业论文试后效度的工具和程序

预试研究五的目的是：1）确立试后效度证据的变量；2）预试调查试后效度证据的工具和程序数据来源：学生、测试分数、教师/评分员、CRTEC的专家。工具：问卷E1a、

E1b、QE2a、QE2b（见下文3.5.3和附录3.16-3.19）。精选ppt3.6预试研究六：开发和预试检验毕业论文的效标关联效度的工具和程序

预试研究六的目的是：1）建立效标关联效度证据的变量；2）预试考察这方面证据的工具和程序。数据来源：英语专业八级测试写作项目和毕业论文的成绩。工具：英语专业八级测试和毕业论文写作。精选ppt第三部分：主体研究（第4-7章）

第4章：受试者特征的调查结果和讨论4.1抽取样本4.2对问卷A1（QA1）结果的讨论4.2.1.i对学习者背景变量的定量分析4.2.1.ii对学习者背景变量的定性分析精选ppt4.2.2讨论动机

4.2.2.i动机的定量分析多元回归分析揭示了动机对写作成绩有或多或少的预测作用，能够解释写作成绩0.7%的方差，但这种预测作用不显著（p=.775>.05）。方差分析显示：按照他们对动机的回答而划分的不同组别学生的写作平均分之间有一定差异但不显著（p=.908>.05）。精选ppt4.2.2.ii对动机的定性分析

反馈中有许多评论，它们可以被简要地总结为：尽管他们的分数可能显著不同，但是几乎所有的回答者（除了那些做出序号为(13)、

(15)、(16)的评论的回答者以外）都有学习英语的较强动机。这些评论还揭示学生们有各种不同的动机，评论（14）和（15）反映出的结果性动机；评论（2）、（6）、（8）、（12）所反映的综合性动机；（1）、（16）、（18）、（23）所反映的工具性动机；精选ppt4.2.3语言学习环境中定位的讨论

4.2.3.ii对语言学习环境中定位的定量分析总结上述第三部分对定位的分析，学习第二语言的潜在原因（定位）在p=.026<.05水平上对八级写作分数有显著性预测作用。预测作用可以解释作文分数4.2%的方差。选择了不同选项的各组学生在学习英语学能的自我认识或自信的项目01、02、03，和英语学习定位的项目07上都有显著不同的平均分。精选ppt4.2.3.iii语言学习环境中定位的定性分析

尽管有些评论好像反映了英语教学中的一些问题并提供了一些学习英语的重要、积极的观点（尤其是关于写作测试和学习环境的），评论中的许多都与上述统计分析一致，即定位对八级写作分数可以有显著性影响尽管参加者说不准这种影响是否和/或怎样显著。精选ppt4.2.4学习策略的讨论

4.2.4.i英语学习策略定量分析4.2.4.ii英语学习策略定性分析精选ppt4.2.5学习方法的讨论

4.2.5.i对学习方法定量分析4.2.5.ii对学习方法定性分析精选ppt

4.3对问卷A2（QA2）结果的讨论

4.3.1对学术写作学习策略的讨论

4.3.1对学术写作应用策略的讨论精选ppt4.4本章总结关于学习者背景，回归分析表明许多学习者背景变量能预测写作成绩但不显著。方差分析揭示了不同组别之间在写作成绩上的一些显著性差异。如，在性别差异、父母受教育差异方面的差异和一个总体趋势：即学生在进入大学之前学习和/或练习学术写作越多或者在大学或学院额外练习学术写作越多得分就高些。精选ppt学习者背景可以预测写作成绩但不一定很显著。这一发现得到了定性数据的支持，即‘个人学习习惯’可能是比背景变量更重要的影响因素。在对写作分数方差的解释上，大学四年的‘个人学习习惯’可能超过一些由学习者背景变量引起的影响。这些分析说明有必要进一步研究‘个人学习习惯’变量和它与策略、方法、动机、智力、学能的关系，后两者超出了本研究的范围。精选ppt本章的分析说明，总体上，动机可能影响八级写作分数（解释0.7%的方差）但不显著（p=.775>.05）。方差分析揭示了不同种类动机所产生的影响的一些证据。多数学生认为整合性和工具性动机的许多方面有影响但在统计上没有显著性。像预试研究的反馈所言，可能是因为几乎所有的学生都有很强的动机。精选ppt定位对成绩的影响没有统计上的显著性，对学能的自我认识或学习英语的自信方面的反馈说明参加者越感到自己能学好或喜欢用英语写作，他们的分数越高。这里的统计分析也得到了定性数据的支持。在英语学习策略方面，回归分析揭示策略总体上对写作分数的预测作用不显著，但比动机（0.7%）和定位（4.2%）的预测作用强。方差分析揭示好的二语写作者比差的二语写作者更常使用某些策略。精选ppt在应用策略方面，回归分析表明具体的学术写作中的应用策略总体上不能显著预测写作分数，尽管它所解释的方差比学术写作的学习策略、英语学习策略和其它受试者特征所解析的要高很多。这里的发现是许多好的写作者是在拟定他们作文的提纲之前或同时（而不是之后）思考他们多数观点的。在写完作文后检查用词的贴切性也对提高分数有利。精选ppt第五章

认知效度证据的调查结果和讨论

5.2对问卷B1（QB1）结果的讨论对问卷B1因子分析结果的分析对问卷B1的回归分析和方差分析5.2.3对来自问卷B1的关于学术写作过程反馈的简要定性分析精选ppt5.2.4对问卷B1和问卷A2的结构方程模型分析结果的讨论5.3对有声思维实验结果的讨论5.4对问卷B2（QB2）结果的讨论5.5对小组访谈（FocusGroup）结果的讨论5.6对日记B的反馈的讨论精选ppt5.7本章总结

对问卷B1的因子分析（见上文5.2.1）表明，整体上，第二章假设和探究的写作的六个子过程（确定目标、调整主题和体裁、产生思想、组织思想、表达、检查）可以大体上看作是合理的（具有互动、关联、循环、多层面的特征）、反映了学术写作的能力，尽管它可能并不是百分之百地确切或准确，因为我们也面临这样一个事实：精选ppt如第三章3.2.3.iv所预示，小组访谈用来调查八级作文和毕业论文写作过程的相似点和差异性（见上文5.5）。访谈显示：1）尽管八级作文和毕业论文的写作过程或子过程相似，学生们写作两者时在每个子过程中的所想所做却大不相同。比如，在确定目标子过程做的‘对题目的仔细思考’和‘拟定提纲’过程，八级作文的提纲要简单得多；精选ppt第六章：对与环境效度证据有关结果的讨论

6.1参与者6.2对问卷C2a(QC2a)的结果的讨论6.3对问卷C2b(QC2b)结果的讨论6.4对访谈C2的结果的讨论精选ppt6.5本章小结

尽管毕业论文的环境效度证据在一定程度上令人满意，但为了提高毕业论文的环境效度，我们强烈建议要努力（在任务背景方面）提供详细清楚的指令和标准化的评分标准，（在硬件条件方面）提供足够的教室或电脑，或其他设施，（在施测一致性方面）为残疾学生提供恰当的帮助，并（在施测一致性方面）为学生分配他们熟悉的合适的指导教师。采取措施来阻止作弊或剽窃。精选ppt第七章对与评分效度、试后效度和效标关联效度证据有关的结果的讨论

7.1评分效度证据7.1.1对问卷D2(QD2)结果的讨论精选ppt7.1.2评分效度证据讨论的小结

从对毕业论文的评分效度证据看，尽管有些回答者（在某些方面个多于半数回答者）认为评分效度可以接受，然而要提高毕业论文的评分效度几乎需要在评分效度的每一个方面都要付出很大的努力，包括使评分标准更全面、清晰和简洁、在所有的评分程序中严格培训导师使他们的评判标准化、报道相关统计分析（如至少是全面的描述性统计数据）、精选ppt7.2试后效度证据

7.2.2对问卷E2a(QE2a)结果的讨论7.2.3对问卷E2b(QE2b)结果的讨论精选ppt7.2.4试后效度证据讨论小结

总结上文对考察毕业论文试后效度证据参数的问卷E2a和问卷E2b的定量和定性分析，结论如下：上文7.2.2中（依据附录7.5a、b）对问卷E2a的分析说明毕业论文的试后效度在一定程度上还可以被接受，但同时也建议应提高毕业论文和写作学习效率之间的关系、应使学生不仅学习毕业论文写作而且还应学习其他体裁的文章的写作、改善毕业论文和教学内容及教学方法之间的关系、加强教学内容和现实生活之间的联系。精选ppt7.3效标关联效度证据

7.3.1对两项测试的效标关联效度结果的讨论7.3.2效标关联效度证据讨论的小结低相关系数和低方差解释率可能还说明毕业论文的评测效度的各个方面需要提高，尤其是毕业论文的环境效度、评分效度和试后效度（见第6章末尾对环境效度、第7章7.1节对评分效度和7.2节对试后效度的总结详述）。总体上说，这些完善毕业论文的环境效度、评分效度和试后效度主要在于提供更细致清楚的指令精选ppt第8章结论

8.1研究问题回顾第2章提出了本研究的总问题：毕业论文在多大程度上有效测试了我国英语专业学生的英语写作能力？该总问题又包含两个研究子问题：精选ppt8.1.1受试者特征

从问卷A1的第1小节调查中我们能得到一些有趣的关于受试者不同小组的特征对写作成绩影响的结论。可以看出其显著的性别影响和父母受教育程度差异的影响。还可以推断出一个总体趋势：学生在进入大学之前进行越多的学习和/或练习或者他们在大学期间进行的课外学术写作练习越多，他们的学术写作分数越高。精选ppt这些结论总体上与第2章探讨的前人研究(Bachman&Palmer1996;Cohen1994;Grabe&Kaplan1996;Green2003;Harley&Hart1997;Hughes-Wilhelm1999;Jordan1997;Skehan1989;Spolsky1989;Watanabe1997)一致，即学习者背景在不同程度上影响语言学习的获得。此外，大学里接近四年的刻苦学习或个人学习习惯似乎能在一定程度上抵消学生早期接触英语写作的影响。精选ppt8.1.2认知效度

关于认知效度，分析显示学术性写作所使用的子过程可以是：确定目标、调整主题和体裁、产生思想、组织思想、表达、检查，以上过程都反映了学术写作能力。尽管不是所有变量都能显著预测作文分数，但（回归分析和方差分析）数据显示调整主题和体裁、组织思想、表达和检查子过程比其他子过程更能影响成绩，并显示毕业论文评测效度只能说在某种程度上尚可接受，或毕业论文测评是在某些方面、某种程度上反映了写作过程或能力的测试。精选ppt8.1.3环境效度

通过对问卷C2a和C2b获得的数据分析后可以得出：毕业论文评测的环境效度在一定程度上尚可接受。但是，我们还要提供详细清楚的指令和标准化的评分标准、足够的教室或电脑、帮助残疾学生的适当措施、学生们熟悉的合适的导师，还需要培训老师或导师、采取措施阻止作弊或剽窃现象以提高的环境效度。精选ppt对访谈C2的分析说明毕业论文在提高环境效度方面还需要：1）发给学生和导师们一本手册或宣传册来提供全面和更清楚的说明；2）为学生提供更多的物质资源和其他设施（如电脑）；3）采取措施阻止剽窃或作弊。此外，导师的安排应合理，由同一所大学的不同导师或不同的大学的不同评分标准导致的差异应尽力消除。精选ppt8.1.4评分效度

尽管对问卷D2的有些回答者（甚至对某些参数的多数回答者）认为毕业论文的评分效度尚可接受，但我们亟需使评分标准更全面、更清楚、更容易操作，并为所有的学生和导师提供写作规范手册；还需要更严格地对评分员进行评分步骤的训练来提高不同评分员内部一致性信度和同一评分员内部一致性信度，并报道关于这项测试效度的相关统计分数数据（至少报道描述性统计数据）。精选ppt8.1.5试后效度

对问卷E2a和E2b的定量和定性分析说明毕业论文的试后效度证据不如英八级写作测试的令人满意。我们尤其需要鼓励学生们在毕业论文写作课上全面而有效地学习学术写作技巧（如，通过对比许多其他体裁和主题的文章进行），毕业论文中与格式和内容相关的组织思想和表达思想