社会情绪学习筛选器技术手册

Mosaic™byACT®社会情绪学习筛选器技术手册ii 2 2 3 4 5 CI CI®Mosaic™byACT社会情绪学习筛选器技术手册iii®表列表Table2.1.评估技能，定义和与五大和CASEL能力的一致性。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。8 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。初中筛查器与学校相关结果测量的相关性.16表3.10.学段差 17表3.11.性别差异的方差分析结果........................................18 21表3.14.中学筛查器与BFI-10量表的相关性............. 23表3.15.中学筛查器与学校相关结果测量的相关性............................23表3.16.筛查器量表与BESSI-20技能和特质量表之间的相关性 27表3.19.性别差异的方差分析结果.................................. 28表3.20.种族/Ethnicity差异的方差分析结果..............................29 数字列表 5 CI CI®1Mosaic™by®1第一章导言各项技能的概述和各种题型的描述，以及评估得分方法和成绩报告方式的说明。此外，它还报告了每种评估版本的可靠性和有效性研究摘要。以下是主要要点和发现的总结，后续部分则提筛查器测量持续努力、与他人相处能力和保持冷静。初中和高中的筛查器除了测量持续努力、与他人相处能力和保持冷静外，还测量开放思维和社会连接。每个筛查器还评估两个•小学筛查器使用基于图像的李克特项目衡量社交情感技能，并使用基于文本的衡量学校氛围。中学和高中筛查器则使用强制选择项目衡量社交情感技能，并使用基于文本•学校会收到一份包含单个学生数据的花名册报告和一个学校汇总报告。每个社领域，学生会获得1（发展中）到4（掌握）的成绩。个人和汇总报告会标记出任何类别中得•筛选器规模在所有样本中均表现出可靠性和有效性。每种形式均发现了趋 CI CI®2Mosaic™by®2第2章筛选器概述OSAIC™由ACT提供。®社交情感学习评估提供了对学生技能和对学校氛围感知的全面评估，附带详尽的报告（参见ACT，2021），筛选器提供了每个领域学生技能的快线完成时间约为5-7分钟。此外，它还包括两个汇总级别的报告，社会情感技能是指对适应教育和工作场所环境以及成功表现至关重要的人际交往、自我调节和任务相关的行为（Casillas等，2015）。这些技能与重要的生活结果有关，如学业成就（例如， ,2008）。此外，研究表明，这些技能比以前认为的更具可塑性，既可以通过自然的时间变化s等，2017）来改变。元分析数据显示，学生可以通过基于学校的社交情感学习干预措施提高这素的研究，但我们为了简洁和清晰使用了ACT整体框架中适应的社会情感技能标签。表1提供了工作场所和各种有价值的结果方面的实用性；b)支持来自许多国家、文化和语言；c) CI CI®3Mosaic™byACT社会情绪学习筛选器技术手册®3。筛选员技能五大对齐CASEL对齐技能定义持续努力责任心•自我管理决策学生的行为如何表现出勤奋，努力、组织、自我控制，并遵守规则宜人•社会意识•关系技巧决策学生的行为如何表现出仁慈，友善、机智和积极互动和与他人合作维护情绪稳定性•自我意识•自我管理学生的行为如何证明相对平静、宁静和管理情绪的能力有效地保持开放开放性经验社会意识学生的行为如何演示开放-头脑和好奇心关于各种各样的想法，经验社会联系•自我意识•关系技巧学生的行为如何表现出乐观，社会上的自信情况和偏好用于社会互动除了测量社交情感技能外，所有版本的评估还测量两个学校环境维度：与学校人员的关系和学），。重要的是，这些维度也与社交情感技能有关，最近的一项研究发现，关系和安全与学生的动 CI CIMosaic™byACT®社会情绪学习筛选器技术手册42.4.1小学评估基础评估使用李克特量表测评三个社会情感技能（持续努力、与他人相处和保持冷静）以及两个学校氛围维度（与学校人员的关系和学校安全）。所有项目均通过在线评估进行，所有回答基于图像的利克特项目衡量社会情感技能。学生会看到一张图片和描述与每项社会情感技能相关行为的文字说明。学生使用4点量表来评估每张图片是否能准确描述他们自己，并且他们通常如何表现。图1.1包含了一个衡量社会情感技能的样本基于图像的利克特项目。衡量学校环境感2.4.2初中和高中评估中学生版本的Screener测查五项社会情感技能 CI CIMosaic™byACT®社会情绪学习筛选器技术手册5人员与学校安全）。社会情感技能通过强制选择项目进行衡量，学校气候感知通过李克特量表强制选择项目衡量的社会情感技能是基于文本的。学生会遇到三个陈述，每个陈述代表一种不同的社会情感技能。他们需要选择哪个陈述最符合自己，哪个最不符合自己，以及哪个介于两者之间。总共呈现了30个项目，分为10组三元选择题。图1.。衡量学校氛围感知的李克特项目也是基于文本的，学生根据自己的认同程度对每个陈述进行筛选器得分是基于常态化的，根据大量测试者的切点来确定。标准化分数源自手册中描述的每个高中1,077）。以下是基于评分水平所依据的标准样本中得出的相应分数情感技能和学校氛围领域可以收到以下四种之一的分数：•筛选器还包含一个针对发展中学生的指标。如果学生在社交情感技能或学校氛围的任何部分获得 CI CIMosaic™byACT®社会情绪学习筛选器技术手册6这些等级分数在名册报告和学校综合报告中有所体现。名册报告包括学生身份识别和人口统计信息、每项社交情感技能和学校氛围领域的等级分数，以及表示学生在社交情感技能或学校氛围感 CI CIMosaic™byACT®社会情绪学习筛选器技术手册7第三章可靠性和有效性证据3.1.1样品可靠性与有效性分析采用了两个样本进行。第一个样本来自美国各地小学的1,（简称小学样本1，ESSample1）。小学样本1的统计特征见表3.1。仅纳入了完成评估且标记为粗心作答（例如，所有注意力检查项均缺失或回答无变化）的学生参与分析。人口统计变量学生学生36830.5%42535.2%41334.2%61351.1%性别54345.3%55<0.1%<0.1%不愿回应393.2%美洲印第安人或阿拉斯加原住民594.9%亚洲23黑人或非裔美国人15.6%西班牙裔、拉丁裔或西班牙裔8.9%夏威夷原住民或其他太平洋岛民<0.1%54345.0%两个或多个种族786.5%不愿回应15.6%1,206— CI CIMosaic™byACT®社会情绪学习筛选器技术手册8人口统计变量学生学生2,06531.7%2,15933.1%2,29835.2%3,08447.3%性别3,09147.4%79不愿回答2684.1%美洲印第安人或阿拉斯加原住民2.7%亚洲2.3%黑人或非裔美国人90213.8%西班牙裔、拉丁裔或西班牙裔1,06416.3%夏威夷原住民或其他太平洋岛民320.5%2,27334.9%4737.3%两个或多个种族4156.4%不愿回应1,03815.9%6,522—3.1.2可靠性3.1.3有效性除了完成关于社会情感技能和学校氛围感知的评估项目外，ES样本1的参与者还完成了儿童五），五大人格因素的量表，并已验证适用于最低6岁儿童使用。参与者还完成了一个四项目标尺，测量他们对学校的态度。ACT创建了这个量表，通过将PISA中衡量学生数学态度的项目中的数学语言改为学校语言来实现（OECD，2012年）。学生还被要求报告其总体学业表现，通过回答。 CI CI®9Mosaic™by®9ES样本2的学生被要求报告他们在数学和ELA的成绩。由于全国范围内小学的评分标准不统一，学生被提供了四个包含多个标签的类别，并被要求选择一个最能描述他们获得的成绩标准的类表3.3展示了ES样本1中所有社会情感技能得分、BFQ-C量表、学校态度量表以及学校自我报告学业表现的整体相关矩阵。结果显示了收敛效度的证据。每项社会情感技能量表与相应的五大因素维度的相关性最高，平均相关系数为0.51。尽管各量表之间存在中等程度的相关性，但也存在研究结果也证明了准则相关有效性。如预期的那样，所有社交情感技能与学校校氛围感知呈正相关系数=0.21）。此外，每一种社交情感技能都与处的能力。GPA与学校环境量表之间的正相关也复制了先前研究中关于学术表现与学校环境之1123456789————————————————————————————————————————— CI CI®10Mosaic™by®10发展中指标的标准有效性证据在筛选器中，学生如果在至少一项社会情感技能或接受社交情感技能发展评分的学生的学术表现评级显著低于没有发展评 在ES样本2中对发展指标的有效性进行了进一步评估。样本中的学生中有37%获得了社交情感A结果和效应大小。Tukey后验分析表明，三年级学生在所有量表上的得分显著高于五年级学生 CI CIMosaic™byACT®社会情绪学习筛选器技术手册F(2,6,521)2pMSDMSDMSD单因素方差分析模型被拟合以比较学生自报性别之间的原始量表得分。所有总体模型均达到了如描述性统计和效应大小所示，所有效应大小均从小型到中型不等。Tukey性在持续努力、与他人相处以及与学校人员的关系方面得分高于所有其他组（男性、女性和选择不回应的学生得分显著高于其他类别学生的得分（所有得分均为（中位数,IF(3,6,518)2pMSDMSDMSDMSD CI CI®Mosaic™byACT社会情绪学习筛选器技术手册®按种族/族裔划分的分组差异 CI CIMosaic™byACT®社会情绪学习筛选器技术手册太平洋pMSDMSDMSDMSDMSDMSDMSDMSDMSD®14Mosaic™by®143.2.1样品初中（MS）样本1包括来自6至8年级共1人口统计变量学生学生4,93728.7%6,37437.1%5,89134.2%不愿回答4022.3%8,35647.5%性别8,31747.2%另一种性别325不愿回答6053.4%美洲印第安人或阿拉斯加原住民7692.69%亚洲1,3422.28%黑人或非裔美国人1,49113.80%西班牙裔、拉丁裔或西班牙裔2,71016.31%夏威夷原住民或其他太平洋岛民600.49%7,90534.85%5587.25%两个或多个种族1,6846.36%不愿回应1,08415.92%17,603—3.2.2可靠性数是从排名顺序的响应格式中得出的，因此可靠性系数通常低于利克特项目得出的可靠性系数= CI CI®15Mosaic™by®153.2.3有效性除了完成评估社会情绪技能和学校气候感知的项目外，MS样本1的参与于PISA改编的创造力自我效能问卷（OECD,2022修改后的简2003）；以及由七名博士级别研究人员开发的三个关于批判性思维的问题。学生还需要报们的平均学分绩点（GPA）以及参与的课相关性分析结果表明，筛选器量表与其他相同构建的衡量标准之间的关系提供了趋同效度的证据。每项社会情感技能量表与相应的大五人格因素的相关性最高，平均相关系数为尽管各量表之间中度相关，但也存在差异效度的证据，非目标构建的相关性平均为0.22。表3123456789————————————————————————-.07—————————————————————这些量表也证明了效标关联有效性。持续努力量表与学生自报的GP CI CI®16Mosaic™by®16-.29-.32-.01-.16-.11-.35*-.40*-.08-.17-.11-.18发展中指标的预测有效性证据果和效应大小。如描述性统计和效应大小所示，所有差异在程度上都很小。Tukey事后 CI CI®17Mosaic™by®17F(2,17,199)pMSDMSDMSD ,但保持开放心态(p通过描述性统计和y后续分析表明，女性在维持冷静与社交联系方面的得分显著高于男性、认同其他性别身份的学他人相处方面得分显著高于女生、性别身份为其他的学生以及选择不回应的学生（所有p显著），不回应的学生在所有三个维度上的得分显著低于男性和女性学生（所有ps<.05). CI CI®18Mosaic™by®18F(3,17,599)pMSDMSDMSDMSD按种族/族裔划分的分组差异班牙裔/拉丁美洲学生以及报告自己属于其他、两种及以上。此外，被认定为两个或多个种族的学生的得分显著高于美国印第安人/阿拉斯加土著学生() CI CI®Mosaic™byACT社会情绪学习筛选器技术手册®). CI CIMosaic™byACT®社会情绪学习筛选器技术手册20Scale美国阿拉斯加亚洲黑色/美国夏威夷语/太平洋两个或种族不喜欢F(8,17,594)pMSDMSDMSDMSDMSDMSDMSDMSDMSD持续2.210.352.320.332.230.372.260.352.180.352.310.352.240.362.280.362.200.3627.690.01<.012.420.402.550.332.330.392.450.362.310.342.530.342.470.382.450.372.460.3762.870.03<.01维护2.070.442.200.452.060.442.090.430.452.190.452.130.442.140.452.100.4429.720.01<.01保持一个开放的心态2.110.362.180.392.110.372.130.372.020.372.110.372.150.382.150.382.120.376.83<0.01<.01连接2.100.432.150.422.150.422.090.422.050.372.190.442.160.432.140.442.090.4424.270.01<.01关系与学校人员3.890.974.270.833.930.934.000.884.060.884.230.884.090.893.940.964.010.9650.120.02<.01安全4.420.955.010.714.130.944.450.834.390.894.580.834.590.874.370.934.560.93108.230.05<.01®21Mosaic™by®213.3.1样品包括771名高中生，他们参与了使用Screener进行的研究研究。高中样本3包括810名高中生，人口统计变量学生学生7,00538.2%4,82926.3%3,11217.0%3,18917.4%不愿回答8,39945.4%性别性别另一种性别9,27825550.2%不愿回答不愿回答4012.2%美洲印第安人或阿拉斯加6703.6%亚洲5012.7%黑人或非裔美国人1,7039.2%西班牙裔，拉丁裔/a或西班牙起源夏威夷原住民或其他太平洋岛民3,3416718.1%0.4%9,99754.0%209两个或多个种族1,4217.7%不愿回应4082.2%18,502—3.3.2可靠性感技能的得分是从排序反应格式中得出的，因此可靠性系数通常低于利克特项目（例如，与学 CI CI®22Mosaic™byACT社会情绪学习筛选器技术手册®22 3.3.3有效性除了完成评估社会情绪技能和社会氛围感知的项目外，HS样本1的参与者还完成了其他几项测量开发的与批判性思维相关的三项内容。此外，学生们也被要求报告他们的平均成绩点数（GPA）在HS样本2中，学生接受了筛查器的社会情感技能部分测试以及包含20个项目简型的《行为、情感和社会技能量表》第二版（BESSI-20；Soto等，2022）。BESSI-20量表包含了社会情感技能的特质测量（即学生在多大程度上表现出相关技能行为）和社会情感技能的能力测最后，HS样本3采用了筛检工具的社会情感技能部分以及由一群拥有博士学位的心理学家开发的相关性分析结果表明，在HS样本1中，筛选器量表与其他同一构建的度量之间存在一致效度的证据。每项社会情感技能量表与相应的五大人格因素量表的相关性最高，平均相关系数为0.51。尽管各量表总体上具有中等程度的相关性，但也存在区分效度的证据，跨构建的相关性平均 CI CIMosaic™byACT®社会情绪学习筛选器技术手册23123456789————————————————————————-.04—————————————————————Thescalesalso展现了与标准相关的效度证据。持续努力量表与学生自我报告的GP-.24-.29-.10-.06-.32*-.37*-.14-.11-.13-.17 CI CI®24Mosaic™by®24表3.16显示了所有BESSI-20量表和HS样本2筛选器量表之间的相关性。筛选器量表与其对应的BESSI-20量表在技能测量方面的平均相关性为0.49，在特质测量方面的平均相关性为0.47，这表明存在一致效度的证据。相反，非对角线相关性的平均值分别为筛选器量表与BESSI-20技能测量之间的0.17以及筛选器量表与BESSI-20特质测量之间的0.16，这表明存在区分效度的证据。总体而言，筛选器量表与BESSI-20量表之间的关系提供了关于一致效度和区分效度的强有力证-.04-.10-.03-.06在HS样本3中，还进行了相关性分析以评估构念效度和区分效度（见表3.17）。每个筛查器量表与其BFI-2-S对应量表的相关性最高，平均相关系数为0.53。提供区分效度证据的离对角线绝对值相关系数平均值为0.17。还对参与者施加了各种单项目标指标，以评估测验效标效度。这 CI CI®25Mosaic™by®25-.06-.14GPA-.08-.08-.03-.16-.03-.01-.15-.08-.01-.27*-.14-.10在在-.07*-.12*-.02*-.02*-.11*-.00-.12-.28*-.28*-.06-.19-.04-.26*-.03-.09-.18-.03-.28*-.04-.01-.20-.35*-.05-.10 CI CI®26Mosaic™byACT社会情绪学习筛选器技术手册®26发展中指标的预测有效性证据在1,007名学生中，有516名学生的社会情感技能达到估HS样本4。为了评估子群体差异，使用单因素一元方差分析模型被用于比较不同年级学生的原始量表分数。保持开放思维、与学校人员的关得分显著高于其他所有年级的学生，而十一年级学生在学校安全方面的得分显著高于十年级学 CI CI®27Mosaic™by®