合格评估视域下数据分析及核查的探究

摘要：随着教育信息化的不断发展，信息采集及数据分析在高校评估领域中的作用不断提高，尤其是基于高等教育质量监测国家数据平台产生的教学状态数据分析报告对于新建本科院校教学合格评估有着重要的作用。文章从教学状态数据分析报告产生的原因出发，分析了其对合格评估的支持作用和不足之处，并针对教学状态数据分析报告中存在的薄弱环节，进一步说明了数据核查的必要性。关键词：教育信息化；合格评估；教学状态数据分析报告；数据分析；数据核查教育信息化是近年来国家教育改革的一个重大变革，是国家信息化的重要组成部分，从2014年首次将大数据写入政府工作报告中，到2021年11月工业和信息化部颁布《“十四五”大数据产业发展规划》，都明确了数据要素对高等教育的支撑作用。高等教育质量监测国家数据平台（以下简称“国家数据平台”）是国家教育督导信息化建设的重要组成部分，其承载了全国1270多所高校的教育教学基础数据，既是开展高等教育质量常态监测的基础平台，也是高校开展自我评估，教育行政部门组织实施外部评估认证的重要支撑和保障。本科教学工作合格评估是教育部对新建本科院校的首次本科教学工作水平评估，其对于新建本科院校的重要性不言而喻。为保证评估质量，专家在进校前须审阅由被评院校教学状态数据库按合格评估指标体系自动生成的《普通高等学校本科教学工作合格评估教学基本状态数据分析报告》（以下简称《状态数据分析报告》），对其中的疑问登录教学状态数据库查看原始数据，再结合被评院校的自评报告等质性材料，初步把握被评院校的整体情况，确定考察重点，制定考察活动计划[1]。因此，状态数据分析报告为合格评估的科学性、客观性和公正性提供了重要支撑。一、状态数据分析报告的支持作用教育公平是我国一直倡导的理念，如何体现教育的公平，让学生享受公平的教育资源，是我们坚持不懈的追求。近年来，国家一直在出台各类指标体系，旨在为高校划出一个办学条件的底线，保证学生享有最基本的教育资源，因而合格评估就必须有各种可量化的底线指标，用以保障新办本科院校具备最基本的办学条件，而可量化的基础便是数据。国家数据平台就是以数据为基础，以现代技术手段为支撑的网络化平台。以数据为基础，就是突出数据在平台中的地位和作用，通过揭示高等教育各数据之间的结构特征和关系，直观呈现高等教育状态[2]。基于其教学状态数据库系统产生的状态数据分析报告，便是用事实和数据说话的最好证明。状态数据分析报告对合格评估指标体系的各项数据支撑度可达75%，因此评估专家在进校前可以通过状态数据分析报告提前了解被评院校的机构设置、人员情况、基本办学条件等数据信息，突出被评院校的问题，以数据为支撑，可以有效降低专家评估的主观随意性，并化解评估中的道德风险[3]。（一）师资队伍在教师队伍模块的数据分析中，状态数据分析报告的分析重点及定量指标主要集中在师资数量、隊伍结构、授课情况、专业带头人情况及培训进修交流情况等几个方面。首先，生师比一直是合格评估的红线问题，合格评估要求生师比不超过22∶1[4]，但受合格评估的末尾淘汰制限制，不少高校将18∶1作为努力目标。生师比是学校的核心数据之一，其变化趋势可通过学校概要数据中相关分析项来加以判断。其次，通过比对外聘教师、专任教师、主讲本科课程教师总数与师资总数4个数据量的大小，可初步断定出该校师资队伍结构是否合理。当主讲本科课程教师数小于自有专任教师数时，则说明学校专任教师的真实性存疑，专家后续考察重点可能会集中在自有专任教师的身份核实、工作量认定考核以及对新进教师的培养方式上等。再次，通过考察教师队伍职称结构、学院生师比、青年教师占比及各专业授课教师情况的数据分析，可更加印证专家的初步判断。当一个专业自有授课教师总数远远小于本学院授课教师总数时，则说明该专业存在自有专任教师不足的问题，应进一步考察其专业生师比、师资队伍建设等。最后，通过对专业带头人职称情况以及培训次数尤其是青年教师参与培训的次数进行数据分析，可发现被评院校专业建设质量和新进教师的培养问题，如当青年教师参与培训的总人次占培训进修总人次比例过低时，则说明在青年教师培养方面，被评院校并不理想。此外，状态数据分析报告还提供了关于教学名师、教学团队、教学成果奖的相关数据，可大致了解该被评院校的教育教学水平，后续专家进校时，会调取相关材料用以佐证。（二）教学条件与利用在教学条件模块的数据分析中，状态数据分析报告的分析重点及定量指标主要集中于教学行政用房面积、教学科研仪器设备、图书资料、实验场所使用情况、经费投入情况等几个方面。首先，在教学基本设施情况表格中展示学校大致的办学条件，专家可以很直观地判断学校是否有触及红线的指标，但需注意的是，该表格并没有生均占地面积的相关统计，需要单独计算。其次，从校内实验场所使用情况中，可以大致了解各专业的实验室建设及使用情况，初步判断该专业的实践教学情况，若与后续表格中实践教学学分占比或实验学时总数进行联合数据分析，则可更好地说明该专业的实践教学质量。即在专业实践教学学分占比很高或实验学时总数很高的情况下，其拥有实验实训场所总数过少，且所拥有的实验实训场所承担的实验课程门数过低时，则说明该专业在实践教学上可能存在着很大的问题，须进行重点考察。最后，在经费投入数据中，可直观地了解指标体系中的各项指标的达标情况。（三）专业与课程建设在专业与课程建设模块的数据分析中，状态数据分析报告的分析重点及定量指标主要集中在培养方案、全校课程开设情况及实践教学情况等几个方面。首先，在培养方案中，除了能直观地了解实践教学环节学分占比是否达到指标体系的要求外，还可以看出该专业各分项的学时和学分，对于学时学分比例异常的专业，专家入校时可能会重点考察其培养方案设置的合理性。其次，在全校课程开设情况上，可大致了解被评院校的课程开设门数是否丰富、大班上课情况是否严重以及精品课程和教改项目是否充足等几个方面的数据信息。最后，在实践教学上，将突出被评院校对实习经费的投入情况、教师指导毕业设计的学生数量、毕业设计在社会实践中完成占比、实验技术人员职称结构及院系分配、校内外实践实训基地使用情况等几个方面的问题。需要注意的是，对于特别绝对的数据，如毕业设计在社会实践中完成占比比例为100%的专业，专家入校时可能会抽取相关专业的论文进行查证；对于数据低于常值的，如某专业当年接纳学生总数远远低于往年该专业学生总数时，专家可能会考察该专业实践教学基地的设立和使用情况。此外，状态数据分析报告在质量监控方面的数据支持主要包括对学生评教次数、听课学时数的统计分析；在学风建设方面的数据支持主要包括学生参赛获奖情况、社团情况及四六级通过情况的统计分析；在指导与服务方面的数据支持主要包括辅导员、心理咨询工作人员、就业指导工作人员数量及结构的统计分析，需要注意的是，对辅导员人数的考察，不仅需要考察全校整体的生师比情况，还要注意各教学单位的生师比，确保其也不超过200∶1；在教学质量方面的数据支持主要包括体质测试率、报到率、录取率和就业率等的统计分析。通过对这些数据的分析，可以从各个方面来认证被评院校的教学质量。二、状态数据分析报告的不足状态数据分析报告对于合格评估的支持作用是十分明显的，它有助于被评院校呈现状态、暴露问题，以此可帮助高校寻找原因及解决问题，但是被评院校为保障国家数据平台数据填报达到理想状态，往往会使用市场采购的与国家数据平台功能类似的数据填报系统多次“试”填报，数据存在对标被“美化”的风险，数据真实性难以保证，增加了“数据泡沫”的风险[5]。尤其是涉及被评院校相关人、财、物的数据时，其合理性与真实性需要接受专家的进一步检验和认证，因此状态数据分析报告还存在许多薄弱环节。（一）师资队伍状态数据分析报告在师资认定上的不足主要表现在其对填报数据的真实性缺乏验证，表格之间的关联性有待加强。如会出现大量没有任课信息的教师被计算到专任教师和外聘教师队伍中的情况，尤其是对新建本科院校来说，会造成生师比偏低的假象。但若将专任教师认定与后续的课程部分数据进行关联校验，则可避免这一现象的产生。通过数据分析，可了解被评院校上课教师中各职称结构的总上课门次数及学时数，分析各职称的授课情况，尤其是教授为本科生授课的情况。此外，在实际填报过程中，部分高校采用多名教师共同授课的填报方式来增加某位教师的任课痕迹，但实际上该名教师的任课总学时数并不满足其作为专任教师的考核认定，而人为地扩大了专任教师的数量。因而，国家数据平台在2022年增加了多教师授课情况的数据采集项，旨在控制这种“蹭课”现象，通过新增项的数据采集，可以分析出任意一名教师授课的总门次数和学时数，若数量过少，其专任教师身份便是存疑的。这种将任课门次数与授课总学时联合作数据分析的方式，能大大提高填报数据的真实性，但遗憾的是，虽然国家数据平台在不断变化，这种分析方式却没有出现在状态数据分析报告中，需要数据核查人员自行计算。此外，在专业生师比上，状态数据分析报告仅提供了院系的生师比，没有专业生师比，无法直观地了解各专业的师资状况。（二）教学条件与利用状态数据分析报告在教学条件与利用上的不足主要体现在数据分析项上，尽管报告能反映出被评院校的基本条件，但近几年来随着国家数据平台的不断优化调整，数据采集面的不断拓宽，状态数据分析报告的数据分析点却没有变化。第一，在占地面积和建筑面积上，教学状态数据库一直有相关的数据采集点，但在报告中却没有相关的数据分析。占地面积作为合格评估指标体系中的一个量化指标，自有产权的面积一直是一个薄弱点，不少高校都会通过租赁等方式对学校占地面积和建筑面积进行补充，但租赁面积占比多少，其有效性和利用率如何，需要进一步分析认定，这也是专家入校考察的重点之一。第二，教學行政用房面积明细虽然在填报系统中已上报，但在报告中仅有总面积体现，并没有各分项面积的统计分析，不利于对教学行政用房利用进行直观考核。第三，在实验室利用上，仅统计专业使用实验室课程的门数，没有统计专业开设实验实践实训课程总门数，且很多专业都存在共同使用实验室的情况，不利于直观对比该专业的实验室利用率。第四，在经费投入上，仅展现经费总数，对于填报的各分项经费投入并没有直观显示，例如，近几年频繁调整的思政经费相关投入情况并未出现在报告中，这些数据的缺失，不利于专家直观地分析被评院校经费投入情况及其对各分项经费投入的重视程度。（三）专业与课程建设状态数据分析报告在专业与课程建设上的不足主要体现在数据采集点不够全面，报告虽能反映全校课程的开设情况，但在对高级职称上课情况的统计中，仅限于门次的统计，没有学时的统计，当被评院校以“蹭课”方式增加高级职称的任课痕迹时，单纯的门次数量统计并不能起到很好的支持作用。此外，在实践教学方面，实践教学基地仅统计了该专业当年接纳学生人次总数，并没有提供该专业的学生人数，缺乏直观的对比性。通过对以上几个状态数据分析报告薄弱点的阐述，可以看出，除去其本身的数据分析项不足和采集点不够全面外，被评院校所提供的基础数据真实性和合理性还需要通过调阅其他材料加以佐证，但评估专家进校时间有限，其关注点往往集中于某个重点，不可能涉及方方面面，因此对于大量的整体数据核查工作，还需要第三方介入，以保障数据的真实有效性。三、数据核查的必要性近年来，评估数据不属实的问题层出不穷，在2022年，国务院教育督导委员会办公室（以下简称“国督办”）就对2021年以前参评的5所高校合格评估整改工作复查不达标的情况进行了通报，通报显示这5所高校的关键办学指标在评估时合格，评估后滑坡的现象尤为明显，无论是在师资还是教学投入上，都出现了数据严重缩水的现象，而造成这种现象的主要原因在于学校提供的评估数据不属实。因此，国督办要求各省级教育行政部门对新建本科院校合格评估整改工作进行监督指导，建立常态监督机制，并从2021年始，要求被评院校提供15项相关支撑材料用于核查验证填报数据的真实性和有效性，并针对这些支撑材料逐年开始优化整合。此外，国督办还要求督导组协同专家组进校考察，调取学校大量有关人、财、物的相关基础性数据及原始凭证，加大对评估数据真实性的核查，由此可见，数据核查已成为合格评估过程中不可缺少的重要环节。通过数据核查，可以很大程度上提升数据的真实性和合理性，减少“数据泡沫”。一方面，在师资队伍方面，其支撑材料主要涉及教师的社保编号、资格证获取情况、工作量、社保缴纳记录、完税证明、银行工资流水等几个方面，通过数据校验，可以很大程度上提升师资数据的真实性。督导组进校后，还会调取人事、教务系统中的基础数据及相关原始材料等，进一步验证被评院校的有效师资。另一方面，在财务、资产等教学投入方面，针对状态数据分析报告中的薄弱环节，国督办要求被评院校提供教学日常运行支出明细、教学科研仪器设备清单、教学行政用房情况明细等材料，来证实学校教学投入的使用及支出。督导组进校后，还会调取财务、资产系统中基础数据及原始凭证。在财务上，通过查验教学日常运行支出明细，对存疑支出项，调取相关原始凭证来加以判断，核准其经费性质。在资产上，通过核查教学科研仪器设备价值、购置年