学生课堂行为分析系统解决方案2020

学生课堂行为分析系统解决方案实用文档第21页学生课堂行为分析系统解决方案

目录TOC\o"2-3"\h\z\t"标题1,1"第一章背景及需求 11.1应用背景 11.2业务现状 21.3优势分析 21.4总体目标 3第二章系统总体思路 42.1设计原则 42.2设计思路 5第三章系统总体设计 63.1总体架构 63.1.1系统拓扑 63.1.2系统组成 73.2系统功能 73.2.1学生课堂行为统计 73.2.2自动点名 73.2.3实时反馈 73.2.4学生课堂行为及考勤查询 83.2.5多样复用 83.3系统特点 83.3.1视频识别算法贴近实战 83.3.2人脸识别点名，降低代喊到现象 83.3.3单摄像机完成相关操作，系统部署方便，故障点少 8第四章系统建设 94.1建设概述 94.2教室端 94.2.1概述 94.2.2学生人脸抓拍机 104.3中心端 114.3.1概述 114.3.2课堂行为分析服务器 11第五章管理平台 145.1平台总体架构 145.1.1校园综合信息管理平台 145.1.2平台总体架构图 155.1.3平台架构特点 155.2平台功能 165.2.1学生课堂行为分析 165.2.2学生课堂专注度 175.2.3考勤结果查询 175.2.4考勤结果 185.2.5统计分析 185.3平台特色 195.3.1架构特点 195.3.2技术特点 19第六章成功案例 216.1杭州第十四中学项目 216.2浙江传媒学院项目 21背景及需求应用背景在当今信息化社会中随着信息技术的不断发展和升级，许多信息技术手段能力的提升和成熟使得其工业化应用得以普及，因此信息化应用方式也在不断升级，视频识别技术现实化应用正是这一发展的直接体现。传统的视频应用主要在于实时画面的录制，不具备自动识别能力，对于视频内容的判断还是基于人工处理；而随着近些年AI在实践领域的应用，基于各类深度学习算法的视频识别技术已经在视频监控领域得到了广泛的应用，计算机自动识物和各种行为判断的能力也不断加强，使得视频应用范畴和领域呈现出不断增长的趋势，视频计算机自动识别的无感知性、非强制性、生物特征不易复制性、并发性等特征具有其它相关技术手段无可比拟的优势。《国家教育事业发展“十三五”规划》为各学校校园信息化建设指明了方向，规划中明确指出“支持有条件的地方推行小班化教学，鼓励普通高中实行“选课制”、“走班制”，开设多样优质的选修课程”，随着浙江和上海等地高考改革的试点，走班制教学越来越普遍，该制度下的课堂教学秩序的管理问题则突出出来。不同于高等院校学生，普教中小学生（特别是小学生）还处于成长发育过程中，个人学习习惯和学习方法的养成还具有很大的可塑性，非传统固定班级的课堂管理则对任课教师提出了更高的要求。2016年教育部出台的《教育信息化“十三五”规划》第七项任务明确指出“深入推进管理信息化，从服务教育管理拓展为全面提升教育治理能力。强调通过实现教育基础数据的“伴随式收集”……，更加及时、准确地获取教育信息，更加便利地享受到教育服务，更加深入地参与教育治理过程，形成一个有效的教育治理体系”。由此可知，如何通过现代先进的信息技术手段实现教育教学过程一手数据的采集，确保后期数据处理和加工源头的事实依据性和科学性尤为重要。因此在教学过程管理中，利用实时视频数据作为管理和决策依据则在最大程度上保证决策数据源头的真实性和可靠性，将有效帮助教师和各级管理人员通过视频监控预警机制和大数据/AI分析技术实现教学管理的不断提升。业务现状当前在我国校园内学生的课堂管理都是由任课教师人为处理，由于教师在课堂上面对的学生人数多，因此在学生课堂行为的管理上无法做到面面俱到，特别是教师在进行板书演示过程中更不可能关注到学生的各类表现情况。一部分经验丰富或责任心强的教师可以通过自身能力做到对课堂整体秩序和教学成效的把控，但是要做到对每名学生个体的学习习惯培养就难以实现了。另一方面传统课堂考勤管理方面采用较多的模式为：口头点名答到、纸质签到等传统点名方式，学生代答到、代签到的现象时有发生。对于走班制课堂、大班教学课堂，任课教师难以认清每一个学生，很难杜绝此种情况发生。而且这些传统的点名手段会占用不少教学时间，影响正常的教学进度。也有些学校在一些课程上采取学生卡刷卡式签到，此方式同样也存在代签和耗时的缺陷。不少学校和教师重视学生日常课程考勤，学生考勤结果会与学生平时成绩直接挂钩。一般上课前往往只点名一次，临时有事，错过点名时间的学生往往会按照缺勤处理，这样的考勤模式对于处理异常（学生忘记答到或签名）情况不利，如果学生事后向老师申述，任课教师没有事实依据很难判断学生考勤实情，难以公正处理相应考勤事宜。优势分析结合实际情况来看，采用基于视频识别技术的学生课堂行为分析系统具有以下优势：以学生课堂行为统计/专注度统计数据为事实评判依据通过利用基于深度学习算法的前后端设备结合应用，系统自动捕获课堂上学生的各类行为数据。通过此类数据的不断积累，学校教师和管理人员能够根据统计数据分布情况发掘各个课程教学过程的优劣，优化并学校整体教学质量；同时也可以为学生个体提供精准的行为分析，通过家校互动来全面帮助个体学生养成良好的学习习惯并提高个人成绩。学生点名以人脸生物特征为基础，视像自动识别，难以造假学生点名功能运用最新的人脸识别技术，通过将导入的人脸图片和实时抓拍的学生人脸图片进行比对，自动分析出每一个学生的出勤情况，杜绝了学生代签的可能性。摄像头自动比对识别，无需人工参与，无课堂时间占用无论是学生课堂行为分析还是课堂点名功能都是基于系统深度学习算法的人体行为识别和人脸识别技术，在课程上课开始设备自动抓拍学生的课堂行为、轮循比对到课学生人脸，不占用课程上课时间，高效准确。学生人脸点名异常补录依据视像记录，准确无误当由于上课学生姿势不正确，未能抓拍到人脸等情况下，人脸点名功能支持基于实时录像调用的补录功能，保证补录数据的准确性和事实依据性，保证学生考勤补录的正确性和科学性。总体目标学生课堂行为分析系统基于深度学习模型的人体行为及人脸识别技术设计，其总体设计目标为：1）通过部署在教室的全局摄像机在上课期间对学生行为及专注度进行抓拍数据统计，作为后续学校教研和学生个体学习优化的重要管理决策基础；2）其次通过摄像机对人脸进行扫描抓拍，脸谱对人脸图片进行比对分析，并将学生出勤信息实时反馈给教师；系统将点名结果数据进行统计，方便学校各级人员查询和管理出勤数据，建立起一个完整准确的课堂人脸点名系统。系统总体思路设计原则本方案设计遵循技术先进、功能齐全、性能稳定、节约成本的原则，构建一个功能实用、使用方便、运行稳定的课堂人脸点名系统，并综合考虑施工、维护及操作因素。本系统设计方案具有科学性、合理性、可操作性。具体设计原则如下：先进性XXXX的人脸识别算法国内领先，监控视频的人脸识别算法全球领先，拥有人脸识别算法多项专利，专注于监控视频的人脸识别技术，软硬件深度结合。实用性系统的功能应符合实际需要，不能华而不实，如果片面追求系统的超前性，势必造成投资过大，离实际需要偏离太远。因此，系统的实用性是应遵循的第一原则。同时，系统的前端产品和系统软件均需具有良好的可学习性和可操作性，使具备电脑初级操作水平的管理人员，通过简单的培训就能掌握系统的操作要领，达到能完成值班任务的操作水平。经济性在保证系统性能优异的前提下，充分考虑系统的投资成本，通过优化设计，选择最合理实用的系统设备及售后服务。可靠性课堂人脸点名系统涉及课堂日常点名、出勤数据统计管理等工作，系统稳定对学生出勤数据的管理工作起到至关重要的作用。本系统所有产品的选择需要能在相对恶劣的环境中稳定可靠运行，具有强大的故障恢复功能，能确保数据的准确性、完整性和一致性，并具备迅速恢复的功能，同时需保障系统不间断运行。扩展性本系统设计中考虑到今后技术的发展和使用的需要，具有更新、扩充和升级的可能，并根据今后该系统的实际要求方便扩展系统功能。安全性系统充分考虑系统前端设备、传输链路和数据存储的安全性。设备具备防止人为破坏的设计；对传输链路数据进行加密处理，防止被非法入侵、窃取和篡改。开放性为满足系统所选用的技术和设备的协调运行能力，以及系统投资的长期效应和系统功能扩展的需要，系统设计必须坚持系统的开放性。系统的开放性已成为当今系统发展的一个方向。系统的开放性越强，系统集成商就越能够满足用户对系统的设计要求，更能体现出科学、方便、经济、实用的原则。设计思路本方案设计思路如下：1）部署在教室的全局摄像机在上课期间对学生进行行为和专注度抓拍统计、对学生进行人脸比对扫描抓拍；2）学生行为分析服务器对上传的图片与人脸底库的图片进行比对分析；3）老师通过平台查询班级及学生的行为统计、专注度和出勤情况；4）教师可在课余时间对未到人员进行二次确认，防止因学生长时间不抬头造成全局摄像机扫描不到的情况出现；5）此外，系统自动完成出勤数据的记录和统计，学校各级人员可查询、导出出勤数据，建立起一个完整准确的学生课堂行为分析系统。系统总体设计总体架构系统拓扑系统总体架构图安装示意图系统组成学生课堂行为分析系统包括教室端、中心端和平台端。教室端部署全局摄像机，上课期间对学生进行行为、专注度、学生人脸进行抓拍，并将抓拍到的图片上传；中心端部署学生课堂行为分析服务器与平台服务器，实现学生行为、专注度分析、人脸的比对分析；平台端实现业务应用，对学生课堂行为分析系统的数据进行管理，可实现人员信息导入、人员信息查询、学生/班级课堂行为数据统计对比/趋势、学生/班级课堂听课专注度统计、学生点名出勤数据查询和导出等功能。系统功能学生课堂行为统计系统以人体行为识别技术为基础，部署在教室的全局摄像机在上课期间对学生进行扫描抓拍，学生课堂行为分析服务器将扫描到的课堂数据进行行为、专注度分析，自动完成学生课堂行为数据分析、专注度分析。自动点名系统以人脸识别技术为基础，全局摄像机在上课期间对学生进行扫描抓拍，学生课堂行为分析服务器将扫描到的人脸图片与人脸底库中的图片进行比对分析，从而实现点名的自动化，不需人工参与即可完成学生点名，有效解决代答、代签以及点名占用课堂时间的问题。实时反馈教师可实时查看学生课堂行为统计数据、专注度和点名的结果，掌握班级/学生的学习/到勤情况；特别是通过考勤得知已到学生和未到学生的相关信息，针对未到的学生，教师可在课间进行确认，防止出现因长时间不抬头造成的漏点问题。学生课堂行为及考勤查询系统可自动记录和统计班级/学生的课堂行为/出勤数据，学校各级人员可在校园综合信息综合管理平台上对相应数据进行查询、导出到Excel。多样复用教室中全局摄像机记录下来的画面可作为监控系统复用，支持实时预览、查询特定时间段的录像，提高学校资产的利用率，实现校园多样化的智能管理。系统特点视频识别算法贴近实战XX后台人脸识别算法，有别于其他厂家，其更加贴近实战，研发方向专注于行为和人脸比对的高命中率。使得后续应用可以信任前述应用提供的各类数据，无需人为进行错误识别，自动化程度上、实用价值高。人脸识别点名，降低代喊到现象由系统通过人脸识别完成自动点名，无需教师人工喊道，杜绝代喊到现象，提高学生到课率。单摄像机完成相关操作，系统部署方便，故障点少系统组成简单，所有前端工作由全局摄像机完成，相比部分友商方案，设备数量少，故障点少，性价比更高。系统建设建设概述课堂人脸点名系统适用于各类标准、阶梯教室的常规课堂；分组讨论式课堂暂不支持。教室安装俯视图教室端概述教室部署的前端相机实现学生行为及人脸的抓拍，通过低噪芯片及巡航策略优化可以让球机几乎不产生声音，从而不影响正常上课，系统运行时保证教学活动的常态化。学生人脸抓拍机产品简介：学生人脸抓拍相机，集合定点看全景、动点看细节的优势，采用一体化设计，达到单产品既能看全又能看清的效果。支持智能人脸检测、抓拍功能，可对设定区域内的人进行跟踪，并采集抓拍人脸图片，其人脸最远检测距离可达40米。使用场景：教室学生人脸抓拍机全景图片抓拍图片中心端概述根据不同的应用需求，在项目选用不同的。当仅仅用以学生考勤，则选取课堂人脸比对服务器（iDS-ENS2016-M/E）；当用户需要对教学秩序进行统计分析、改善教学成效，则需选取课堂行为分析服务器（iDS-ENS2016-H/E）。无论是上述哪一种服务器，单台服务器均支持20间标准教室的接入。课堂行为分析服务器产品型号：iDS-ENS2016-M/E、iDS-ENS2016-H/E产品简介：课堂行为分析服务器在XX通用超脑NVR基础上经过行业优化而来，采用嵌入式设计，集成高性能GPU模块，内嵌深度学习算法模块，集IPC接入、存储、管理、控制智能分析于一体，针对校园环境下实现精准人脸、人体识别分析，提升学校对学生课堂秩序的管理效率，服务于物联网时代下的智慧校园AI应用。课堂行为分析服务器iDS-ENS2016-M/E：支持秒级提取硬盘中人脸图片文件，用户可快速浏览全部通道中的图片文件。支持人脸识别库管理,支持新建、删除、修改、查询、复制人脸库，可导入导出人脸名单，支持16个人脸库，库容100000张人脸图片。支持人脸比对报警及联动，可设置人脸相似度0-100，支持推送报警消息至客户端，客户端可实时展示人脸比对结果。支持人脸以图搜图，可从外部、人脸库、人脸检索结果导入人脸样本照片并设置相似度，检索出符合目标相似度的人脸图片，可查看背景图并回放关联录像并导出人脸图片及录像；支持按通道、时间检索人脸图片，支持将检索结果中人脸图片添加到人脸库。支持同时解码20路H.265编码、30fps、1920×1080格式的视频图像，或同时解码5路H.265编码、25fps、4096×2160或者3840×2160格式的视频图像，或同时解码4路H.264编码、20fps、4000×3000格式的视频图像。支持1路H.265编码、25fps、6912×2800格式的视频实时预览。支持自动跟踪：利用1+5分屏，可自动检测原始视频画面中的活动目标，并将相应视频抠取出来显示在5个小窗口中。支持手动跟踪：利用1+5分屏，在原视频画面中手动设置5个区域，可将该区域内目标抠取出来显示在5个小窗口中。支持最大接入带宽512Mbps、最大存储带宽512Mbps、最大转发带宽512Mbps；最大接入路数：128路。支持接入H.265、H.264、MPEG4、SVAC视频编码格式的IPC。支持HDMI1、HDMI2、VGA三屏显示输出视频图像（异源输出），可分别控制进行预览、回放、配置等操作。支持液晶触摸屏显示输出，并支持触控操作预览、查看系统信息以及配置参数。支持HDMI1、HDMI2同时输出4K图像。支持接入带有人脸侦测报警功能的IPC，当触发报警时，可联动录像、抓拍并保存图片、弹出报警画面、声音警告、上传中心、发送邮件、触发报警输出，可按通道、时间检索图片。支持2个HDMI接口、1个VGA接口、4个RJ45网络接口、2个USB2.0接口、2个USB3.0接口。1个RS232接口、1个RS485接口、1个键盘485接口、1个eSata接口、2个miniSAS扩展接口。支持16块SATA接口硬盘、1路音频输入接口、1路音频输出接口；16路报警输入接口、8路报警输出接口。产品具备中国国家强制性产品认证证书。管理平台平台总体架构校园综合信息管理平台XXXXiVMS-CIP-E校园综合信息管理平台（带平台管理服务器），结合智能和可视设备，实现实时可视、整体把控、智能统计，从而使得学校点名出勤数据管理工作可轻松高效地完成，很好地满足了高教高效工作的需求。校园综合信息管理平台平台总体架构图平台总体架构图平台总体架构如上图所示，由上至下依次为设备层、接入层、能力层、开放平台、应用层。其中绿色部分为外部提供组件或服务。平台架构特点业务与能力分离构建业务层是直接与用户交互的一层，其特点是变化快、交互性要求高、复用性低；但是能力以组件为边界，各个组件能提供相对完整的能力，具有高可复用，稳定等特点，为了使高速变化的需求不会造成稳定能力的大量重构，需要业务和能力的分离构建；当前系统以集成平台为能力层分界线，其上层为业务层，它自己为能力提供层，其自身提供基础能力，同时聚合其他组件能力，改架构在保证低耦合，高稳定的情况下，适应高速变化的需求带来的频繁业务改动。能力组件化&服务化治理所谓服务，就是可以单独运行，并且对外提供独立但是相对完整的功能集的一种形式。组件较服务来说粒度更细，同时不能单独运行。组件化和服务化即将系统拆分为相对独立的服务或者组件。能力组件化&服务化优势在于：1、复用变得更加容易2、维护变成以组件或服务为单位，更加容易3、扩展变得容易，只需增加组件或者服务即可4、稳定性得以提高5、系统健壮性加强，整个系统不会因单个组件或服务问题而崩溃统一用户权限认证用户统一在集成平台注册，由集成平台统一管理和认证，使用统一用户，可以让各个业务系统公用一个账号，只需单点登陆即可访问各个业务子系统平台功能 学生课堂行为分析平台通过服务器传入的学生行为抓取图片统计得到各类学生行为统计数据，以供后续教学优化和管理使用。学生课堂行为统计 学生课堂专注度平台同过前端对课堂过程中学生整体行为的一致性和差异性图像抓取，提供相应的统计数据，展现出班级课堂学生整体专注度情况，以供学校教学评估和优化数据支撑。学生课堂专注度分析图考勤结果查询支持教师根据自己的课表查看每个课程的学生到课情况：考勤结果查询考勤结果上课过程中，考勤界面可展示考勤结果，同时支持教师对部分已到但未被识别出来的学生手动补签：考勤结果每节课结束后，考勤结果展示界面可显示是否到课或者手动补签： 统计分析考勤结果支持多种维度的查询：考勤结果统计平台特色架构特点统一用户认证在核心能力层(集成平台)统一进行单点登陆，权限认证，如集成我们其他系统，可真正的做到一个账号多个系统。应用功能延伸核心能力层(集成平台)中可接入组件和服务众多，应用层上若有需要需求，可直接使用已有能力进行功能延伸，已有能力包括录播，教务，考场，教学，考勤等等。基础能力延伸基础能力可通过单独封装组件或服务的形式接入到核心能力层，是的核心能力层不仅支持内部开发的组件，同时支持第三方的组件接入，保证了能力的可扩展性。技术特点集成性好架构分层清晰，拥有统一用户认证，集中用户、权限、应用、日志等管理；组件拆装方便，业务系统接