大数据可用性在高等教育领域的重要性研究

大数据可用性在高等教育领域的重要性研究

中图分类号：TP311文献标识码：A文章编号：1009-3044（2022）13-0020-02

ResearchontheImportanceofLargeDataAvailabilityintheFieldofHigherEducation

HANXiao-xiang1，XUHua-zhen2，WEILi-hua2

（1.NantongInstituteofTechnology，InformatizationConstructionManagementOffice，Nantong226002，China；2.NantongInstituteofTechnology，SchoolofComputerAndInformationEngineering，Nantong226002，China）

Abstract：Withtherapiddevelopmentofinformationtechnology，allkindsofdatagrowveryfast，andtheamountofdataistoolargetobeprocessedbyconventionalmethods.Bigdataemergesanditiswidelyappliedinvariousfields，andalsoinhighereducation.Theinformationsystemofuniversityisabigdataproducer，butthedensityofdatavalueofuniversityisverylow.Thispapermainlyintroducestheinfluencebroughtbybigdatatouniversities，pointsouttheavailabilityofbigdatainCollegesanduniversities，andputsforwardmethodsofimprovingdataavailabilityfromtwoaspects：consistencyofrelationaldataandentityidentity，inordertohelpcollegesanduniversitiestoextracteffectivedatafrommassivedatainformation，andtoimprovevaluedensity.

Keywords：bigdata；datavaluedensity；dataavailability；dataconsistency；entityidentity

大数据是指无法在可承受的时间范围内用常规的软件工具进行捕获、管理和处理的数据集合，是需要采纳新处理模式才能猎取许多智能的、深化的、有价值的信息，以期得到更强的决策力、洞察力和流程优化力量的海量、高增长率和多样化的信息资源[1]。目前，大家比较公认的是大数据具有4V的特点：数据规模大，即数据量大，数量级别从TB跃升到PB，不久将会产生EB级别甚至ZB更高级别的数据；数据种类多，数据类型不仅包括传统的关系结构化类型，还包括半结构化和非结构化类型；处理速度快，数据产生和更新的频率快，要求处理数据的速度更快；价值密度低，数据海量增长，但猎取到的有用信息难度也不断加大[2]。

1高校中的大数据

大数据现已提升到国家战略层面，“十三五”规划明确提出要大力进展大数据产业，加快建设数据强国，实现我国从数据大国向数据强国转变。大数据正推动着各行业的进展。高校作为教育机构，它不仅能够利用信息化技术进展教育，还对信息时代的进展起到促进作用[3]。高校也是数据生产大户，高校的工作从宏观上可划分为教学、科研、管理三大类，从教学上看，会产生同学作业数据，同学学习成果数据，老师备课教案数据，老师备课数据等；从科研上，会产生老师科研方面的数据；从管理上，会产生同学基本信息数据，老师基本信息数据，其他??位工作人员基本信息数据，学校基本信息数据，同学各项评比数据等等。高校中产生的这些数据具有数量大、种类多、产生快、真实可信和具备分析价值等特点，完全符合大数据的特征。讨论这些数据，对于高校建设与进展有着重要的意义。比如大数据可以猜测同学是否能顺当完成课业，纽约州波基普西市玛丽斯特学院（MaristCollege）与运营数据分析公司Pentaho合作发起开源学术分析方案（TheOpenAcademicAnalyticsInitiative），旨在一门新课程开头的两周内猜测哪些同学可能会无法顺当完成课程。通过收集分析同学的学习习惯―例如点击线上阅读材料、是否在网上论坛中发言、完成作业的时长――来猜测同学的学业状况、准时干预关心问题同学，从而提升毕业率。再比如大数据可以发觉被关注的同学对象，电子科大曾做过一个课题―查找校内中最孤独的人。他们从3万名在校生中，采集到了2亿多条行为数据，数据来自同学选课记录、进出图书馆、寝室，以及食堂用餐、超市购物等数据。通过对不同的校内一卡通“一前一后刷卡”的记录进行分析，可以发觉一个同学在学校有多少亲热伴侣，比如恋人、闺蜜。最终，他们找到了800多个校内中最孤独的同学，这些同学平均在校两年半时间，一个知心伴侣都没有。这些人中的17%可能产生心理疾病，剩下的则可能用意志力临时战胜了症状，这些同学就需要学校和家长重点予以关爱。高校中大数据应用广泛，但也存在肯定的问题，后面将做着重分析。2数据可用性

随着大数据时代的到来，大数据在爆炸式增长，但数据集合中的劣质数据也在随着增长，导致数据整体质量下降，真正有用信息的利用率并不是很高，这也即前面提到的大数据的其中一大特点-价值密度低。为了挖掘出大数据更多的有用价值，提高数据的质量，开展数据可用性的讨论对于有效发挥大数据的作用具有战略性的意义[4]。讨论者们普遍认为数据的可用性包含数据的全都性、精确     性、完整性、时效性及实体同一性五个方面性质，其详细定义如下：

1）全都性：关联数据之间不产生冲突，规律关系要完整正确。

2）精确     性：数据集合中每个数据表示现实物体的精准程度。

3）完整性：数据集合包含的数据完全满意对数据进行各项操作的要求。

4）时效性：指在不同需求场景下数据的准时性和有效性。

5）同一性：指同一实体在各种数据源中的描述必需相同。

一个数据集合，满意以上五共性质的程度称为该数据集合的可用性。

在高校中也同样存在数据可用性问题。数据全都性问题：高校中管理职能往往有所重叠，导致信息重复采集，例如同学的基本信息，学院与教务处都有记录，同一个字段存在出入。

数据完整问题：比如不同部门对同一数据的使用习惯和方式不一样，数据格式不统一，造成数据不完整。数据不准时、不完整问题：由于收集到的信息不准时，造成所用的数据可能并不是最新的。数据同一性问题：比如说有的职工既担当了行政职务，又担当了教课的职务，但在系统中却有两条实体记录，这是不正确的，应属同一实体。

3高校数据价值密度提高策略

以下就数据的全都性和实体同一性两个方面来谈谈如何提高高校的数据可用性。

1）高校普遍存在不同系统中信息重叠，数据不全都的现象，笔者认为很大一部分缘由是各个部门或系统之间数据不能共享。为便利学校数据统一管理，可在校内内搭建一个数据管理应用平台，实现各部门数据的应用共享，各部门制定统一的存储标准，设计数据库时，要充分考虑其数据的平安性，避开数据的冗余，能快速实现数据的可视化分析，定期对数据进行全都性维护，如对数据进行优化，建立多个副本，定时更新。

2）目前实体同一性讨论是讨论数据可用性最多的一个方面，其主要涉及两类方法：第一类是从语义规章的角度进行同一性讨论，这类方法主要通过阅历学问来描述实体的同一性问题；其次类是从相像性的角度进行同一性讨论，该类方法主要采纳相像度函数来对实体同一性进行判定。这里，笔者认为使用第一类方法来对高校的数据进行实体同一性描述，首先要会识别实体，进行正确解析，即弄清晰哪些数据实体描述的是同一个物理实体，给定的某个数据实体描述的又是哪个物理实体。对于关系型数据，比如各个信息系统的数据，应要有实体统一性错误检测机制以保证明体的统一。而目前针对半结构化和非结构化类型关于识别的方法讨论还很少，还只能靠人工识别的方式进行。

要想真正实现高校信息化管理，在实施大数据过程中还会面临诸多挑战，如部分数据涉及个人隐私，那么在收集时就存在肯定的困难。再比如说教育数据是在动态变化的，把握动态变化规律，实现数据实时更新又是一大挑战等等。这些问题还有待进一步深化