某学院智慧大脑数据中台项目需求

某学院智慧大脑数据中台项目需求（一）建设内容本项目由数据集成治理平台、数据开发管理平台、教育管理决策系统（数字驾驶舱）、项目实施服务、项目同步安全保障服务五大部分组成。1、数据集成治理平台数据集成治理平台作为智慧大脑底层基础支撑性服务，是智慧大脑决策平台的重要组成部分。平台采用湖仓一体架构，能够将采购人各部门的结构化和非结构化的数据统一的汇聚接入，存储到数据集成治理平台，并实现高效的数据处理和分析。平台包括数据集成、数据处理、数据管理、数据开发、数据服务和任务管理等功能模块。2、数据开发管理平台数据开发管理平台是从用户业务需求出发，集成指标数据开发、数据安全管理、指标数据血缘分析、业务模型管理、数据资产地图等功能，实现数据资产开发、管理和服务的可见、可用和可运营，将传统依托技术人员的数据开发、管理和服务工作向业务端用户前移，更有利支撑数据智能应用。3、教育管理决策系统（数字驾驶舱）数字驾驶舱是基于数据治理、数据资产开发基础上的针对校内领导层用户教育管理决策的数据智能应用系统，能够根据采购人业务需求灵活配置业务主题版块和指标可视化，为教育管理决策提供支撑。4、项目实施服务项目实施服务是指基于采购人数据现状及应用场景需求所做的相关业务数据梳理、数据集成、数据处理、标准化、数仓数据开发、数据服务接口开发等工作。5、项目同步安全保障服务包括针对项目的网络安全建设、数据安全建设、安全与稳定性能力等安全保障服务。（二）需求清单序号产品/服务名称数量单位1数据集成治理平台1套2数据开发管理平台1套3教育管理决策系统（数字驾驶舱）1套4项目实施服务1项5项目同步安全保障服务1项（三）详细技术需求序号具体技术(参数)要求1一、技术参数要求（一）数据集成治理平台数据集成治理平台主要包括数据集成、数据处理、数据管理、数据开发、任务管理、数据服务等功能模块。系统对接接口支持RESTFUL等主流的开发方式，通过POST方式进行获取和推送数据。具备数据签名和SM2国密等主流的加密算法，支持私钥解密。支持OAuth2认证访问授权，通过AccessToken的方式获取应用服务的数据。（1）数据集成1.系统能够通过API接口、文件传输、数据库连接、在线填报等多种方式接收和获取外部数据，支持结构化、半结构化、非结构化三种数据的接入，采用湖仓一体大数据存储系统（如HDFS、Hive技术），支持数据采集交换过程任务化，支持任务手动、定时执行，支持任务监测和任务日志。2.数据集成需包括数据源管理、数据接入、在线填报、数据上报、非结构化数据采集等功能。3.数据源管理：能够对接入的数据源进行配置和维护，包括数据源添加、数据源链接参数配置、数据源详情列表、数据源链接参数修改、数据源删除。支持配置Mysql、Oracle、SQLServer、PostgreSQL、达梦、人大金仓等数据库连接，支持配置文件传输，支持FTP、SFTP等。系统能够配置API接口调用，支持GET、POST请求，可配置请求头信息、请求参数等。4.填报配置：能够自定义配置数据填报表，添加不同类型的填报字段，设置检验规则，可以配置数据的新增、删除、确认等权限，可以为任务分配填报人，设置填报频率、是否自动确认等。5.填报表：填报人可以根据配置的权限进行数据的填报、修改、删除、确认等操作。6.上报配置：能够自定义配置上报接口、上报字段，可以指定不同类型的上报字段。可以配置数据的审核、上报等权限，可以为任务分配审核人，设置上报频率、是否自动审核、是否自动上报等。7.上报表：审核人可以根据配置的权限进行上报数据的审核、上报等操作。8.数据接入：系统能够接入数据库数据，支持的数据库类型包括Mysql、Oracle、SQLServer、PostgreSQL、达梦、人大金仓等，可灵活配置单表、多表或整个数据库的同步，支持增量或全量方式；支持配置接入日志和文件数据；支持通过配置接口方式接入数据。9.非结构化数据采集：系统能够创建非结构化数据存储信息表，表内可以设置不同的字段，支持按照非结构化数据存储信息表上传文本（word、PDF、TXT）、图片等类型的非结构化数据文件。（2）数据处理1.数据处理需包括数据清洗、数据标准化、数据映射、半结构化数据处理、非结构化数据处理等功能。2.数据清洗：系统能够对数据清洗任务进行设置，并通过任务调度对数据进行清洗处理。针对数值型数据的清洗规则可按照最大值、最小值、空值、0值、奇异值进行不处理、修正原值、删除记录、置空值、置0值、置平均值、置中位值等操作；针对字符型数据的清洗规则可按照正则表达式、空值进行不处理、修正原值、删除记录、置空值等操作。3.数据标准化：系统能够对数据标准化任务进行设置，根据引入的国家标准、行业标准、省级标准、本单位标准等规范，对数据配置技术数据标准和业务数据标准，通过任务调度对数据进行标准化处理。4.数据映射：系统能够通过数据映射将不同数据源中的数据字段进行对应和匹配，首先从已发布并在有效时间内的主数据中选择基准数据表、从DWD层数据表中选择映射数据表，之后进行数据映射判断条件选择，可添加多个判断条件，再进行数据映射字段选择，可添加多个字段，最后进行数据映射动作设置，可按照基准数据状态、映射数据状态进行不处理、新增、删除、替换等操作，任务保存后可通过任务调度对数据进行映射处理。5.半结构化数据处理：首先进行源数据字段、目标字段的选择，之后可通过正则表达式和实体提取对半结构化数据进行处理，其中实体提取信息包括地点、时间、人名、性别、民族、部门等，并通过任务调度对半结构化数据处理任务进行管理。6.非结构化数据处理：系统能够对非结构化数据处理，包括对非结构化数据进行转PDF、转word、OCR等操作。（3）数据管理1.数据管理需包括元数据管理、数据标准管理、主数据管理、数据质量管理、数据安全管理等功能。2.元数据管理：系统能够对数据表元数据进行管理，包括添加、修改、删除、查询数据表元数据。能够对业务数据元数据进行管理，将数据表元数据划分到不同业务主题，能够添加、修改、删除业务数据元数据。能够查看数据开发管理平台开发的指标数据元数据，能够查看指标数据的血缘关系。3.数据标准管理：系统能够对数据标准规范进行管理，能够制定数据标准规范体系，添加技术数据标准、业务数据标准。系统能够通过选择标准类型（国家、行业、省级、本单位）、输入标准名称、选择数据类型（字符类型、整数类型、浮点类型、时间类型）、对应标准文档等操作来添加技术数据标准。系统能够通过选择标准类型（国家、行业、省级、本单位）、输入标准名称、设定代码与名称（维度值）对应关系、对应标准文档等操作来添加业务数据标准。4.主数据管理包括主数据维护、抽取、处理、审核和发布，以及对主数据进行质量和安全管理。5.主数据维护：系统能够新建主数据，包括设置主数据名称、选择对应的数据源、数据表、设置审批用户、处理用户、发布用户等，能够创建主数据备份任务、对已添加的主数据进行维护，可以查看数据表元数据、浏览数据。6.主数据抽取：通过创建任务可以从基础信息表中抽取出所需的主数据，能够对已创建的任务进行编辑、上线、复制、删除等操作。7.主数据处理：对主数据进行处理时可以跳转到数据处理相应功能页面，需自动选中对应数据表。8.主数据质量：系统能够对主数据数据质量监测规则进行设置，可对每个字段进行规则设置，针对数值型字段可设置最大值、最小值、标准差、奇异值、空值率、0值率、小数位等规则，针对字符型字段可设置是否有数据标准、数据标准分类、维度代码表、代码/名称、是否允许空置、空值率、是否允许重复数据等规则，并能够创建组合规则。9.主数据安全：能够设置主数据各类管理使用用户，包括数据维护用户、数据审批用户、数据抽取用户、数据处理用户、数据质量管理用户、数据发布用户、数据使用用户、数据管理用户等。10.主数据审批：主数据审批用户能够对主数据进行审核通过、审核不通过的操作。11.主数据发布：主数据发布用户能够将已审核通过的主数据进行发布，可以设置主数据有效期、发布形式等，已发布并在有效时间内的主数据才可以被使用。12.数据质量管理：系统能够对数仓的数据质量监测规则进行设置，可对数据表每个字段进行规则设置，针对数值型字段可设置最大值、最小值、标准差、奇异值、空值率、0值率、小数位等规则，针对字符型字段可设置是否有数据标准、数据标准分类、维度代码表（需对应数据标准模块管理的数据标准）、代码/名称、是否允许空置、空值率、是否允许重复数据等规则，并能够创建组合规则。13.数据安全管理：系统能够进行安全标准设置，包括数据分级、数据分类、用户U/C、权限等。基于数据安全标准，按照数据重要性、数据开放性等维度，支持对数据进行分级分类管理，并规定数据访问权限及权限控制，配置数据管理以及使用部门和角色，确保数据的安全使用，并能够生成、导出U/C矩阵、安全策略。（4）数据开发1.数据开发需包括业务体系管理、数仓管理、非结构化数据管理、数据计算脚本管理、数仓开发、非结构化数据开发、数据血缘等功能。2.业务体系管理：系统能够对业务体系进行设计，包括业务体系按照业务板块、业务域、主题的三级配置，业务体系导出，业务主题编辑等。3.数仓管理：系统能够按照贴源数据层(ODS)、数据明细层(DWD)、数据中间层(DWM)、数据服务层(DWS)、应用中间层(ADM)、应用层(ADS)、维度层(DIM)进行数仓分层，可对各层数据表的维护管理，包括新增数据表、添加数据表、根据ODS建模、同步字段、查看数据表、浏览数据、移除数仓等操作。4.数仓开发：通过创建任务对数据进行开发处理，包括SQL处理、DataX、Python脚本等任务节点类型。5.非结构化数据管理：能够对处理后的非结构化数据进行向量数据库建模，能够查看数据表、浏览数据。6.非结构化数据开发：可通过选择非结构化数据表生成对应的数据开发任务，通过任务调度能够对非结构化数据进行解析、词嵌入向量化，并存储至向量数据库中。7.数据血缘：系统能够按照数仓体系对数据血缘进行分析，对数据在整个数仓体系中的流动、转换和变化进行跟踪和记录，以图形化方式展示数据的来源、去向以及数据间的关系。（5）任务管理1.任务管理包括项目管理、任务调度、任务监测、任务日志等功能。2.项目管理：用户能够在系统默认的项目基础上新增自定义的项目，自定义项目可编辑项目名称、编辑项目描述、删除项目。3.任务调度：系统能够根据项目名称筛选具体任务，可对任务调度进行管理，包括对任务进行上线、下线、运行、编辑、删除、设置定时执行等。任务配置需要实现可视化便捷配置。4.任务监测：系统能够对任务整体进行监测，能够选择具体的项目名称、时间段，对提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功等状态的任务进行统计分析，点击任务状态可展示出具体的任务实例。5.任务日志：系统能够对任务运行日志进行记录，可查看任务状态、开始时间、结束时间、运行时长和运行日志等。（6）数据服务1.数据服务包括数据服务管理、数据服务监测、数据资产查询、数据资产地图等功能。2.数据服务管理：系统能够对数据目录中的数据字段申请数据服务接口开发需求，并具备需求审批功能，接口开发功能，支持下载接口调用指导文档，通过签名、密钥、加密等方式保证接口数据的安全性、准确性和完整性。支持对审批通过的接口进行实时上线、下线等管理操作。3.数据服务监测：系统能够对数据服务接口进行全面监测，包括对全部接口的整体监测和对单个接口详细监测。其中总体监测包括服务接口总数、服务字段总数、服务部门总数、接口总调用数、接口调用趋势图、各部门和系统使用的接口数、接口调用排名等；单个接口监测包括接口调用次数、运行时间、调用成功率、最后一次调用时间、调用日志等。4.数据资产查询：系统能够进行全域数据资产查询，可按照业务体系查看数据资产详情，包括数据名称、数据属性、业务内涵、对应数据表名称、对应数据字段、加工方法、源数据表、源数据字段等信息。5.数据资产地图：系统能够查看数据资产地图，包括数据资产地图矩阵、数据资产地图下钻详情等。（二）数据开发管理平台数据开发管理平台包括业务主题数据、数据开发、AI开发、数据标准、数据质量、数据安全、数据资产等功能模块。（1）业务主题数据可按照业务体系查看业务数据元数据详细信息，包括数据名称、数据属性、业务内涵、对应数据表名称、对应数据字段、加工方法、源数据表、源数据字段等信息。（2）数据开发1.数据开发包括业务模型、指标数据、标签数据等功能。2.业务模型：系统能够对业务模型进行添加、编辑、停用、删除等操作。能够对业务模型指标体系进行设计，支持构建三级指标体系，能够在指标体系下设置具体指标，指标要能够与业务数据相对应。系统能够基于算法模型设置指标权重，算法模型至少包括专家经验、层次分析法、熵权法等。系统需内置至少三种已构建完成的业务模型（画像或评价模型）。3.指标开发：指标开发包括手动开发和智能开发两种方式，选择手动开发时，系统能够通过选择业务体系、选择数据库表、选择指标维度、选择事实字段、设置统计方式、设置计算维度的方式进行原生指标的手动开发，开发完成后点击生成数据即可查看指标数据开发结果；选择智能开发时，能够通过智能化的手段，让业务部门用户无需设置复杂的参数，即可便捷、快速地完成指标开发，开发完成后点击生成数据即可查看指标数据开发结果，并能清晰展示指标数据的血缘关系。4.指标数据血缘关系：系统能够以图形化方式展示指标数据血缘关系。5.标签数据：系统支持标签数据的开发，通过选择基准字段、标签主计算数据、标签参考数据，可按照不同的标签主计算数据值条件赋值相应的标签数据。（3）AI开发AI开发：系统能够通过内嵌AI模型组件，包括大模型、知识图谱、机器学习等，通过选择数据集成治理平台开发的相关主题数据进行数据训练，生成智能化应用模型，例如智能问答知识库、知识图谱、分类模型、分析诊断模型等。（4）数据标准：能够查看数据标准文档和具体的数据标准规范，包括业务数据标准和技术数据标准。能够查看数据字段用到了哪些数据标准。（5）数据质量：能够对指标数据的数据质量监测规则进行设置，查看指标数据的质量情况。（6）数据安全：能够查看U/C矩阵、安全策略、数据使用部门和角色。（7）数据资产管理1.系统能够进行全域数据资产查询，可按照业务体系查看数据资产详情，支持用户自定义申请数据资产查看权限，可通过业务体系选择需要申请查看的数据数据表，若选择的数据表和用户现有数据表存在可合并情况，可合并后提交申请。2.系统能够查看数据资产地图，包括数据资产地图矩阵、数据资产地图下钻详情等。3.数据资产管理人员可对相关数据资产查看申请、跨主题数据表开发申请进行同意、拒绝、完成等审核操作。（三）教育管理决策系统（数字驾驶舱）（1）数字驾驶舱首页数字驾驶舱首页能够直观展示全校基本数据，包括但不限于院部数量、专业数量、教师人数、学生数量、基本办学指标以及学生概况、人事概况、财务概况、资产概况等。（2）指标展示配置系统能够对分析页面所展示的指标进行自由配置，包括指标查询、指标列表、指标新增、指标编辑等操作，所配置的指标来自数据开发管理平台开发的指标，配置完成后可直接在分析页面看到数据展示效果。指标查询能够按照指标所属页面、指标板块位置、指标启用状态进行查询。指标新增或编辑能够按照展示图表类型、业务体系、指标维度、具体指标、指标所属页面、指标板块位置、板块名称、是否启用多Y轴、指标启用状态等进行指标新增或修改。系统支持展示的图表类型至少包括雷达图、散点图、柱状图、折线图、饼图。（3）数据详情下钻系统支持数据详情下钻，要求能够看到指标背后的多维度明细数据。（4）数据联动分析系统分析页面的各指标能够基于特定维度同步变动，能够从多维数据集中提取特定维度的数据进行分析。（四）项目实施服务（1）业务数据梳理根据采购人业务和相关数据情况，进行业务体系梳理、为数据资产开发提供业务基础。包括需求调研、业务部门业务系统和数据调研、业务关键环节梳理、业务体系设计、业务体系确认，并基于采购人数据现状为采购人规划不少于3个业务模型（画像或评价模型）。（2）数据集成汇聚服务1.根据业务部门业务系统和数据调研结果，确定可汇聚的业务系统范围，与校方共同协调业务系统开发商，共同完善业务系统数据说明文档、数据字典，详细梳理数据的业务范围、逻辑关系等信息。并根据实际情况选择合适的数据源连接方式，将业务系统原始数据接入数据集成治理平台，从而完成对采购人现有所有可汇聚数据源的汇聚工作。2.在签订合同后90个工作日之内须完成不少于6个采购人现有业务系统（具体哪些业务系统由采购人和签订合同时约定，数量不少于6个，同一个业务系统不同版本或升级只能算1个）的数据集成汇聚，具体实现方式由联系业务系统开发商确定，采购人可提供开发商对接人员联系方式，如需接口费、技术服务费等费用则由支付。候选业务系统清单如下：2.1教务管理系统：（《正方现代教学管理信息系统》-学分制过渡版(ZFXFZB)）。2.2协同办公系统：协同管理软件A8+企业版。2.3在线资源平台：超星泛雅网络教学平台及学银在线。2.4实习系统：顶岗实习管理平台软件V2.0。2.5图书管理系统：Elib图书馆集群管理系统。2.6数字图书馆：超星汇雅电子书v4.0.4。2.7虚拟仿真管理平台。2.8一卡通：ecard-T一卡通管理平台6.0.0700。2.9人脸识别系统。2.10财务共享信息化平台：会计核算软件7.0，网上报销软件V2.0，薪酬个税管理软件V4.0，预算管理软件V2.0，项目库管理软件V2.0，缴费易软件5.0，财务决策支持软件V2.0，经费查询软件V2.0，财务基础数据管理软件V2.0，银行账户管理软件V2.0。2.11实验室管理系统：实验室管理平台v7.0。2.12资产系统：固定资产管理系统v7.0.15，无形资产管理系统v7.0.26。2.13招生录取系统：招生录取系统1.0。2.14职教集团系统：职业教育集团化办学工作管理与服务系统v2.0。2.15单点登录系统。2.16教学质量管理平台：教学质量管理平台v3.9.0。2.17采购系统：招标采购管理系统v1.0。2.18vpn系统：webvpn。3.在签订合同后90个工作日之后业务系统对接需求由采购人和签订合同时进行明确。（3）数据处理、标准化和数据映射针对规划的应用场景所需数据及填充数字驾驶舱首页所需数据进行处理、标准化和数据映射，打通数据，为多维度数据资产开发提供数据质量保障。（4）数仓数据开发对上一步处理后的数据进行数仓分层开发，并设定定时开发任务。包括数仓分层数据模型设计、数仓分层数据模型开发、数仓分层数据开发设计、数仓分层数据开发任务设定和管理、数仓分层数据开发任务监测、数据开发实施等。（5）数据服务接口开发对开发完成的数据资产开发相应数据接口提供数据服务。包括数仓应用层数据与应用系统数据对接技术设计、数据服务接口开发、数据服务接口管理、数据服务监测等。（6）指标数据开发针对业务场景需求完成相关指标数据的开发。（7）数字驾驶舱展示配置完成数字驾驶舱首页及至少3个业务模型的数据可视化展示。（8）数据上报服务1.根据2023年6月《全国职业教育智慧大脑院校中台高职数据标准及接口规范（试行）》要求梳理上报的数据模板，进行数据梳理、数据采集，并对不符合标准的数据进行优化和改进，与教育部信息中心数据中台实现对接，完成数据上报任务。须根据教育部信息中心数据中台关于数据质量要求提供数据优化方案，安排不少于1名工程师协助采购人进行上报数据优化工作。2.在3年服务期内，按《全国职业教育智慧大脑院校中台高职数据标准及接口规范》内容以及表单数量内容，须提供对应工具、操作培训及技术支持全力协助采购人按照变更后的标准规范完成数据上报任务。（五）项目同步安全保障服务（1）网络安全建设项目包含所有信息系统需按照网络安全等保2.0相关要求进行定级和网络安全等级保护测评工作，出具测评报告，并由承担测评费用。（2）数据安全建设1.同步数据安全服务建设围绕着数据中台的安全管理体系建设，遵照《数据网络安全法》、《数据安全法》、《个人信息保护法》等相关法律法规要求，根据采购人安全实际需求，建立预警、防护、检测、响应自适应闭环的安全防护体系，同时为提供可定制的安全服务，全面控制遇到的网络的安全风险，提升的整体安全防御能力，构建单位可信、可控、可管的安全防护体系。①同步落实系统安全设计协助服务从管理组织架构和管理制度流程两部分进行规划设计。数据安全管理组织架构，基于策略制定、管理执行、实施监督三个责任机制来构建相应的主体团队或人员，用以保障数据安全建设和运营的有效落实。②数据资产梳理服务数据资产梳理是采用自动扫描的方式，完成对敏感数据存储分布状