数据治理与服务项目需求

数据治理与服务项目需求序号采购内容技术参数数量单位备注1数据中台平台升级（含数据汇聚平台、数据共享平台、数据管理平台）本次采购的数据中台软件系统，提供一套完整的数据收集、清洗、治理、开发并对外服务的系统平台软件，支持数据服务工程师及学校管理人员对全校各业务系统数据资源的抽取治理开发发布等操作。具体要求如下：一、功能部分1、用户模块功能点：中台用户账号权限管理中心。实现用户创建、删除、权限分配、身份管理等身份操作。功能点：用户登录与权限管理。提供用户登录功能，支持账号密码验证。功能点：支持分配用户初始密码，用户初次登陆时强制要求修改初始密码，并确保用户修改密码符合强密码要求。功能点：用户账号信息管理允许用户查看和编辑个人信息，包括用户状态、联系方式等。功能点：个人信息管理允许用户查看和编辑个人信息。功能点：我的资源管理实现对账号范围内数据资源的申请、审批、使用管理。功能点：我的申请管理提供审批申请事项的查看、审批进度跟踪。2、检索展示模块功能点：数据目录浏览实现数据目录的浏览功能，支持按主题、部门、专题等分类展示。功能点：数据资源搜索提供全局搜索功能，支持关键词搜索、筛选排序。功能点：全局搜索提供全局搜索功能，支持对数据目录、字段、应用成果的模糊搜索。功能点：条件搜索提供全局条件搜索功能，支持对数据目录、字段、应用成果的模糊搜索。功能点：数据资源详情查看提供数据资源详情的查看功能，包括数据项、数据预览、数据应用、数据评论等。功能点：数据任务成果展示实现数据任务成果的展示功能，包括任务名称、图标、分类、简介等。3、数据抽取模块功能点：数据抽取能够从多种数据源（如数据库、文件系统、表格等）抽取数据，并进行集成整合，支持多次抽取，数据补采等。功能点：支持适配各种关系型数据接入，包括但不限于Oracle、MySQL、SQLServer、PostgreSQL、MongoDB、Sybase、Teradata和达梦DM、人大金仓Kingbase、华为GaussDB。功能点：结构化小数据低延迟（单行200字节）：至少满足一种关系型数据库之间的传输速度不低于110MB/s。功能点：数据清洗与转换模块对抽取的数据进行清洗，处理缺失值、异常值等，同时进行数据格式转换，表对表抽取转结构等。4、数据存算管理模块提供高效的数据存储方式，包括关系型数据库、非关系型数据库等存储方案，确保数据的安全性和可靠性。支持数据存储的自动扩容和性能优化功能，根据数据增长情况自动调整存储策略。功能点：非关系型数据库热数据支持：支持key-value型的宽列分布式NoSQL数据库能力，支持半结构/非结构化数据的实时存储、搜索数据能力，支持MOB特性，支持Spark计算框架，提供SparkSQl、SPARKapp处理接口，能实现数据分布式并行计算。功能点：用户创建自定义函数包括支持运行Java/Python/Scala编程语言脚本。UDF（用户自定义函数）、UDAF（用户自定义聚合函数）和UDTF（用户自定义表生成函数）。功能点：提供将物理资源划分为逻辑资源池功能，防止资源抢占，提升资源使用效率，即不同的租户可以独占不同的资源池，也可以共享一个资源池。功能点：服务节点可拓展支持一键扩容功能，实现计算能力和存储容量同步扩展；支持包括但不限于Hbase服务节点、YARN计算服务节点、Kafka服务节点、ES服务节点的独立扩容。5、数据治理管理模块制定和管理数据标准，包括数据格式、数据字典、代码标准等，确保数据的一致性和规范性。功能点：支持管理数据元、字典表、限定词的能力。支持按照标准的发布状态进行数据元版本管理的能力，提供版本变更支持在线审批等功能。功能点：数据质量管理支持通过对不同字段配置不同的规则，对数据表内各字段数据特征质量进行检查。支持通过人工或智能化方式，使用SQL、Spark等，对接入的数据进行存储位置、提供方式、总量和更新情况、业务含义、字段格式语义和取值分布、数据结构、数据质量等进行多维度评估检查。功能点：数据地图形成数据台账，支持数据台账导出功能，能够展示数据从接入、治理、编目、对外应用支撑、应用使用各个环节的全景，支持定制展示环节以及每个环节展示的属性列表。功能点：数据血缘分析能够追溯数据的来源和流向，了解数据在各个处理环节的变化情况。提供数据血缘可视化展示功能，以图形化方式呈现数据血缘关系。支持全链路数据血缘的查看及分析，支持全流程数据血缘（包含采集、加工、共享分发）；能够展示细粒度的数据血缘关系，包括不限于数据表级、字段级数据血缘关系展示。功能点：元数据管理对数据的定义、结构、关系等元数据信息进行管理，方便数据的理解和使用。支持元数据的自动采集和更新功能，确保元数据的及时性和准确性。支持各种主流类型的数据存储和处理平台，包括但不限于MySQL、Hive、Oracle，人大金仓Kingbase、华为GaussDB、达梦DM等，可提供元数据信息展示和动态更新。6、数据开发模块提供一站式集成开发环境，满足大数据环境下的主专题库表开发、流程调度和生产运维需要。功能点：图形化开发：支持通过图形化的拖拉拽方式将不同类型节点连线组织开发成工作流的功能，可实现零编码交互，工作流画布支持自动布局。功能点：数据开发工作流管理支持工作流运行管理功能，能够管理工作流执行路径，包括但不限于串行、并行、分支条件，支持全流程运行及选择部分流程运行的高级运行功能。功能点：数据开发基线管理支持智能基线功能，能够智能捕捉导致基线上的任务无法按时完成的异常情况的功能及预警功能。支持将预警规则作为内部逻辑和告警策略，自动监控所有重要任务。功能点：开发任务调度功能支持调度管理功能，包括一次性调度与周期性调度，其中周期性调度应支持按分钟、小时、日、周、月、年调度，工作流可跨周期依赖。支持启停功能，支持工作流重跑。7、数据安全管理功能点：数据加密解密支持数据加密解密操作，可选择AES/国密SM2/国密SM4算法及相关模式，对数据进行加密、解密。功能点：访问控制可针对应用及用户进行访问控制，用户需基于应用申请数据目录权限，并通过审批后，方可访问数据接口，以实现访问控制。功能点：接口调用审计支持接口调用审计功能，记录接口调用行为，便于安全审计和追溯。保障数据的安全性。功能点：数据可靠存储平台采用多副本分布式机制存储数据，保障数据可靠存储。二、性能部分1、用户并发处理能力升级：本次系统需满足数据中台的数据归集、数据处理、数据开放的性能要求。影响系统使用效率的关键性性能指标要求如下：用户访问应用的时效性要求，在500并发数时平均延时小于1秒。服务提供方面，表转API能力不低于3000QPS。在数据抽取性能方面，在千兆网络带宽环境下，单节点数据传输速率不低于60MB/s。三、架构部分1、高性能架构设计需要采用分布式架构、负载均衡技术等手段，将系统负载合理分散到多个节点上，大幅提升系统的并发处理能力。产品进行严格的压力测试，模拟各种高并发场景，对系统性能进行全面评估和优化。2、高可靠架构设计对平台架构进行全面优化，确保平均无故障时间大于6个月以上。采用高可用架构设计，如主备切换、集群部署等，以提高系统的可用性和性能。在系统运行过程中，进行实时监控和预警，及时发现并解决潜在问题。建立完善的备份和恢复机制，确保在系统出现故障时能够快速恢复数据和服务，最大限度地减少对业务的影响。需要满足多节点方案调度处理并确保单实例宕机不会导致前端业务中断。3、可扩展性设计满足定制化开发模块的即插即用，满足未来业务拓展需求，支持数据库分布式扩展和应用程序负载均衡，通过简单的服务器扩展和修改数据分拆配置实现负载扩容，避免软件进行大规模修改升级宕机时间。满足在进行性能扩展时，支持横向扩展将新增服务器资源纳入运行支撑环境，实时进行微服务分布。4、国产信创适配要求本期项目建设系统，数据处理范围包括针对参照国家信创标准建设的CPU、操作系统及数据库等相关系统，支持与主流信创数据库的对接，实现信创系统数据互通互联，同时完成信创终端的适配工作。1套软件平台2校内数据治理及业务接口开发迁移服务本次采购的数据服务，针对当前已知未接入的业务系统，如考勤系统、图书馆系统、门禁系统、财务系统、招生系统、办事大厅系统、预约系统、科研管理系统、资产管理系统、图书馆管理系统、统一身份认证、校园一卡通、校园融合门户系统，及等关键系统进行详尽的调查并出具调研报告；对上述系统以“应接尽接”的方式及时、全量的接入到数据中心；协助采购人制定《音乐学院数据标准规范》，梳理数据标准作为数据治理和应用系统开发标准；建设并实现学校全量数据仓库，包括人员统一管理、资产管理主题库，针对具体系统对主题数据仓库的数据模型设计需求，分析和拆解需求数据表，形成专题应用需要的数据集市，包括但不限于人事专题、学工专题、资产专题、财务主题、科研专题、教学专题、图书专题、一卡通专题等，以满足综合校情分析应用使用需求为标准提供数据服务。具体要求如下：1、数据调研服务针对校级数据中台所承载的业务事项进行调研，将事项内容拆解为具体的数据需求，在学校已建系统中获取数据需求的对应关系，形成需求、事项、数据供给三者的关联关系表，并调研不同系统所支持的不同数据提供方式（如API接口、数据库直连、文件传输等）、更新频次（实时、每日、每周等）、数据量级（记录数、存储大小）等关键因素，为后续针对性的数据归集方案提供全面参考。2、数据编目服务依托本期项目建设的数据服务系统，对校级数据资源进行统一编目，基于数据编目功能开展数据资源编目、目录审核、目录发布、目录维护、应用系统与数据目录关联、数据需求在线申请等数据供给工作。3、数据归集利用校数据中台的数据归集功能将本期项目需要归集数据以全量或者增量的形式进行抽取、转换、装载至大数据计算平台，实现数据的入库，形成归集库。基于该项目建设的数据管理平台并结合学校实际，开展数据治理服务，包括数据调研服务、数据标准规范制定、数据集成服务、数据资产目录梳理服务、数据清洗转换服务、历史数据留存服务等。其中数据调研和数据集成服务范围包含前期历史建设业务系统数据，如考勤系统、科研系统、招生系统、考核系统、一卡通系统、图书管理系统、网上办事大厅系统等，和同期建设其他项目系统数据，如教务系统、人事系统、学工系统、后勤服务系统、研究生管理系统、资产管理系统、房产管理系统、用户中心系统等。4、数据标准化治理基于校级数据中台开展数据标准化治理工作，采取一系列措施来制定数据质量规则和验证方法、执行数据清洗和去重操作以及应用数据模型和标准。对于数据清洗，标准化文本字段如统一日期格式、地址格式，修复不一致数据，补全缺失值采用插补算法补充空缺数据，删除无效数据；数据去重，确定唯一标识符并选择一个或多个字段作为判断重复记录的标准，使用精确匹配和模糊匹配技术处理完全相同和相似但非完全相同的记录，建立去重策略决定保留哪个版本的数据。基于国标、教育部、校内数据标准集等材料，制定校级统一数据标准，并形成标准的数据资源层以及主专题资源库，整体为学校各业务数据流转、资源调用、数据填报等使用需求，做到一数一源与资源快速复用能力，为学校全面实现业务线上流转奠定扎实的数据基础。基于该项目建设的数据管理平台，建设并实现学校全量数据仓库，包括人员统一管理、资产管理主题库，针对具体系统对主题数据仓库的数据模型设计需求，分析和拆解需求数据表，形成专题应用需要的数据集市，包括但不限于人事专题、学工专题、资产专题、财务主题、科研专题、教学专题、图书专题、一卡通专题等，以满足综合校情分析应用使用需求为标准提供数据服务。5、数据服务化基于校级数据中台的数据接口开发功能，开发数据服务接口以支持业务应用，选择合适的数据交换格式（如JSON或XML）以及确定安全机制，如使用Token进行认证授权；通过安全机制确保只有经过验证的用户才能访问敏感数据，并通过限流和配额管理防止滥用；提供数据服务调用接口文档，需提供详尽的数据服务接口文档，涵盖所有可用端点、请求方法、参数说明及示例请求与响应，以便开发者能够轻松理解和使用这些服务；持续保障数据服务质量，建立监控体系持续跟踪API的表现，设置日志记录以便于问题追踪和审计，实施版本控制策略保证向后兼容性，从而为外部用户提供可靠且易于集成的数据服务接口文档及实例。6、数据标准规范梳理基于国家发布的《教育行业标准-教育基础数据》、《教育系统人员基础数据》、《教育管理基础数据元素和代码规范》，针对本项目所需和所产生的数据，形成数据标准规范，规范内容需包括数据分类与定义、数据元素与属性、编码规则、数据