大数据平台项目需求规格说明书（知识研究或个人学习）

大数据项目需求规格说明书引言编写目的此文档用来描述XX建设项目需要建设完成的内容，对系统功能进行描述，形成此文档。旨在与客户对需求达成一致的理解；用以详细描述系统建设的内容与范围。为系统分析员、开发人员、测试人员的活动提供指导，设计文档和《测试方案》的编写依据。本文档描述的项目需求范围是本项目开发实施内容，根据项目合同要求，项目的验收范围以本文档的描述为为准。编写背景承接者及实施者使用者用户角色网络环境部门普通用户部门数据管理员智慧办管理员后台管理员接口用户最高权限用户文档概述综合概述实现公共数据加工整合和XX资源的交换和共享。同时，台对外提供多种接口、服XX、通用技术和业XX构件，满足其他应用快速建立的需求。系统建设背景XX应用数据是大数据的重要来源之一，对XX需求迫切XX数据具有公共属性，需要满足多个行业的应用需求，因而需要支撑多个部门的应用及综合类应用，而传统的电子XX建设方式，各部门各自为，各地域的数据也不能实现共享和协同，因而急需采用电子XX大数据处理台对基础数据资源进行整合和挖掘利用。XX大数据具有面向跨行业服XX的特点和数据融合、比对的需求数据由于其历史原因，使得XX产生的数据往往来自不同的部门，即使是相同的数据，在不同的部门中也有不同的产生途径，往往会造成数据的不准确和错误，这也是经常出现“数据打架”的原因，因而需要充分利用XX实现数据质量的提升，而数据的清洗和跨部门数据之间的比对是实现数据质量提升的重要手段。同时，城市管理和民生服XX中要求数据之间需要有更强的关联性，人、地、事、物、视频、物联网数据只有深度融合，才能实现对人口的全生命周期、事件的全过程进行管理，因而需要对不同来源的数据进行充分的关联比对和深度的融合。在XX大数据处理台建设中，提供了相关的工具，为实现海量数据的比对、分析和融合提供了强有力的支撑。XX大数据对数据的安全性和保密性要求高XX数据覆盖范围广泛，包括人口数据、事件数据、法人数据、视频数据等，有很多数据涉及到XX的隐私敏感数据、国家安全数据，因而对数据的安全性和保密性要求较高，而传统的电子XX的建设方式采用分散建设的模式，往往不能采用周全的防护措施。XXXX的建设，将完全依等级保护三级的标准进行建设，为XX数据的安全性和保密性提供支持。同时，大数据对数据采用分级管理，对涉密数据、敏感数据、隐私数据、一般数据采用不同的防护手段，进而实现数据的安全性和保密性访问。XX大数据具有分地域、分领域的多层次安全管理需求电子XX、社会管理等各方面的数据的产生和使用具有较强的地域性，同时数据的密级不同，并且不同的行业对数据的需求也不一样，因而严格控制数据的分地域、分领域分级管理，以适应XX数据的安全管理需求。系统建设目标台建设目标为：以完善的机制体制和全面的安全体系为保障，以弹性动态的基础设施台为基础，以XX资源数据的共享、交换、融合、服XX为核心，以多部门的业XX流程协同为手段，打造可持续运营的、实用的、能够真正服XX于社会管理、城市管理和社会经济管理的XX化体系，并探XX化与体制机制深度融合和互相促进，为未来智慧城市的建设打下良好的基础。目标可分解为如下的子目标：1) 实现党委、所有部门及临时设立的机构的数据交换，基础数据集中、清洗、整理，以合理的数据结构进行存储，打破部门XX壁垒，解决XX孤岛问题。2) 形成一整套数据清洗整理体系，前期XX数据通过XX-清洗-反馈-修改-再次XX数据循环，清洗整理，后期各个部门新生产的数据，都以几个数据主体部门数据为基础，产生数据后，再XX清洗，逐步提升基础数据质量。3) 形成整套数据共享体系。数据XX清洗整理后，集中到市XXXX，各个部门对已整理的数据提出数据要求，在实现数据安全、保密等多重权限控制情况下，以多种方式提供给部门用户。实现部门之间的数据共享、共用，统一数据环境，减少部门之间数据差异，提高各部门数据质量，方便部门应用。4) 实现综合应用的建设。在完善的数据XX、清洗、共享体系下，在完整、实时、权威及合理结构化的XX数据融合服XX台之上，实现区域化整体数据应用，为组织单位、XX群体提供完整的数据展现、全面的基础数据服XX，以及为领导决策层提供全面的、多层次的、直观的、实时有效的数据分析，解决当前部门应用片面不完整，无法宏观把控的面。用户类和特征在本系统中，根据不同职能，可将用户分为以下四类：部门数据使用者（各委办）根据业XX需要申请系统中的资源数据，从台获得的数据内容必须在授权范围内进行使用；使用应用或者定制新的应用；查看专题数据等；部门数据管理员（各委办）具备部门数据使用者的所有使用权限；另外还负责本单位数据目录的注册、变更、数据上报，对其他单位的数据申请进行审核。大数据应用服XX中心管理员（大数据应用服XX中心）具备部门数据管理员所有使用权限；对数据交换流程进行规划、配置、部署及日常的维护;对整个前置交换子系统的交换内容进行管理授权，并保证数据交换系统的安全，确保交换数据在授权的范围内进行交换共享；负责应用使用或者新应用申请的审批；运维人员（承建单位）负责交换域中各前置交换子系统的管理维护；负责系统的配置管理；负责系统中内容的发布；负责数据交换或者共享实施；负责数据上报的提醒；负责台的运行和安全等。基础软件权限认证系统概述统一权限认证管理系统包括了整个台的管理功能和运维功能。具体包括对系统用户、权限划分、组织机构等进行模块化管理，实现用户与功能、用户与角色、角色与功能的高自由化组合配置等台基础的管理功能。需求描述功能名称功能说明功能模块定义定义并管理系统中各个功能模块；管理功能模块的路径XX；组织机构管理维护使用台的组织结构XX；可以增加、修改、删除一个组织结构；组织机构列表及详细XX展示；组织机构层级管理；角色管理角色列表及详细XX展示；角色的增、删、改、查操作；角色授权管理；用户管理用户列表及详细XX展示；用户所属组织机构管理；用户增、删、改、查操作；用户功能授权；用户角色授权；用户密码重置；用户禁用功能；交换/状态节点状态：显示数据交换台中所有节点的基本XX和当前运行状态，并可输入关键字可对节点服XX器名称进行搜索；运行作业状态：对数据交换台中运行作业的状态进行展示；数据吞吐量：对数据交换台中已运行作业的吞吐量进行直观展示；系统异常数：对数据交换台中执行作业过程中出现异常的作业进行统计并展示；实时流量：通过统计曲线通过三种时间跨度来对数据交换台中的数据流量进行统计，分别为“过去一小时”、“过去一周”和“过去30天”；交换/业XX管理节点列表：显示当前所有正常运行的节点列表；作业管理：可以查看某个节点运行作业的情况，并可以停止作业、启动作业、删除作业以及查看作业日志；转换管理：可以查看某个节点运行转换的情况，并可以停止转换、启动转换、删除转换以及查看转换日志；调度管理：展示每个作业的调度XX，并且可以设置作业调度参数；交换/节点管理节点列表：以列表的方式展示了数据交换台中所有节点的XX，展示XX包括节点的核心参数XX；新增节点：填写节点XX后进行增加节点操作；编辑节点：对节点XX进行重新编辑；删除节点：删除某个指定的节点；交换/数据统计数据输出量统计：可选择统计数据的时间段对数据输出量进行统计并通过曲线图展示；数据输入量统计：可选择统计数据的时间段对数据输入量进行统计并通过曲线图展示；错误数据量统计：可选择统计数据的时间段对错误数据量进行统计并通过曲线图展示；系统界面单点登录系统概述台提供了用户单点登录的验证，并提供给用户密码找回的功能。需求描述功能名称功能说明用户登录用户名密码登录：输入用户名和密码以及台的验证码进行登录；短信验证码登录：输入绑定的手机号和短信验证码进行登录；密码找回密保问题找回：用户输入之前预留的密保问题，如果验证成功可以进行修改密码；线下找回：用户提出密码重置的申请由后台管理人员线下确认，确认无误后重置密码并通知用户重置成功；单点登录当用户不管以那种方式登录后，均是采用单点登录的模式登录。系统界面单点登录系统界面密码找回界面数据基础台数据存储计算系统概述实现大数据的并行存储与计算基础架构和环境。基于Hadoop开源架构和生态，提供商用版的大数据存储计算能力，包括支持HDFS数据存储、支持HBase，Hive等，支持MapReduce计算运行模型，支持算法库和相关Hadoop生态的相关组件。支持Spark内存计算架构。同时，对上述各运行环境和实体，具有软件仓库的支持，可图形化智能对相关软件在服XX器环境上实现便捷安装部署。提供图形化管理的运维软件，对分布式各运行节点和实体进行管理和状态。需求描述功能名称功能说明数据存储数据共享的任XX同步时，可选择将数据存储进分布式文件系统支持HDFS,支持MapReduce计算运行模型,支持Spark内存计算架构节点实时分布式文件系统的运行状况，可以添加，编辑节点数据XX管理系统概述对数据源的提供者、业XX来源、连接XX、连接状态等进行管理，实现对数据来源的跟踪；数据库数据XX，提供自Oracle、SQLServer、MySql等数据库中XX数据的功能，并进行定时的自动化XX；结构化文件数据XX，提供自结构化数据文件中XX数据的功能，并对文件中的数据行进行自动化字段拆分；非结构化文件XX，提供自FTP自动化定时XX非结构化文件，并对XX到的文件进行统一管理。需求描述功能名称功能说明数据源增加增加数据源，包括Excel、csv，MySQL、PostgreSQL、Oracle、Hive等结构化数据、半结构化数据或者非结构化数据数据源变更对已有数据源进行变更数据源删除对已有数据源进行删除系统界面数据运维管理系统概述数据运维管理组件提供对XX数据的统一和运维管理，具体功能包括：台数据，对XX中已有数据存储量、数据增量、表数量、在线访问人数等XX进行；台数据处理任XX管理，对台中的数据XX处理任XXXX进行集中查看及管理；台操作日志管理，对台中的用户登录情况、用户访问数据表的情况进行日志记录，并提供筛选及查询功能；用户及部门管理，提供多层级的部门管理及用户管理，并提供用户排序等功能；角色及数据权限管理，提供自定义管理员及台用户角色的功能，对不同角色可授予精细至表字段的数据访问权限管理；审批管理，提供审批权限配置工具，并根据配置进行流转审批管理。需求描述功能名称功能说明交换/状态节点状态：显示数据交换台中所有节点的基本XX和当前运行状态，并可输入关键字可对节点服XX器名称进行搜索；运行作业状态：对数据交换台中运行作业的状态进行展示；数据吞吐量：对数据交换台中已运行作业的吞吐量进行直观展示；系统异常数：对数据交换台中执行作业过程中出现异常的作业进行统计并展示；实时流量：通过统计曲线通过三种时间跨度来对数据交换台中的数据流量进行统计，分别为“过去一小时”、“过去一周”和“过去30天”；交换/业XX管理节点列表：显示当前所有正常运行的节点列表；作业管理：可以查看某个节点运行作业的情况，并可以停止作业、启动作业、删除作业以及查看作业日志；转换管理：可以查看某个节点运行转换的情况，并可以停止转换、启动转换、删除转换以及查看转换日志；调度管理：展示每个作业的调度XX，并且可以设置作业调度参数；交换/节点管理节点列表：以列表的方式展示了数据交换台中所有节点的XX，展示XX包括节点的核心参数XX；新增节点：填写节点XX后进行增加节点操作；编辑节点：对节点XX进行重新编辑；删除节点：删除某个指定的节点；交换/数据统计数据输出量统计：可选择统计数据的时间段对数据输出量进行统计并通过曲线图展示；数据输入量统计：可选择统计数据的时间段对数据输入量进行统计并通过曲线图展示；错误数据量统计：可选择统计数据的时间段对错误数据量进行统计并通过曲线图展示；系统界面

数据台标准规范概述规范列表规范编号/规范名称规范描述XXXX资源安全管理规范明确XX资源供需双方共享交换XX的安全保密协议制度，保证XX资源在XX、存储、备份、访问授权、传输、使用等过程中的安全XXXX资源共享考核办法针对各委办，指定数据交换共享的考核办法，按照该办法进行考评计分，让数据交换共享成为常态化工作。

非功能性需求概述性能、可操作性、安全性、可扩展性也是大数据服XX台的一个重要要求点。台中存在着海量数据，因此对数据处理的性能和安全性有着严格的需求，台需要对用户提供易操作性。另外，台作为智慧城市的基础台应具有良好的可扩展性。性能稳定高效系统能够完成要求的所有功能操作，同时具有良好的运行速度，有较高的数据承载能力。系统应支持一天24小时，一周七天，一年365天不间断运行，实现数据及系统的负载可用。数据安全性保证概述数据的重要性和敏感性突出，建立从数据XX到数据使用的完整生命周期的保护手段。在制定安全规范与设计系统安全体系的基础上，切实加强大数据支撑设施的安全防护能力，包括数据加密、访问控制、身份认证、数据安全与安全审计等功能。总体要求数据在传输过程中加密,在管理过程中分权。功能列表功能编号/功能名称功能描述数据加密通过非对称加密（用户登录、公用接口部分）方式，实现数据交换和共享传输过程中的机密性及完整性；支持用户自定义密钥管理方式身份认证支持静态口令访问控制安全管理员配置用户访问控制策略及数据操作，不同人员分配不同的访问权限安全审查支持数据安全日志的汇总统计，形成报表和可视化图形数据脱敏对隐私数据和敏感XX遮挡展示数据加密业XX支撑数据加密业XX说明在数据交换、共享传输过程成，通过非对称（用户登录、公用接口部分）方式来加密使用范围数据传输过程功功能要求基本功能对用户登录和公共访问接口部分实现MD5加密方式或其他非对称加密形式，保障数据交换和共享过程中的数据完整性和保密性；身份认证业XX支撑身份认证业XX说明在用户登录时，通过身份认证方式对用户进行