系统设计方案（学习参考版本）

智慧某城速建项目大数据系统设计方案编写目的此文档用来描述某地XX建设项目中的设计基准。文档主要给设计开发人员、实施人员参考使用，包括程序系统的基本处理流图、程序系统的组织结构、模块划分、功能分配、接口设计、运行设计、数据结构设计和安全性设计等。此文档同时还为某地XX建设项目的详细设计奠定基础。系统概述系统说明智慧城的基础设施，是智慧城建设的重中之重。系统任务系统目标实现不同部门异构系统间的资源共享和业务协同，有效避免各部门多头投资、重复建设、资源浪费。实现信息资源目录体系的统一管理，为各部门提供资源的检索与定位服务，为跨部门信息资源的获取和交换；实现标准的台接入和信息交换服务，为全基础信息库、共享信息库、各专业主题信息库等的建立，提供基础运行支撑环境和标准化规范；实现认证、授权等安全服务的统一管理，为跨部门的信息交换应用，提供基础安全管理服务；为跨部门应用系统的建设，提供交换共享服务和技术支撑环境。与其他系统关系XX建成后，为各委办提供强有力的数据支撑。通过数据共享、交换、融合，实现各系统间的相辅相成，相互促进，将数据价值充分挖掘，提升工作效能，为公众提供更优质的服务。同时，基于XX基础数据库，建设决策支持系统、示范应用、智慧交通工程系统、智慧系统提供数据基础，为办公、公众反馈提供便捷的通道。需求规定功能需求各功能模块设计合理，符合普通用户的操作习惯。功能界面设计合理，展现新颖，图标符合功能释义。功能模块命名具有标识性，禁止出现歧义的命名规则。涉及到安全级别较高的操作，例如数据注册、申请、使用、审批等，要强制用户登录；同时为了保证用户身份的安全性，强制用户登录后修改初始密码，设置密保；用户登录后，若一段时间内无操作，自动退出登录。分类系统、标签系统命名要具有代表性，禁止随意的命名分类、标签，影响用户理解。不同角色用户权限要明确区分并实现控制。性能需求稳定性稳定性是系统第一考虑的因素，直接关系到用户能不能使用。从系统设计、编码实施、测试、发布等各环节都要考虑系统的稳定性，负载均衡、数据容灾备份等都是不可缺少的手段。尤其是在系统进入正式运行阶段，更要制定好系统以及数据出现问题时的应对措施，避免出现不可恢复的“灾难”。时间响应性数据是系统的灵魂，几乎任何一个操作都是在操作数据。在网络允许的情况下，应尽量保证操作数据响应时间在用户的感官视觉时间范围内。精确性在从数据库中读取数据时，要求数据定位准确；在向数据库写入数据时，要求对录入数据进行校验。灵活性当需求发生某些变化时，系统整体设计以及实现基本不发生变化，只需通过简单配置便可满足要求。数据需求时效性XX中数据主要来自于各委办的数据共享，为了保证数据的时效性，需制定合理的数据交换周期，严格按照周期更新数据，才能使系统提供的服务保持动态特性。数据清洗从各委办获取到的数据格式千差万别，同时存在着“噪声”数据。必须制定规则，将数据清洗、归一化处理后，入库统一管理。定制化需求数据经过数据清洗后的数据进入基础数据库，此库是XX的基石。要保证该数据库的唯一性和“洁净”，其他定制化需求需要改造数据库结构的要通过交换工具导出分析库进行操作。安全性在数据交换、共享传输过程中，通过非对称（用户登录、公用接口部分）方式来加密。对敏感信息的展示进行遮挡。其他网络需求大数据系统台为B/S架构系统，同时数据交换共享过程中也需要各方网络能够互通互联，需要网络环境支持。存储需求本台交换到大量数据，同时随着数据的定期更新、积累，数据量将不断增加，必须保证足够的存储空间。服务器需求台中涉及数据库集群、交换节点集群、负载均衡集群等，需要足够数量和相应配置的服务器。总体设计物理结构设备清单编号操作系统类型网络环境用途1CentOS7.32CentOS7.33windowsserver2008R264位4windowsserver2008R264位5CentOS7.36CentOS7.37CentOS7.3软件结构软件结构图运维管理服务系统是XX的保障系统，运维人员在此系统中对XX的运行进行监控，并管理、维护、实施。模块清单文档中描述的为整个XX项目的整体规划，在2017年段需完成的有：首页、数据分析、数据目录、帮助中心全站搜索、城搜索、登录、个人中心（依据不同角色，享有不同权限，可使用不同功能）等功能模块，其余模块将在2018年段内完成QE004/应用列表以列表形式展示当前系统中发布的所有应用，并展示每个应用的基本信息。可依据分类、标签、是否需要申请、关键词等进行快速检索筛选。使用角色：任何用户，无需登录QE005/应用申请针对需要申请才能使用的应用，必须经过申请审批流程，审批通过后，可进行使用。可以从应用列表中点击响应操作按钮，填写相关信息，完成申请。使用角色：部门数据使用者、部门数据管理者、信息办用户，需要登录QE006/应用使用经过审批通过后的应用，在使用有效期内，用户具有使用权限，可从专题列表中点击相应操作按钮，开始使用该应用。使用角色：部门数据使用者、部门数据管理者、信息办用户，需要登录QE007/应用收藏对感兴趣或经常使用的应用，可将其加入收藏夹，便于后续快速访问。在应用列表中点击相应操作按钮，完成应用收藏。使用角色：部门数据使用者、部门数据管理者、信息办用户，需要登录帮助中心（HC）帮助中心提供了本系统使用的用户手册、视频资料以及一些常见问题的解决指，并提供相关文档的下载。对在使用系统中遇到的问题，可以到此模块下寻求初步的解决方案。使用角色：任何用户，无需登录全站搜索（TS）（一期不涉及）系统提供全站搜索功能，搜索内容包括“通知公告”、“新闻中心”、“数据目录”、“应用中心”、“数据规范”以及“帮助中心”等内容。目的是方便用户快速的检索到想要的信息。使用角色：任何用户，无需登录城搜索（CD）提供基于人口数据库、法人数据库的快速检索，使工作人员能够快速获取相关自然人或法人的基本信息和关联信息。功能列表功能编号/功能名称功能描述CD001/自然人检索依据分类、关键词实现自然人的快速检索CD002/法人检索依据分类、关键词实现法人的快速检索CD001/自然人检索（一期不涉及）依据分类（残疾人、党员、低保、育龄妇女等分类）以及关键词快速定位相关自然人，并可查看自然人的基本信息以及所有相关信息。使用角色：最高权限用户，需要登录CD002/法人检索依据分类（党机关、企业、社会团体等分类）以及关键词快速定位相关法人，并可查看法人的基本信息以及所有相关信息。使用角色：最高权限用户，需要登录登录（LN）对于权限要求较高的操作，用户需要登录后方能使用。同时对不同角色用户，所使用的系统功能也会按需控制。使用角色：具有登录权限的任何用户系统管理（RF）功能列表功能编号/功能名称功能描述RF001/功能模块定义系统功能模块管理RF002/组织机构管理组织机构管理RF003/用户管理用户管理和密码找回RF004/角色管理角色管理RF005/配置管理系统字典表管理RF006/访问历史历史日志查询RF007/上报模板维护上报模板管理上述功能使用角色：均为运维管理员用户，需要登录。RF001/功能模块定义系统功能模块的增删改查以及配置管理。RF002/组织机构管理某地组织机构增删改查管理。RF003/用户管理用户增删改查管理以及角色授权、功能授权、是否禁用、密码重置、其他用户密码找回审批。RF004/角色管理系统角色增删改查管理以及功能授权。RF005/配置管理系统字典增删改查及排序管理。RF006/访问历史系统历史操作和登陆的记录，可进行导出和分析报告。RF007/上报模板维护（一期不涉及）系统数据上报模板的增删改查管理。交换监控（XX）数据共享交换监控系统，主要实现对交换作业的运行情况、业务、节点等指标信息的监控和统计分析。功能列表功能编号/功能名称功能描述XX001/状态监控整体展示当前交换作业、节点等运行状态XX002/业务管理对每个节点上所运行的交换作业进行管理XX003/节点管理对交换节点进行管理XX004/数据统计掌握当前交换系统中的吞吐量、流量等统计信息上述功能使用角色：均为运维管理员用户，需要登录。XX001/状态监控整体展示当前交互系统的运行状态：节点运行状态、作业运行状态、吞吐量情况、异常情况等。XX002/业务管理对共享交换系统中所涉及到的业务作业进行管理，可对交换作业启动或停止，查看其运行状态。XX003/节点管理对交换节点实现增删改查管理。XX004/数据统计从多维度统计共享交换系统的运行状况以及任务完成情况。数据整合（DI）主要通过设置规则，实现数据的清洗、比对处理，并展示处理结果。

数据结构设计依据不同用途，不同侧重点以及不同使用场景，XX使用的数据库主要包括原始库、基础库、专题库。原始库来自于各部门的原始调研数据或交换数据，可能存在较多的“噪声”数据，无法直接提供有效的服务。基础库以原始库为基础，是经过清洗、比对等规则化处理后的数据。专题库则是在基础库之上，经过进一步的定制化处理、整理，生成的服务于各种业务指标或数据分析的库。开发环境配置硬件环境及网络操作系统类型配置网络环境用途CentOS6.516核，32G，1TCentOS6.58核，16G，100GCentOS6.58核，32G，100GCentOS6.58核，32G，100GCentOS6.516核，32G，1TCentOS6.58核，16G，1TCentOS6.58核，16G，1T软件环境软件用途Tomcat7.0.57http服务器PostgreSQL9.1数据库JDK1.8Java运行环境ArcG