大数据平台项目软件系统概要设计方案（仅用于学习的参考模板）

某地智城建设项目大数据软件系统概要设计方案引言编写目的此文档用来描述某地大数据建设项目中的设计基准。文档主要给设计开发人员、实施人员参考使用，包括程序系统的基本处理流图、程序系统的组织结构、模块划分、功能分配、接口设计、运行设计、数据结构设计和安全性设计等。系统概述系统说明大数据是智慧城的基础设施，是智慧建设的重中之重。系统任务系统目标实现我不同部门异构系统间的资源共享和业务协同，有效避免各部门多头投资、重复建设、资源浪费。实现信息资源目录体系的统一管理，为各部门提供资源的检索与定位服务，为跨部门信息资源的获取和交换；实现标准的台接入和信息交换服务，为全基础信息库、共享信息库、各专业主题信息库等的建立，提供基础运行支撑环境和标准化规范；实现认证、授权等安全服务的统一管理，为跨部门的信息交换应用，提供基础安全管理服务；为跨部门应用系统的建设，提供交换共享服务和技术支撑环境。与其他系统关系大数据台建成后，为XXX提供强有力的数据支撑。通过数据共享、交换、融合，实现各系统间的相辅相成，相互促进，将数据价值充分挖掘，提升工作效能，为公众提供更优质的服务。需求规定功能需求各功能模块设计合理，符合普通用户的操作习惯。功能界面设计合理，展现新颖，图标符合功能释义。功能模块命名具有标识性，禁止出现歧义的命名规则。涉及到安全级别较高的操作，例如数据注册、申请、使用、审批等，要强制用户登录；同时为了保证用户身份的安全性，强制用户登录后修改初始密码，设置密保；用户登录后，若一段时间内无操作，自动退出登录。分类系统、标签系统命名要具有代表性，禁止随意的命名分类、标签，影响用户理解。不同角色用户权限要明确区分并实现控制。性能需求稳定性稳定性是系统第一考虑的因素，直接关系到用户能不能使用。从系统设计、编码实施、测试、发布等各环节都要考虑系统的稳定性，负载均衡、数据容灾备份等都是不可缺少的手段。尤其是在系统进入正式运行阶段，更要制定好系统以及数据出现问题时的应对措施，避免出现不可恢复的“灾难”。时间响应性数据是系统的灵魂，几乎任何一个操作都是在操作数据。在网络允许的情况下，应尽量保证操作数据响应时间在用户的感官视觉时间范围内。精确性在从数据库中读取数据时，要求数据定位准确；在向数据库写入数据时，要求对录入数据进行校验。灵活性当需求发生某些变化时，系统整体设计以及实现基本不发生变化，只需通过简单配置便可满足要求。数据需求时效性大数据中数据主要来自于XXX的数据共享，为了保证数据的时效性，需制定合理的数据交换周期，严格按照周期更新数据，才能使系统提供的服务保持动态特性。数据清洗从XXX获取到的数据格式千差万别，同时存在着“噪声”数据。必须制定规则，将数据清洗、归一化处理后，入库统一管理。定制化需求数据经过数据清洗后的数据进入基础数据库，此库是大数据台的基石。要保证该数据库的唯一性和“洁净”，其他定制化需求需要改造数据库结构的要通过交换工具导出分析库进行操作。安全性在数据交换、共享传输过程中，通过非对称（用户登录、公用接口部分）方式来加密。对敏感信息的展示进行遮挡。其他网络需求大数据系统台为B/S架构系统，同时数据交换共享过程中也需要各方网络能够互通互联，需要网络环境支持。存储需求本台交换到大量数据，同时随着数据的定期更新、积累，数据量将不断增加，必须保证足够的存储空间。服务器需求台中涉及数据库集群、交换节点集群、负载均衡集群等，需要足够数量和相应配置的服务器。总体设计数据结构设计依据不同用途，不同侧重点以及不同使用场景，大数据台使用的数据库主要包括原始库、基础库、专题库。原始库来自于各部门的原始调研数据或交换数据，可能存在较多的“噪声”数据，无法直接提供有效的服务。基础库以原始库为基础，是经过清洗、比对等规则化处理后的数据。专题库则是在基础库之上，经过进一步的定制化处理、整理，生成的服务于各种业务指标或数据分析的库。开发环境配置运行环境配置系统安全在大数据台建设和运行过程中，定期对系统进行整体的风险评估。发现安全隐患，及时调整安全策略，实行动态防护。根据系统的重要程度和自身安全需求，依据国家标准《计算机信息系统安全保护等级划分准则》，实行等级防护、适度防护等措施。要求所有被采用的安全产品都必须提供开放接口，以利于将来建设统一的安全管理中心，对安全事件进行有效及时的监控和响应。将防护重点放在系统层和应用层的安全上。