概要设计-可视化平台

沧州智慧城市建设办公室城市大数据中心建设项目沧州智慧城市建设办公室城市大数据中心建设项目-数据可视化平台概要设计文档V1.0版本修订历史日期作者/修订人章节修改内容版本2018.05.20沈化鹏V1.0目录1 引言31.1 文档概述32 项目概述32.1 项目背景32.2 建设目标33 概要设计43.1 系统功能架构43.2 系统技术架构43.3 项目部署设计53.3.1 系统硬件环境53.3.2 系统软件环境53.3.3 系统部署说明63.4 性能设计64 安全设计74.1 数据安全74.2 应用安全74.3 物理安全94.4 网络安全104.5 平台安全114.6 终端安全114.7 管理安全1221 引言1.1 文档概述本概要设计说明书编写的目的是为设计系统提供技术理论以及框架设计支持。本说明书的预期读者为系统设计人员、软件开发人员、软件测试人员和项目评审人员。2 项目概述2.1 项目背景商业智能平台软件是新一代数据分析平台，提供一站式数据存储平台和一站式管理平台，能够连接各类不同的数据库或分布式数据库，并支持对各种大数据存储平台的连接和访问，对数据进行合并、搜索、可视化和分析，可以通过商业智能平台软件，获得前所未有的商业见解。,通过为客户提供一站式存储与管理服务，帮助客户从容面对数据的迅速增长和业务系统对存储的不确定性需求风险，从而降低客户TCO，满足业务增长和变化的需要。2.2 建设目标商业智能平台软件的目标是简化大数据分析的过程，让每一个人都能快速从数据中获得决策智慧。通过可视化的设计平台，可以实现决策支持、财务分析，预警分析，仪表板，绩效分析，经营分析等各类数据应用，能够快速进行数据挖掘，发挥数据的价值。借助大数据技术，让企业有能力从浩瀚的数据海洋中，快速发现潜在的规律与趋势，挖掘出全面有价值的信息和知识，实现智慧决策，形成企业的竞争优势。3 概要设计3.1 系统功能架构1）数据连接支持多种数据源，支持多种大数据平台2）内嵌一站式数据存储平台内嵌HADOOP,SPARK，HBASE，IMPALA等大数据平台，直接使用商业智能平台软件3）大数据可视化数据展现可视化，可以实现决策支持、财务分析，预警分析，仪表板，绩效分析，经营分析等各类数据分析应用。4）自助交互分析商业智能平台软件提供针对大数据的即席查询、交互式统计分析、多维分析等系列的分析与统计分析平台。3.2 系统技术架构基于分布式内存迭代计算框架Spark，全面支持七大应用平台。目前国内涵盖数据存储、数据可视化、数据挖掘最完整产品方案3.3 项目部署设计商业智能平台软件纯java开发，支持windows、linux、unix等主流操作系统，可进行跨平台操作，兼容firefox、IE等主流浏览器。商业智能平台软件提供了一键部署模式，自带JAVA环境，自带数据库，解压替换 licence 即可正常使用，整个过程方便简单，无需安装任何插件。3.3.1 系统硬件环境硬件配置 cpu=8G,内存=16G，硬盘：1T3.3.2 系统软件环境1）服务器端：操作系统：Windows,Linux,Unix等常见类型数据库：MS SQLServer,Oracle,DB2,MySQL等常见关系型数据库大数据平台：hadoop，hive，HBase，impala等应用服务器：Tomcat,Weblogic,WAS,JBOSS2）Web客户端IE内核的浏览器，Webkit(Safari,Chrome)内核的浏览器，firefox内核浏览器3.3.3 系统部署说明商业智能平台软件提供了灵活的应用与集成方式，平台划分成多个独立的功能模块，根据需要灵活的选择不同产品所需的模块与组件。例如，用户可根据自身需求选择是否使用图说或者自助分析等模块。商业智能平台软件提供登录验证与权限集成接口，可通过接口实现单点登录集成，基于权限集成接口可为用户实现与已有业务系统的用户与权限数据同步。3.4 性能设计国际标准hadoop,spark 大数据内存计算技术。4 安全设计4.1 数据安全1、数据完整性能够检测到系统管理数据、鉴别信息和重要业务数据在传输过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。能够检测到系统管理数据、鉴别信息和重要业务数据在存储过程中完整性受到破坏，并在检测到完整性错误时采取必要的恢复措施。2、数据保密性采用加密或其他有效措施实现系统管理数据、鉴别信息和重要业务数据传输保密性。采用加密或其他保护措施实现系统管理数据、鉴别信息和重要业务数据存储保密性。3、数据备份与恢复1) 提供本地数据备份与恢复功能， 完全数据备份至少每天一次，备份介 质场外存放。2) 提供异地数据备份功能，利用通 信网络将关键数据定时批量传送至备 用场地。3) 采用冗余技术设计网络拓扑结 构，避免关键节点存在单点故障。4) 提供主要网络设备、通信线路和 数据处理系统的硬件冗余，保证系统 的高可用性。4.2 应用安全1、身份鉴别1) 提供专用的登录控制模块对登录用户进行身份标识和鉴别。2) 对同一用户采用两种或两种以上组合的鉴别技术实现用户身份鉴别。3) 提供用户身份标识唯一和鉴别信 息复杂度检查功能，保证应用系统中 不存在重复用户身份标识，身份鉴别信息不易被冒用。4) 提供登录失败处理功能，可采取结束会话、限制非法登录次数和自动退出等措施。5) 启用身份鉴别、用户身份标识唯 一性检查、用户身份鉴别信息复杂度 检查以及登录失败处理功能，并根据 安全策略配置相关参数。2、访问控制1) 提供访问控制功能，依据安全策略控制用户对文件、数据库表等客体的访问。2) 访问控制的覆盖范围应包括与资源 访问相关的主体、客体及它们之间的 操作。3) 由授权主体配置访问控制策略， 并严格限制默认帐户的访问权限。4) 授予不同帐户为完成各自承担任务所需的最小权限，并在它们之间形成相互制约的关系。5) 具有对重要信息资源设置敏感标 记的功能。6) 依据安全策略严格控制用户对有敏感标记重要信息资源的操作。3、安全审计1) 提供覆盖到每个用户的安全审计 功能，对应用系统重要安全事件进行审计。2) 保证无法单独中断审计进程，无 法删除、修改或覆盖审计记录。3) 审计记录的内容至少应包括事件的日期、时间、发起者信息、类型、描述和结果等。4) 提供对审计记录数据进行统计、查询、分析及生成审计报表的功能。4、剩余信息保护1) 保证用户鉴别信息所在的存储空间被释放或再分配给其他用户前得到完全清除，无论这些信息是存放在硬盘上还是在内存中。2) 保证系统内的文件、目录和数据库记录等资源所在的存储空间被释放或重新分配给其他用户前得到完全清除。5、通信完整性采用密码技术保证通信过程中数 据的完整性。6、通信保密性1) 在通信双方建立连接之前，应用系统应利用密码技术进行会话初始化验证。2) 对通信过程中的整个报文或会话过程进行加密。7、抗抵赖1) 具有在请求的情况下为数据原发者或接收者提供数据原发证据的功能。2) 具有在请求的情况下为数据原发者或接收者提供数据接收证据的功能。8、软件容错提供数据有效性检验功能，保证通过人机接口输入或通过通信接口输入的数据格式或长度符合系统设定要求。提供自动保护功能，当故障发生时自动保护当前所有状态，保证系统能够进行恢复。当应用系统的通信双方中的一方在一段时间内未作任何响应，另一方应能够自动结束会话。能够对系统的最大并发会话连接数进行限制。能够对单个帐户的多重并发会话进行限制。能够对一个时间段内可能的并发会话连接数进行限制。能够对一个访问帐户或一个请求 进程占用的资源分配最大限额和最小限额。能够对系统服务水平降低到预先 规定的最小值进行检测和报警。提供服务优先级设定功能，并在 安装后根据安全策略设定访问帐户或请求进程的优先级，根据优先级分配系统资源。4.3 物理安全1、环境安全：场地、机房的温度、湿度、照明应满足一定条件，供电系统24小时运转，并有防盗系统、防静电、防辐射的相关保护。2、设备安全：设备防火、防水、物理损害措施；设备防火灭火正常检查；设备定期检查火灾隐患；供暖系统、空调等保障；设备电源保障；数据传输线路维护与保障；主机等设备保障；可移动数据保障；存储介质维护；磁盘磁带库访问的介质的维护等。3、媒体安全：信息消除技术、介质的消毁技术需达到国家相关标准。4、容灾备份：计算机系统分布在不同的地理位置，当灾难发生时，不会使整个系统失效。4.4 网络安全1、内网和外网间的边界防护在条件允许的情况下，实现保密内网与外网的物理隔离，从而将攻击者、攻击途径彻底隔断。即使在部分单位，内网、外网有交换数据的需求，也必须部署安全隔离和信息交换系统，从而实现单向信息交换，即只允许外网数据传输到内网，禁止内网信息流出到外网。2、对核心内部服务器的边界防护内网中常包括核心服务器群、内网终端两大部分，核心服务器保存着大部分保密信息。为避免内网终端非法外联、窃密者非法获取核心服务器上的保密数据，就要实现核心服务器与内网终端间的边界防护。感染木马时，核心服务器的边界安全网关能够阻止终端的越权访问，并检查是否含有木马，然后进行清除。3、防止不安全的在线非法外联内网与外网的连接点必须做到可管、可控，必须有效监控内网是否存在违规拨号行为、无线上网行为、搭线上网行为，避免内用户采取私自拨号等方式的访问互联网而造成的安全风险。4、防止离线非法外联或不安全的接入行为要限制终端设备，如PC机、笔记本，直接接入并访问内网区域，对于不符合安全条件的设备(比如没有安装防病毒软件，操作系统没有及时升级补丁，没有获得合法分配的IP地址或离线外联过)，则必须禁止进入。5、木马病毒的查杀和检测能力由于内部网络中的计算机数量很多，要确保网络中所有计算机都安装防木马软件，并实施实施统一的防木马策略。防木马软件至少应能扫描内存、驱动器、目录、文件和Lotus otes数据库和邮件系统；具备良好的检测和清除能力；支持网络远程自动安装功能和自动升级功能。6、系统自身安全防护木马在主机中的隐藏、执行和攻击最后都是体现在操作系统层面。要确保操作系统及时升级，防止漏洞被木马和病毒利用。在及时升级操作系统的基础上，要实时对计算机进程、访问端口的进行监控，以及时发现异常与木马；同时要有注册表防护手段，保障木马不能修改系统信息，从而使木马不能隐藏与自动运行。4.5 平台安全系统将应用于多种平台系统，需对不同的操作系统具备可运行性和可兼容性。系统需建立安全机制，采用安全技术建立防火墙、防止网页篡改、防止病毒入侵。4.6 终端安全为了防止不安全的在线非法外联、离线非法外联或不安全的接入行为，必须把终端防护系统与其它网关防护技术结合起来。1、通过终端防护系统的统一策略配置的主机防火墙和主机IDS，能实现对桌面系统的网络安全检测和防护，当IDS检测到威胁后，能与主机防火墙进行联动，自动阻断外部攻击行为。2、通过终端防护系统，可对桌面系统的远程拨号行为、无线上网行为、搭线上网行为进行控制，发现存在违规外联的主机，给出报警，通过防火墙切断该主机与网络的连接，避免导致内网遭到更大的破坏。3、通过终端防护系统的安全状态检测策略，可监测进入内网的终端设备，对于不符合安全条件的设备，可不允许其接入内网。4、通过终端管理系统监管桌面行为，对桌面系统上拨号行为、打印行为、外存使用行为、文件操作行为的监控，通过策略定制限制主机是否允许使用外存设备，确保机密数据的安全，避免了内部保密数据的泄漏。5、通过终端管理系统，收集的事件进行详尽的分析和统计，支持报表功能，实现分析结果可视化，以满足安全审计的需求。4.7 管理安全制定运行维护管理制度，依据制度对人员、物理环境与设施、设备与介质、信息安全保密等方面进行规范。人