互联网大厂大数据平台方案设计

互联网大厂大数据平台方案设计建设建设方案第一章项目概述 1 2 2 4 5 1.5经济与社会效益 7 7 81.6主要结论与建议 9 9 Ⅱ 第二章项目建设单位概况 子)122.1.2会务室 2.1.3秘书室 2.1.4信息室 2.1.5督查督办室(挂行政执法监督室牌子) 2.1.6法制业务室 2.1.7外事室 2.1.8保密档案室 2.1.9区调研室 2.1.13区信息中心 2.2.1实施机构 2.2.2领导机构 2.2.3工作机构 Ⅲ第三章需求分析和项目建设的必要性 3.1.3数据库现状 3.2.1政务目标分析 3.3.2业务量分析 3.4.1数据处理量 3.4.2数据存储量 3.4.3传输流量 3.5.1大数据中心需求分析 3.5.3数据库系统需求分析 3.5.4大数据应用需求分析 3.6.2应用现状 3.7项目建设的必要性 第四章总体建设方案 4.1.2高安全性 4.1.3高可靠性 4.1.4系统先进性 4.1.5兼容性 4.1.6高可扩展性 4.1.7高可维护性 4.2.1总体目标 4.2.2一期目标 4.2.3后期目标 4.3.1总体建设任务 4.3.2一期建设内容 V4.4总体设计原则和策略 904.5总体设计方案 4.5.1系统总体架构 4.5.2大数据中心 4.5.3大数据汇聚与共享平台 4.5.4数据库系统 4.5.5综合应用系统 第五章一期项目建设方案 5.1建设目标、规模与内容 5.1.1建设目标 5.1.2建设规模 5.1.3建设内容 5.2大数据中心 5.2.1XXX大数据支撑平台 5.2.2安全保障系统 5.2.3计算机网络系统 5.2.4基础支撑软件 5.2.5机房建设方案 5.2.6基础支撑系统软硬件配置 5.3大数据汇聚与共享平台 5.3.1需求分析 5.3.2总体设计 5.3.3资源数据采集 5.3.9数据交换 5.4数据库系统 5.4.2基础数据库系统 5.5.1城市运行可视化平台 5.5.2政务服务 2055.5.3社会治理 217 5.6.1数据交换与共享规范 第六章后期项目建设方案 6.1.1建设目标 6.2.1需求分析 6.3大数据汇聚与共享平台 6.3.1需求分析 6.3.2建设内容 6.4数据库系统 6.4.1需求分析 2466.4.2建设内容 247 6.5.1城市运行可视化平台 2486.5.2社会治理 2546.5.3安全保障 6.5.4商事服务 6.5.5宏观调控 3006.5.6民生服务 第七章项目招标方案 7.1招标范围 7.2招标方式 7.3招标组织形式 317第八章环保、消防、职业安全和卫生 8.1环境影响分析 8.2环保措施及方案 8.3消防措施 8.4职业安全和卫生措施 第九章节能分析 9.1用能标准及节能设计规范 9.2项目能源消耗种类和数量分析 9.3项目所在地能源供应状况分析 9.4能耗指标 9.5节能措施和节能效果分析 第十章项目组织机构和人员培训 10.1领导和管理机构 10.2项目实施机构 10.3运行维护机构 10.4技术力量和人员配置 10.5.1培训目的 10.5.3培训内容 11.1项目建设期 11.2实施进度计划 327 12.3项目评价指标分析 13.1风险识别和分析 X1第一章项目概述1.1项目名称1.2项目建设单位及负责人、项目责任人1.3编制依据本次项目建设主要依据国家及国信办提出的大数据发展规划，以及xx省XXX市委市政府提出的xx省发展计划和要求进行方案规划设计，方案编制依据主要包括以下内容：《国家电子政务工程建设项目管理暂行办法(发改委55号令)》《关于运用大数据加强对市场主体服务和监管的若干意见》《国务院关于印发促进大数据发展行动纲要的通知》(国发〔2015〕50号)《关于组织实施促进大数据发展重大工程的通知》《xx省云计算发展规划(2014-2020年)》《xx省促进大数据发展行动计划(2016-2020年)》《xx省政务服务大数据库建设方案(2016-2017)》2《XXX市电子政务信息资源共享平台》《关于加快推进我市信息基础设施建设的意见》《关于加强信息资源开发利用工作的若干意见》1.4建设目标、规模、内容、建设周期按照《xx省促进大数据发展行动计划》等文件中对大数据平台的功能和要求，结合XXX政府工作的实际需要，建成由大数据中心、综合应用系统、数据库系统、大数据汇聚与共享平台和标准规范体系等组成的XXX大数据平台。数据是大数据平台建设的基础，搭建大数据汇聚与共享平台，采集并整合各个部门的相关数据，建立政务资源数据库系统、基础数据库系统和主题数据库系统，并且建立对数据库系统的管理、维护、更新和使用的长效管理机制，实现政府部门之间的互联互通、资源共享，各个部门可以及时、方便的相互获取与当前业务密切相关的其他部门共享的业务信息资源，优化信息共享流程，促进跨部门的业务协同，有效避免信息不对称造成的监管漏洞，有利于开展多个部门的联合监管。根据收集上来的数据，制定创新应用，进行数据挖掘、碰3撞分析，发掘隐含问题，破解政府治理难题，减少财政损失。以信息化手段，建立政务管理的“虚拟大部制”,从前端队伍融合、信息共存和工作联动等层面，对现有行政管理组织机制、行政管理职责进行有效整合，促进多部门信息交互、业务协作和快速沟通协调，实现更具可靠性和高效性的部门业务基于XXX政府各单位业务领域进行信息资源整合，对信息数据进行高效发掘、科学分析研判，并借助大提供科学、合理、有效的辅助决策方案，为领导者提供切实可靠的决策辅助参考。对XXX政府现有政务、民生的各类服务资源进行高效整合，评估利弊，查缺补漏，进行针对性改进，通促进相应机制及业务流程改变，有效提升XXX政府各单位公众服务能力水平。41.4.2建设规模大数据中心包含XXX大数据支撑平台、安全保障系统、计算机网络系统、基础支撑软件。大数据支撑平台含10台虚拟化平台服务器、1台虚拟化平台管理PC、40套虚拟化平台管理软件、1台Oracle数据库服务器、1套磁盘阵列扩容、9台新增大数据分析节点服务器、9套大数据分析节点服务器扩容、18套大数据分析处理平台及1安全保障系统包含1套主机安全、1套应用安全及1套数计算机网络系统包含2台核心交换机、2台管理交换机及1台路由器1套计算机网络管理软件；基础支撑软件要建设4套数据库管理系统、28套虚拟机操作系统、1套地理信息软件。建立大数据汇聚与共享平台，采集全区30个部门的数据，整合并有效利用全区数据信息资源。建立政务资源数据库系统、共享数据库、基础数据库系统及主题库数据库系统。5其中政务资源库系统保存的是全XXX各个部门的政务资源数据，并在此基础上，经过数据清洗并参照资源目录形成共享数据库，再次经过数据清洗整合形成基础数据库系统，并根据业务需求对应完成针对综合应用的主题数据库系统建设。基础数据库系统包含4大基础库分别是人口基础信息库、法人单位基础信息库、自然资源和空间地理基础信息库及宏观经济信其中一期建立政务资源数据库系统、共享数据库系统及4大基础数据库系统，并根据应用需要建设对应的主题数据库。建立包含政务服务、社会治理、安全保障、商事服务、宏观调控、民生服务6大方面的综合应用系统及供领导掌握全区运行情况的城市运行可视化平台。一期建设政务服务及社会治理2大应用的部分内容及城市运行可视化平台的部分内容。将各个部门的自建应用系统迁移到大数据平台上，实现系统的统一管理，统一运维。1.4.3建设内容XXX政府大数据平台总体建设包括：大数据中心、大数据汇聚与共享平台、数据库系统、综合应用系统等几部分内容。6(1)大数据中心包含XXX大数据支撑平台、安全保障系(2)大数据汇聚与共享平台包含数据采集、数据整合及(3)数据库系统包括政务资源数据库系统、共享数据库系统保存的是全XXX各个部门的政务资源数据，并在此基础数据库包含4大基础库：人口基础信息库、法人单位信息资源(4)综合应用系统包含政务服务、社会治理、商事服务、宏观调控、民生服务、公共安全保障6大应用体系。另外综合(5)将各部门自建的业务系统迁移到大数据平台上，实71.4.4建设周期项目一期的建设周期为16个月，包含6个月的前期准备1.5经济与社会效益通过建设统一的软硬件支撑平台和接口系统，避免了各个部门重复建设机房、重复购买服务器硬件设备和系统软件、重复开发接口程序，并且避免由此造成的接口复杂、管理困难、维护成本高等问题。云数据中心将所有IT基础硬件设备进行统一有效的资源切割、资源调配和资源整合，按照区内各个部门的实际应用需求合理分配计算、存储资源，最可以减少各部门单独管理和维护的成本，同时避免由此造成的数据不一致等问题。首先，可通过数据碰撞，破解政府治理难题，如企业偷漏税、证照分离等，税务是财政收入主体，通过大数据监督企业及时上税是保障政府财政收入的有效手段；其次，可对突发事件进行及时有效地预测预警，通过事前8防治，将可能的灾害消除在萌芽状态或通过采取相关应对措施有效地减少灾害损失。力通过将具体行业、企业的经济情况与整个宏观经济面进行融合分析，进一步加强政府决策的针对性和和实际效应，并进一步引入大数据分析，对接GIS、企业等其他部门和机构的数据资源，使政府能够实时准确的监测经济现状，分析评估当前经济现状，预测未来经济走向，进行科学规划。1.5.2社会效益通过大数据平台建设实现政府部门之间的互联互通、资源共享，从而避免各个部门重复采集数据、重复录入，提高行政效率，有助于实现协同办公。各个政府部门通过大数据平台共享其他部门的信息，全面、及时、准确掌握管理对象的情况，有助于实现精细化管理。信息共享可有效避免信息不对称造成的监管漏洞，有利于开展多个部门的联合监管。91.6主要结论与建议经充分调研XXX政府各部门的工作需求，依托XX资源对XXX大数据平台进行设计。项目的实施将XX作提供强有力的支撑，显著增强XXX政府内部工作和对外服1.6.2加强XXX大数据平台建设的组织领导1.6.3采用先进技术和成果，提升XXX大数据平台的科技含量开展XXX大数据平台建设和应用开发工作。充分利用国1.6.4XXX大数据平台建设应遵循硬软件并重的原则XXX大数据平台建设涉及到许多硬件系统和软件系统的1.6.5高度重视信息资源的规划、采集、整合和利用1.6.6建立XXX大数据平台运行的保障队伍XXX大数据平台是一项复杂的系统工程，建设过程中和第二章项目建设单位概况2.1项目建设单位与职能项目的建设单位是XXX政府人民政府办公室。2.1.1综合室(挂行区小汽车定编办、政复议审批室牌子)主要职责：负责区委办、区府办的组织人事、纪检监察、2.1.2会务室2.1.3秘书室府办)本单位的政务公开工作，包括政府公报的编印、上传政2.1.4信息室《XXX工作信息》;负责指导协调全区政务公开工作。统筹指依申请公开的受理，并根据申请内容转至区委办(区府办)及2.1.5督查督办室(挂行政执法监督室牌子)组织办理市、区人大议案(建议)和政协提案；负责向区委、门、镇(街道)规范性文件和重大行政处罚决定的审查、备案责组织开展行政执法责任制工作(包括行政执法评议考核、行政执法人员培训及行政执法证件管理工作);负责行政执法投2.1.7外事室主要职责：负责全区因公出国(境)证件的审批和办理工负责全区因公出国(境)报批工作；负责全区外事礼宾接待工室、政府办公室因私出国(境)证件的管理工作。2.1.8保密档案室电子政务内网终端(系统)使用和相关设备保密管理，密级文件(含涉密资料)收发、办理、清退、销毁、立卷归档等工作；2.1.9区调研室《XXX调研》。件的管理工作等。为参照公务员法管理的事业单位，副科级建制，隶属区委办公室、政府办公室。主要职责：负责组织编制全区突发公共事件总体应急预案；负责承办、转办各类电话、信函和传真；负责按上级有关规定，向市报送突发公共事件信息；负责办理区委、政府、区突发公共事件应急委员会有关应急工作的决定事项，督促落实区领导有关批示、指示；负责承办我区应急管理的专题会议、活动和文电等工作；负责根据上级应急管理的政策、规定，协调组织有关方面研究提出区应急管理的政策、规定和规划建议；负责协助区领导处置特别重大、重大和较大突发公共事件，协调指导特别重大、重大和较大突发公共事件相关工作；负责指导各镇(街道)、政府各部门应急体系、应急信息平台的建设，协助和督促检查相关应急管理和处置工作；负责指导特别重大、重大和较大突发公共事件的预防预警、应急演练、应急处置、调查评估、信息发布、应急保障和救援；负责拟订全区应急专用物资保障方案和应急装备、器材配置方案，并组织实施；承办区委、政府和上级有关部门交办的其他事项。为财政全额拨款事业单位，隶属区委办公室、政府办公室。主要任务：承担XXX政府委、政府总值班工作，履行值班应急、信息汇总和综合协调职能，发挥运转枢纽作用，实行24小时值班制度。承办区委、政府领导和市委、市政府总值班室交办事项。办理各镇街和区属各单位向区委、政府报送的紧急重大事项，及时掌握并向区领导和市委、市政府总值班室报告我区重大情况和动态，传达区领导的有关重要批示和指示。加强突发公共事件的预测、跟踪和研判，做好突发公共事件的处置、评估和报告工作。保证区委、政府与各镇街、区直各部门、各有关单位联络通畅。指导全区值班工作。主要任务：负责全区电子政务建设中技术和应用标准的监督检查，协调推进电子政务建设；协助信息化主管部门推广信息化领域新技术、新标准和促进社会各领域(除企业信息化)的信息化建设；负责政府门户网站、办公自动化系统等电子政务平台的建设及运维；负责区政务外网的建设和管理；负责全区信息化建设的技术管理和服务；协助开展全区网络与信息安全工作；协助推进“智慧城市”相关工作；组织、协调、指导全区信息资源开发和信息应用系统、信息网络的规划和建设；承办区信息化领导小组办公室和上级有关部门交办的其他事2.2项目实施机构与职责项目的实施单位是XXX政府人民政府办公室中的区信息(1)负责全区电子政务建设中技术和应用标准的监督检(2)协助信息化主管部门推广信息化领域新技术、新标准和促进社会各领域(除企业信息化)的信息化建设；(3)负责政府门户网站、办公自动化系统等电子政务平(4)负责区政务外网的建设和管理；(5)负责全区信息化建设的技术管理和服务；(6)协助开展全区网络与信息安全工作；协助推进“智(7)组织、协调、指导全区信息资源开发和信息应用系(8)承办区信息化领导小组办公室和上级有关部门交办2.2.2领导机构成员：相关部门负责人项目领导小组全面负责项目建设的领导工作，其主要职责是：负责审定建设规划、技术方案、项目投资、实施计划等事项，负责协调系统实施中的重大问题。2.2.3工作机构项目领导小组下设工作小组，由区人民政府办公室副主任任组长，以及信息中心相关人员组成。职责如下：1.负责委托工程设计、组织编织工程实施方案和实施管理工作；2.负责向领导小组汇报工程实施进度；3.负责管理协调工程建设中的日常事务；4.负责工程实施过程中的内部运作关系的协调工作；5.负责工程实施中相关单位的协调工作。3.1项目建设现状与存在的问题目前XXX政府没有建立统一的大数据中心，各个单位的目前，XXX政府目前大约有52个区直部门，共有150个1.硬件资源利用率低，一般小于30%,平时大量的资源2.各单位新业务上线周期长，硬件、软件、业务要分别3.在传统主机存储模式之下的服务器各自独立维护，缺培训，造成运维要求高、运维效果不好、成本高；4.政府各部门有价值的数据资源开放程度低，基本处于死锁状态，无法顺畅流动；数据资源建设和应用水平低，大多只重视数据的简单存储，很少有针对后续应用需求加工整理；数据资源普遍存在质量差，标准规范缺乏，管理