大数据平台建设方案

大数据平台建设方案（项目需求与技术方案)一、项目背景等技术为核心的“新IT”浪潮风起云涌，信息化应用进入一个“新**(某政府部门）为积极应对“互联网+”和大数据时代的牢牢把握社会经济发展主动权和话语权。二、建设目标务工作的前瞻性和针对性，加大宏观调控力度,促进经济持续健康发展。12共享，推进信息公开，建立跨部门跨领域经济形势分析制度。3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基础支撑。三、建设原则深化应用、创新驱动”的原则,全面提升信息化建设水平，促进全省经济持续健康发展。1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求,明确总体目标和阶段性任务,科学规划建设项目.先期完成大据共享问题。2、整合资源、协同共享.对信息资源统一梳理,建立经济发3、突出重点、注重实效.以用户为中心，以需求为导向,以服务为目的，突出重点，注重实效，加强平台可用性和易用性。4、深化应用、创新驱动。深入了解用户需求，密切跟踪信四、建设方案种建设方案。1、数据采集方案。来源，通过不同的方式汇聚数据,增强分析力度，提高监测预警1、预留接口，支持其它系统各种数据的上传导入处理。将采集起来，在本平台上复用。2、支持外接数据的上传导入处理。可以将企业单位或定点监测机构的数据通过同样的方式采集起来，在本平台上复用。3、支持非结构化数据，即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。2、数据分析方案。数据类型多样、要求及时响应和数据的不确定性,而我们所面临的也正是如此。我们采用批量数据处理系统,借助于深度学习、知识计算和值来支持决策和发现新的洞察。3、业务整合方案.。1、整合处理。将原有数据通过上传或导入方式进行采集，2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本平台中，作为子系统单独存在。缺点在于数据共享难以实现。五、建设内容1、宏观经济监测预测及可视化平台政府信息化的最终目标是提高政府的决策水平,其中经济决策是核心内容。为了提高宏观调控决策水平，我们必须从依靠传统统计数据向依靠互联网非统计数据转变，从监测预测宏观经济总量向监测预测宏观经济先行指标转变,从中长期监测预测向实时监测预测转变。宏观经济监测预测及可视化平台围绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网相关数据资源,建设以“容量大、形式多、分类细、响应快”为目标的宏观经济监测预测数据库，构建基于互联网数据的宏观经济非统计指标监测预测应用平台。围绕重点产业活跃度、区域经济关联度、宏观经济走向社会外贸订单变化趋势等方面，构建大数据宏观经济先行指标和现时预测指标库，研究能客观、准确反映我省宏观经济运行状况的指标体系，编制“ft东指数”.在健全完善监测预警数据库的基础上，充分运用大数据技术列模型，切实提高预测分析的前瞻性、准确性和可靠性。积极拓宽信息发布渠道，建立可视化平台,采用Unity3D引擎，三维界面高度仿真，所见即所得。平台针对多源易构的海量数据,通过数据处理、存储管理、可视化交互分析等技术，实现图利用预测信号灯系统，形象地刻画出宏观经济总体运行状况，分析经济波动原因，及时了解各地区经济发展的不平衡性，准确判断和测定经济景气循环运行状态，提高宏观经济决策水平。2、企业信用监测预警服务平台业信用危机进行有效的预警及管理是十分重要的。企业信用监测预警服务平台，全面整合社会信用监管信息和社会公众反映信息，通过整理归类与加工，将这些信用危机信息转化为可以量化的指标体系，按照失信行为的严重程度和影响范围划分三个预警级别，分别向企业自身、金融机构、其他政府部门及全社会进行通报。纳入企业信用预警体系的企业信息包括侵犯消费者权益且不履行相关义务的信息、消费者投诉未及时处理信息、行政处罚逾23企业信用监测预警服务平台以信息技术为支撑,以信用监管为手段，全面提高信用监管信息共享程度，及时预警影响社会交易安全和社会公共安全的不良信用信息，遵循“对外警示社会和3、投资项目信息管理平台和应用，可有效解决投资建设项目管理动态过程的信息分析、信投资项目信息管理平台，支持重大项目推介，建立规范的项目审批流程和项目信息库，管理项目启动、计划、执行、监控和收尾的整个生命周期，覆盖进度、质量、成本、资源、风险等项目管理的各个要素，构建集成项目、流程、知识的信息化平台。逐步实现与相关部门业务系统的接入，形成全覆盖的投资项目管理统一工作平台，真正做好资源共享，为项目的后期评价、领导决策提供支持服务。围绕设计、招标、监理、质量、安全、进项目进行事前计划、事中控制、事后评估、全程管理的有效管控模投资项目信息管理平台，以现代项目管理方法论为基础；以项目管理为主线，全面组织、全程贯穿各个业务环节；以项目计划为依据，科学协调各个部门的工作；以成本、进度、质量为最终控制目标；以完整、及时、准确的项目信息和科学的分析模型为项目管理、决策提供依据；遵循“以计划为龙头，以合同为中心,以投资控制为目的”的现代项目管理理念，构建高效、实用的项目协同管理综合平台.4、政务数据共享交换平台政务数据共享交换平台是各个平台中的基础性和综合性平台，是解决“信息孤岛提高各类信息资源整合共享，以及信息资源的综合利用。建设政务数据共享交换平台的首要目标就是要创造一个信息交换、信息共享的方式和环境，按照统一标准和规范，建立信息快捷、方便的进行信息交换的同时精准的保证数据的一致性和准确性。安全可靠的分布式系统,对各类政务资源进行组织和管理。解决六、技术支持与平台性能1、系统架构结合该项目以大数据平台为核心，多业务子系统并存的业务需求，以及存在不同种类操作系统、应用软件、系统软件的现状，我们采用面向服务的体系结构，即SOA架构。SOA是一个组件模型，它将应用程序的不同功能单元（称为系统和编程语言。这使得构建在这样系统中的服务可以以一种统一和通用的方式进行交互.它的本质是实现服务和技术的完全分离,从而最大程度上实现服务的集成和重组。SOA技术处于从属地位,采用SOA1SOA制。2SOA的影响较低，在各个系统不断变化情况下，节省的费用会越来越多。3SOASOA服务交互示意图如下：2、技术支持1、技术领先的J2EE框架。Java2平台企业版（Java2PlatformEnterpriseEdition，J2EE）Java2署，进而提高可移植性、安全与再用价值。基核心是一组技术规范与指南，其中包含的各类组件、服务架构及技术层次，均有共J2EE基主要的技术规范有JDBC、EJB、JSP、JavaServlet、XMLJDBC问具有平台无关性。EJB提供了一个框架来开发和实施分布式商务逻辑,简化了具有可伸缩性和高度复杂的企业级应用程序的开发。JSPHTMLJava.Servlet是一种小JavaWeb.XML2、强大灵活的SSM整合框架。SSMSpringMVCSpring和Mybatis其中SpringMVCSpringFarmeWorkMVCSpring的编程支持和声明式事务支持，其主要优点有低侵入式设计、独立于应用服务器、允许将一些通用任务如.Mybatis是轻量级ORMJDBC的XMLJava的POJOsSSH,SpringMVCStruts解的使用减少开发消耗，数据库操作层采用Mybatis，统一管理SQL3、平台性能1、先进性、开放性.B/SJavaSOA二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风险,保证