大数据平台建设项目需求与技术方案

第第页大数据平台建设项目需求与技术方案大数据平台建设方案（项目需求与技术方案）一、项目背景“十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根天性变动,一场以云计算、大数据、物联网、移动应用等技术为核心的“新IT”浪潮风起云涌，信息化应用进入一个“新常态”。***（某政府部门）为乐观应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。大数据平台整合省社会经济发展资源，打造集数据手记、数据处理、监测管理、猜测预警、应急指挥、可视化平台于一体的大数据平台，以信息化提升数据化管理与服务本领，及时准确掌握社会经济发展情况，做到“用数据说话、用数据管理、用数据决策、用数据创新”，牢牢把握社会经济发展自动权和话语权。二、建设目标大数据平台是顺应目前信息化技术水平发展、服务政府职能改革的架构平台。它的紧要目标是强化经济运行监测分析，实现企业信用社会化监督，建立规范化共建共享投资项目管理体系，推动政务数据共享和业务协同，为决策供应及时、准确、可靠的信息依据，提高政务工作的前瞻性和针对性，加大宏观调控力度，促进经济连续健康发展。1、订立统一信息资源管理规范，拓宽数据取得渠道，整合业务信息系统数据、企业单位数据和互联网抓取数据，构建汇聚式一体化数据库，为平台打下坚实稳固的数据基础。2、梳理各相关系统数据资源的关联性，编制数据资源目录，建立信息资源交换管理标准体系，在业务可行性的基础上，实现数据信息共享，推动信息公开，建立跨部门跨领域经济形势分析制度。3、在大数据分析监测基础上，为政府把握经济发展趋势、预见经济发展潜在问题、辅佑襄助经济决策供应基础支撑。三、建设原则大数据平台以信息资源整合为重点，以大数据应用为核心，坚持“统筹规划、分步实施，整合资源、协同共享，突出重点、重视实效，深化应用、创新驱动”的原则，全面提升信息化建设水平，促进全省经济连续健康发展。1、统筹规划、分步实施。结合我省经济发展与改革领域实际需求，明确总体目标和阶段性任务，科学规划建设项目。先期完成大数据平台的整体架构建设，后期分步完成业务系统的整合及相互间数据共享问题。2、整合资源、协同共享。对信息资源统一梳理，建立经济发展与改革信息标准资源库和数据规范，渐渐除去“信息孤岛”，加快推动数据资源整合，建设共享共用的大数据中心，实现业务协同。3、突出重点、重视实效。以用户为中心，以需求为导向，以服务为目的，突出重点，重视实效，加强平台可用性和易用性。4、深化应用、创新驱动。深入了解用户需求，紧密跟踪信息技术发展趋势，不绝深化应用、拓展新技术在应用中的广度和深度，促进跨界融合，丰富管理和服务手段。四、建设方案为了保证项目的顺利进行和建设目标的可行性，我们采取如下几种建设方案。1、数据手记方案。我们统一信息资源标准规范，建立多维度数据库，拓宽数据来源，通过不同的方式汇聚数据，加强分析力度，提高监测预警的准确性和时效性。1、预留接口，支持其它系统各种数据的上传导入处理。将现存有关经济运行业务系统中的历史数据和时效数据，通过上传数据文件至服务器、分析提取有效数据导入服务器数据库等方式手记起来，在本平台上复用。2、支持外接数据的上传导入处理。可以将企业单位或定点监测机构的数据通过同样的方式手记起来，在本平台上复用。3、支持非结构化数据，即搜寻引擎数据、社交媒体数据、地理空间数据和音视频数据等等。2、数据分析方案。大数据之大并不是难点所在，其真正难以应付的挑战来自于数据类型多样、要求及时响应和数据的不确定性，而我们所面对的也正是如此。我们采用批量数据处理系统，借助于深度学习、知识计算和可视化等大数据分析技术，通过对数据的批量处理挖掘其中的价值来支持决策和发现新的洞察。3、业务整合方案。在对社会发展相关业务子系统充分调研基础上，结合项目需求，可对其进行整合或嵌入处理（本方案整合公共信用信息服务平台、投资项目信息管理平台等）。1、整合处理。将原有数据通过上传或导入方式进行手记，原有功能模块整合到本平台中，合二为一，完美的将数据汇聚起来。缺点是耗时较长。2、嵌入处理。以单点登录的方式将原有系统链接嵌入到本平台中，作为子系统单独存在。缺点在于数据共享难以实现。五、建设内容1、宏观经济监测猜测及可视化平台政府信息化的最终目标是提高政府的决策水平，其中经济决策是核心内容。为了提高宏观调控决策水平，我们必需从依靠传统统计数据向依靠互联网非统计数据变动，从监测猜测宏观经济总量向监测猜测宏观经济先行指标变动，从中长期监测猜测向实时监测猜测变动。宏观经济监测猜测及可视化平台围绕网络搜寻、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网相关数据资源，建设以“容量大、形式多、分类细、响应快”为目标的宏观经济监测猜测数据库，构建基于互联网数据的宏观经济非统计指标监测猜测应用平台。围绕重点资产活跃度、区域经济关联度、宏观经济走向社会预期、社会消费热点、大宗商品供求及价格走势、全国就业形势、外贸订单更改趋势等方面，构建大数据宏观经济先行指标和现时猜测指标库，研究能客观、准确反映我省宏观经济运行情形的指标体系，编制“山东指数”。在健全完善监测预警数据库的基础上，充分运用大数据技术和理念，加强数据挖掘力度，强化定量分析，建立宏观经济分析系列模型，切实提高猜测分析的前瞻性、准确性和可靠性。乐观拓宽信息发布渠道，建立可视化平台，采用Unity3D引擎，三维界面高度仿真，所见即所得。平台针对多源易构的海量数据，通过数据处理、存储管理、可视化交互分析等技术，实现图形化数据查询、可视化关联分析、证据链和情报线索发掘等功能。利用猜测信号灯系统，形象地刻画出宏观经济总体运行情形，分析经济波动原因，及时了解各地区经济发展的不平衡性，准确推断和测定经济景气循环运行状态，提高宏观经济决策水平。2、企业信用监测预警服务平台企业信用危机不但给社会带来严重危害，也是关系到企业自身生死存亡的重点事件，它是中国企业乃至中国市场经济发展的巨大障碍。因此，建立企业信用危机的预警机制和管理机制，对企业信用危机进行有效的预警及管理是十分紧要的。企业信用监测预警服务平台，全面整合社会信用监管信息和社会公众反映信息，通过整理归类与加工，将这些信用危机信息转化为可以量化的指标体系，依照失信行为的严重程度和影响范围划分三个预警级别，分别向企业自身、金融机构、其他政府部门及全社会进行通报。纳入企业信用预警体系的企业信息包含侵害消费者权益且不履行相关义务的信息、消费者投诉未及时处理信息、行政惩罚逾期未执行信息、查无下落企业信息等23种信息。可以动态配置预警信息项目和相应预警等级，加强监测预警的全面性和快捷性。企业信用监测预警服务平台以信息技术为支撑，以信用监管为手段，全面提高信用监管信息共享程度，及时预警影响社会交易安全和社会公共安全的不良信用信息，遵奉并服从“对外警示社会和企业；对内明确重点，乐观采取应对措施”的原则，强化企业信用监管防范机制，有力推动“信用保税区”建设，加强企业信用监督管理的自动性、前瞻性，更好地服务经济发展，减少交易风险，促进企业信用监管到位，实现企业信用的社会化监督。3、投资项目信息管理平台建设投资项目（特别是一些大型项目）具有管理上的多而杂性特点，紧要是建设周期长、参建方多。投资项目信息管理平台的建立和应用，可有效解决投资建设项目管理动态过程的信息分析、信息构建，实现各参建方信息共享的目的。投资项目信息管理平台，支持重点项目推介，建立规范的项目审批流程和项目信息库，管理项目启动、计划、执行、监控和收尾的整个生命周期，掩盖进度、质量、本钱、资源、风险等项目管理的各个要素，构建集成项目、流程、知识的信息化平台。渐渐实现与相关部门业务系统的接入，形成全掩盖的投资项目管理统一工作平台，真正做好资源共享，为项目的后期评价、领导决策供应支持服务。围绕设计、招标、监理、质量、安全、进度、施工、资金、更改、合同管理“十大环节”，建立起对投资项目进行事前计划、事中掌控、事后评估、全程管理的有效管控模式，促进投资项目管理体系发挥全方位、全过程的计划、组织、协调与掌控作用。投资项目信息管理平台，以现代项目管理方法论为基础；以项目管理为主线，全面组织、全程贯穿各个业务环节；以项目计划为依据，科学协调各个部门的工作；以本钱、进度、质量为最终掌控目标；以完整及时、准确的项目信息和科学的分析模型为项目管理、决策供应依据；遵奉并服从“以计划为龙头，以合同为中心，以投资掌控为目的”的现代项目管理理念，构建高效、应用的项目协同管理综合平台。4、政务数据共享交换平台政务数据共享交换平台是各个平台中的基础性和综合性平台，是解决“信息孤岛”、实现数据互连互通的基础设施，有利于提高各类信息资源整合共享，以及信息资源的综合利用。建设政务数据共享交换平台的首要目标就是要创造一个信息交换、信息共享的方式和环境，依照统一标准和规范，建立信息资源整合机制，规范数据手记口径、手记方式，规范数据的服务方式，建立统一的资源信息整合与交换机制。我们依照统一、集约、高效的数据开发利用理念，通过研究建立多级交换管理体系，形成政务信息资源物理分散、逻辑集中的信息共享模式，通过以应用为抓手，进一步打通数据流，满足政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通供应包含提取、转换、传输和加密等操作的数据交换服务。通过分布式部署和集中式管理架构，有效解决各节点间数据的及时、高效上传下达，在安全、快捷、方便的进行信息交换的同时精准的保证数据的全都性和准确性。政务数据共享交换平台的全局目标是建立“一个系统”，解决“两个问题”，支持“三个应用”，面向“四个服务”。建立“一个系统”，即建立一个可扩展、可集成、有统一数据模型、可交换和安全可靠的分布式系统，对各类政务资源进行组织和管理。解决“两个问题”，即解决政务信息资源的发现与定位问题，解决政务信息资源规划与整理问题。支持“三个应用”，即支持信息集成整合应用、各业务部门办公应用和政府职能决策应用。面向“四个服务”，即面向政务协作、宏观决策、市场监管和社会管理服务。六、技术支持与平台性能1、系统架构结合该项目以大数据平台为核心，多业务子系统并存的业务需求，以及存在不同种类操作系统、应用软件、系统软件的近况，我们采用面向服务的体系结构，即SOA架构。SOA是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在这样系统中的服务可以以一种统一和通用的方式进行交互。它的本质是实现服务和技术的完全分别，从而最大程度上实现服务的集成和重组。SOA实施是以业务服务为导向的，业务服务独立于技术之上，技术处于附属地位，采用SOA架构的紧要优势有：1、SOA与平台无关，减少了业务应用及业务子系统整合的限制。2、SOA具有低耦合的特点，各个业务子系统对整个业务系统的影响较低，在各个系统不绝更改情况下，节省的费用会越来越多。3、SOA具有可按模块分阶段进行实施的优势。可以成功一步再做下一步，将实施造成的撞击减少到最小。SOA服务交互示意图如下：2、技术支持1、技术领先的J2EE框架。Java2平台企业版（JavaPlatformEnterpriseEdition，J2EE）是一种利用Java2平台来简化且规范应用系统的开发与部署，进而提高可移植性、安全与再用价值。基核心是一组技术规范与指南，其中包含的各类组件、服务架构及技术层次，均有共同的标准及规格，让各种依循J2EE架构的不同平台之间，存在良好的兼容性，解决过去企业后端使用的信息产品相互之间无法兼容，企业内部或外部难以互通的窘境。基紧要的技术规范有JDBC、EJB、JSP、JavaServlet、*ML等。JDBC为访问不同数据库供应了统一的路径，使对数据库的访问具有平台无关性。EJB供应了一个框架来开发和实施分布式商务逻辑，简化了具有可伸缩性和高度多而杂的企业级应用程序的开发。JSP页面由HTML代码和嵌入其中的Java代码构成，简化了页面的输出，保管了脚本语言易于使用的优点。Servlet是一种小型Java程序，扩展了Web服务器的功能。*ML供应了一种描述结构数据的格式，简化了网络中数据交换和表示，使得代码、数据和表示分别，作为数据交换的标准格式。2、强大快捷的SSM整合框架。SSM框架整合，即整合SpringMVC、Spring和Mybatis框架。其中SpringMVC属于SpringFarmeWork的后续产品，它供应了构建Web应用程序的全功能MVC模块，分别了掌控器、模型对象、过滤器以及处理程序对象的角色，这种分别让它们更容易进行定制。Spring是一个轻量级开源框架，它的紧要特点是方便解耦、简化开发、面向切面（AOP）的编程支持和声明式事务支持，其紧要优点有低侵入式设计、独立于应用服务器、允许将一些通用任务如日志等进行集中处理。Mybatis是轻量级ORM框架，它除掉了将近全部的JDBC代码和参数的手工设置以及结果集的检索，使用简单的*ML或注解用于配置和原始映射，将接口和Java的POJOs映射成数据库中的记录。其框架架构图如下：相比于传统SSH整合，SpringMVC相比Struts更轻量级，注解的使用减少开发消耗，数据库操作层采用Mybatis，统一管理SQL甚是方便。3、平台性能1、先进性、开放性。基于B/S结构的Java应用技术和SOA开放式的体系框架，结构化设计，快捷可拆分，具有快捷的可扩充接口，易于修改调整、二次开发和扩充，最大限度降低因上游技术升级带来的系统实施风险，保证投资的有效性和连续性。2、可扩展性。由于采用了平台化构建思想，整个系统可做到与底层多种硬件环境、操作系统、数据库的自由适配，保证系统在软件、硬件环境方面的快捷配置以及将来的拓展应用。采用基于SOA思想的模块化设计，可依据需要进行快捷动态的模块扩充，并保证原系统环境不受影响。系统供应开放的标准接口，可实现与外围业务系统的无缝集成应用，快捷扩展系统的业务应用范围。3、稳定性、可靠性。系统采用B/S结构应用模式，集中安装部署，客户端零安装，所以系统的运行不受任何客户端单点故障的影响。技术框架的支撑，可以实现数据库的长期、稳定连接，确保事务处理的连续和完整，保证业务数据准确完全。4、其他优势。篇2:软件研发大数据开发工程师岗位职责说明软件研发大数据开发工程师岗位职责说明岗位名称：软件研发大数据开发工程师岗位代码：T03岗位类别：技术设计技术实施岗位职责:1）负责公司云计算及大数据分析基础性平台搭建；2）负责海量数据手记、处理及存储、应用方案的技术选型及架构实现；3）负责海量数据分析/查询、分布式存储、流式/实时计算等应用层核心代码实现及服务化封装；4）按业务开发部门要求，完成大数据分析结果的动态交付；5）大数据新技术难点公关，技术连续性研究与更新。篇3:金融大数据平台建设方案大数据平台建设（一）大数据平台框架概述大数据平台建设充分整合信息化资源，打破行业、部门之间的信息壁垒，运用大数据技术进行手记、加工、建模、分析，将数据价值融入到金融之中，从而提升创新本领和产品服务本领。紧要包含以下三部分：1.大数据分析基础平台依照功能划分数据区，设计数据模型，在统一流程调度下，整合各类数据，同现有的企业级数据仓库和历史数据存储系统一起，形成基础数据体系，供应支撑经营管理的各类数据应用，支撑上层应用。2.大数据应用系统基于基础数据平台，连续建设各类数据应用系统，通过数据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行开发使用，并将数据决策化过程结合到风控、营销、营运等经营管理活动，充分发挥大数据价值。3.大数据管控建立数据标准，提升数据质量，加强元数据管理本领，为平台建设及安全供应保障（二）大数据平台建设原则大数据平台是大数据运用的基础实施，其设计、建设和系统实现过程中，应遵奉并服从如下引导原则：经济性：基于现有场景分析，对数据量进行合理评估，确定大数据平台规模，后续依据实际情况再渐渐优化扩容。可扩展性：架构设计与功能划分模块化，考虑各接口的开放性、可扩展性，便于系统的快速扩展与维护，便于第三方系统的快速接入。可靠性：系统采用的系统结构、技术措施、开发手段都应建立在已经相当成熟的应用基础上，在技术服务和维护响应上同用户乐观搭配，确保系统的可靠；对数据指标要保证完整性，准确性。安全性：针对系统级、应用级、网络级，均供应合理的安全手段和措施，为系统供应全方位的安全实施方案，确保企业内部信息的安全。大数据技术必需自主可控。先进性：涵盖结构化，半结构化和非结构化数据存储和分析的特点。借鉴互联网大数据存储及分析的实践，使平台具有良好的先进性和弹性。支撑当前及将来数据应用需求，引入对应大数据相关技术。平台性：归纳整理大数据需求，形成统一的大数据存储服务和大数据分析服务。利用多租户,实现计算负荷和数据访问负荷隔离。多集群统一管理。分层解耦：大数据平台供应开放的、标准的接口，实现与各应用产品的无缝对接（三）基础数据来源1.银行内部大数据资源客户自身信息以及其金融交易行为，依照目前积累沉淀的数量资源情况，将数据紧要分为三大类：第一类：客户基础数据客户信息数据，即客户基础数据，紧要是指描述客户自身特点的数据。个人客户信息数据包含：个人姓名、性别、年龄、身份信息、联系方式、职业、生活城市、工作地方、家庭住址、所属行业、实在职业、婚姻情形、教育情况、工作经过、工作技能、账户信息、产品信息、个人喜好等等。企业客户信息数据包含：企业名称、关联企业、所属行业、销售金额、注册资本、账户信息、企业规模、企业地方、分公司情况、客户和供应商、信用评价、主营业务、法人信息等等。将这些割裂的数据整合到大数据平台，形成全局数据，再依照自身需要进行归类和打标签，由于都是结构化数据因此将有利于数据分析。可以将这些信息集中在大数据管理平台，对客户进行分类，依据其他的交易数据，进行产品开发和决策支持。第二类：支出信息交易信息数据，可以称之为支出信息，紧要是指客户通过渠道发生的交易以及现金流信息。个人客户交易信息：包含工资收入、个人消费、公共事业缴费、信贷还款、转账交易、委托扣款、购买理资产品、购买保险产品、信用卡还款等。企业客户交易信息：包含供应链应收款项、供应链应付款项、员工工资、企业运营支出、同分公司之间交易、同总公司之间交易、税金支出、理资产品买卖、金融衍生产品购买、公共费用支出、其他转账等。第三类：资产信息资产信息紧要是指客户在金融机构端资产和负债信息，同时也包含金融机构自身资产负债信息，其中数据大多来自银行。个人客户资产负债信息包含：购买的理资产品、定期存款、活期存款、信用贷款、抵押贷款、信用卡负债、抵押房产、企业年金等。企业客户资产负债信息包含：企业定期存款、活期存款、信用贷款、抵押贷款、担保额度、应收账款、应付账款、理资产品、票据、债券、固定资产等。银行自身端资产负债信息包含：自身资产和负债例如活期存款、定期存款、借入负债、结算负债、现金资产、固定资产贷款证券投资等。第四类：新型业务数据此类数据包含系统的运行日志、客服语音、视频影像、网站日志等。2.外部大数据来源为了赢得差别化竞争，就必需考虑其他数据源的输入，这些数据是自身不具有的，但是对其数据分析和决策起到了很紧要的作用。线上交易、电商平台、社交网络等互联网数据来源，司法、工商、财税等政府部门依法公开的信息，紧要包含：互联网消费行为数据，了解客户消费本领和消费偏好等；个人严重行政惩罚记录（如行政拘留等）、刑事犯罪记录、涉诉情况（人身关系、资产关系）、交通严重违规违章记录等；客户征信信息、客户在其他银行或金融机构的贷款记录、信用记录等信息等；客户的第三方征信评级情况，客户的社保、纳税、公积金等信息，客户的社会保障情况及经济本领，工作单位性质，客户社会身份等；客户在第三方催收机构的催收记录、社会信息等；出入境记录，客户出入境目的地、出入境频率等；国内出行记录，客户出行习惯等；采用同大数据厂商合作的方式，通过自身平台来手记数据或购买第三方数据。（四）大数据平台实现功能大数据平台功能架构图（1）批量实现较高水准的个性化客户产品服务，加添客户粘性，推动业务创新。有效地将大数据分析系统够构建客户360度全方位视图，设计更有竞争力的创新产品。对企业型客户的财务情形、相关资产链上下游数据分析，把握客现在的情形，更可以通过数据的交换、映射对其进行短期、中期猜测将来发展情形。同时通过与同行业中的企业比较，以及利用公共平台收集企业的上、游对其评价，取得多维度的评估，对中小企业风险进行有效的识别，从而缓解银行与中小企业信息不对称问题，更好地推动中小企业市场业务创新。（2）针对客户需求，实现精准营销。银行借助大数据分析平台，通过对客户的浏览记录、购买路径、消费数据，进行挖掘、追踪、分析，将不同的客户群体进行聚类，依据不同的客户特性打造个性化产品营销服务，将最适合的产品服务推介给最需要的客户。提高客户对银行服务的认可程度以及客户经理在营销过程中的专业程度。（3）加强风险管控本领。大数据分析帮忙银行摒弃原来过度依靠贷款人供应财务报表取得信息的业务方式，转而对其资产价格、账务流水、相关业务活动等流动性数据进行动态监控，了解客户的自然属性和行为属性，结合客户行为分析、客户信用度分析、客户风险分析以及客户的资产负债情形，从而有效提升客户信息透亮度，建立完善的风险防范体系。（4）促进银行内部管理流程化，降低管理运营本钱。运用大数据能够加添银行内部的透亮度，使企业上下级之间的信息流通更顺畅；同时，基于大数据优化企业内部的各种流程，以及通过自身和社会信息归集渠道，了解客户真实反映，乐观改进和提高，大大缩短信息收集、反馈时间，提高企业运作效率。而通过大数据应用和分析，能够准确定位内部管理缺陷，订立有针对性的改进措施，实行符合自身特点的管理模式，进而降低管理运营本钱。（五）平台的技术架构为实现上述功能经多方考察研讨拟采用FusionInsightHD平台作为大数据基础平台。FusionInsight是企业级大数据存储、查询和分析的统一平台。它以海量数据处理引擎和实时数据处理引擎为核心，并针对金融、运营商等数据密集型行业的运行维护、应用开发等需求，打造了快捷、智慧、可信的平台软件、建模中心件及OM系统，让企业可以更快、更准、更稳的从各类繁杂无序的海量数据中发现全新价值点和企业商机。大数据平台架构图大数据平台与其他相关系统接口描述图（七）大数据平台的网络拓扑