四方伟业政务大数据建设

政务大数据建设与应用解析地方政府政务大数据建设路径与解决方案CONTENT1当政务应用遇到大数据2退而结网，打造大数据湖泊3大数据平台、架构与实现4大数据可视化，看得见的数据5成都四方伟业公司简介走进大数据时代交通运输运输线路优化交通信息服务数字媒休互联网广告用户标签零售业O2O营销客流与商圈选址医疗与保健病历分析疾病监测政府政务网上办事大厅政务热线地产中介社区O2O运营客户画像电信运营商内部营销决策对外拓展互联网企业开放平台应用产品银行业精准营销风险管控教育在线教育教育应用电信政务商业工业重点行业大数据应用生命周期数据源（管理、交易、事务、传感、监控、文件……）数据获取和治理大数据存储大数据分析计算处理大数据可视化数据驱动决策数据提供服务大数据，不再是传统的BI竞争优势数据可视化样本数据关联关系多维分析统计报表全体数据趋势预测全体数据代替样本数据

一般是基于KPI指标等的分析，无法有效支撑决策提供传统的统计分析功能，提供报表等…传统基于小数据量的数据分析，样本数据注重关联关系而非因果关系数据可视化变得尤为重要大数据的重点是关联关系与趋势预测大数据分析助力提升行业综合数据应用能力大数据关注点

传统数据分析局限数据获取因子分析算法训练数据呈现经济运行大数据保驾十三五区域经济2341支撑领导科学决策，提高经济运行管理水平：从宏观、中观、微观三个层面，对区域经济运行相关指标进行实时动态监测和预警，从产业、行业、区域、时间多维度，实时了解区域经济运行状态，及重点企业的运行情况和重大工程建设进度情况。融合企业服务链信息，提升服务，促进发展，提质增效：全面的了解企业的分布、规模，产业布局和各企业的关联度，更好的走循环经济道路。融合创业服务相关的信息，包括政府相关优惠政策、金融贷款信息、培训机构及人才信息、创业项目信息、公共资源、城市人口流动信息等，为企业创业提供全面的信息服务。共享经济运行数据，提高跨部门工作效率：各部门重复采集企业经济运行数据、无法信息共享；例如：部门在给企业相关扶持时，需要企业报送相关人才数据，通过共享人社部门数据后，可以验证企业报送数据的真实性。大数据把关，提升招商引资效能和促进产业结构调整：建立事前（项目落地）、事中（企业的绩效综合评价）、事后（低效退出）全过程的差别化管理措施，对园区楼宇基础设施效能投入产出进行进行统计分析和查询。为园区产业结构转型升级、招商引资、企业发展扶持等政策的制定和调整，提供量化决策依据。经济运行模型业务模式优化业务分析关键业务监控关键业务模型化（实时）企业运营综合评价（月度）产业类型所属区域企业性质税收吸纳劳动力土地占用能源消耗污染排放地区GDP增长（年度）出口内需固定资产投资亩均税收/收入人均税收/收入区域产业……单位GDP排放单位GDP能耗宏观：聚焦经济运行总体态势中观：经济领域与行业总体把脉微观：聚焦具体企业监管与服务指定范围的经济KPI统计数据地域、产业、时间周期、经济类别…多维度切分经济测算范围服务于主管领导宏观经济政策制定、决策指定行业的经济KPI统计数据地域、产业、时间周期、经济类别…多维度切分经济测算范围服务于主管领导宏观经济政策制定、决策多级数据指标，透视企业运行状态市场供需、技术创新、投资政策…多维数据服务区域经济运行大数据应用企业综合评价为载体，运用大数据技术，对现存发展不和谐的要素，进行原因分析；政策的制订对产业发展的影响，进行科学预测。对区域经济发展的宏观、中观、微观性指标进行实时动态监测。从产业、行业、区域、时间多维度，实时了解城市经济运行状态，及不同产业、行业、企业运行情况。全面、准确、及时掌握所辖区域企业综合发展概况和评价排名，为全域产业转型升级、招商引资、企业发展扶持等政策的制定和调整，提供量化决策依据。政务大数据着力点由封闭管理向开放治理转变由单向管理向协同治理转变由被动响应向主动服务转变由定性管理向定量管理转变由粗放管理向精准化管理转变由运动式管理向常规性管理转变政务大数据促进变革社会治理思维的变革社会治理手段的改进政府决策技术的进步风险掌控能力的提升公共管理流程的再造社会协同治理的进阶能力提升目标科学决策精细管理精准服务政务大数据应用目标法治政府创新政府廉洁政府智慧政府服务型政府创新型政府战略区域发展指标体系区域KPI经济活力指数新注册公司数美丽城市指数民生幸福指数网络舆情指数网上政务指数人口活力指数经济转型矩阵科技活力指数消费活力指数文化活力指数旅游活力指数新注销公司数新注册公司资本金总额注册新产品新注册网站数活跃网站数子主题（5）新批用地面积用电量通信量交通活跃度项目审批额企业招聘人员数人均网络购书额人均网络阅读数电视收视率指数人均上网时间图书出版数来自旅游大数据专利申请数专利公开数专利授权数人均网购金额人均网购批次行业公司数量变化图行业公司资本金变化图行业新产品数量变化图行业网站活跃度变化图空气质量指数水质量指数人均收入指数就业指数社会保障指数消费活力指数社会舆情指数社交活力指数城市居民人均可支配收入农村居民人均可支配收入人均储蓄党媒首页指数社交平台挖掘12345社交平台挖掘网络求职数与劳动力数比低保率救助人口比低保平均金额救助平均金额微博、微信、博客、论坛成员数社交平台登录频率社交平台消费时间社交平台影响力指数正面舆情指数负面舆情指数百度指数网上办件数网上公共服务数网上咨询投诉答复率政府门户网站监测网络政府可达性死亡率老龄人口比劳动力人口比流动人口比流出人口比出生率城市运行大数据中心精准扶贫，聚焦民生空间-基础设施时间-周期绩效事件-脱贫周期BigDataMobileGIS脱贫指标与脱贫考核贫困人口自然资源基础设施经济要素基层组织贫困人口建档立卡帮扶责任人（党委）精准识别确立脱贫方案帮扶工作全周期管理扶贫项目资金全周期管理攻坚指挥与决策支持CloudComputing省-市-县-乡-村扶贫+基础设施（交通、水利、电力、通信、国土、农业）扶贫+产业（农业、工商、税务、企业、电商物流）扶贫+民生（卫计、民政、人社、教育）扶贫+环境（环保、气象、林业）扶贫+资金（财政、发改、银行、保险）精准扶贫，聚焦民生CONTENT1当政务应用遇到大数据2退而结网，打造大数据湖泊3大数据平台、架构与实现4大数据可视化，看得见的数据5成都四方伟业公司简介大数据生态湖泊数据信息知识数据运维数据之源数据生产区（原始数据）结构化数据文本文件多媒体数据描述类数据信息发现区知识发现区知识挖掘区知识展现区知识交互区基于大数据的应用体系ODS数据魔方多维数据关联主数据数据台账关键索引大数据挖掘行业规则大数据可视化数据多维报表大数据操纵数据APIS大数据检索机构内部数据社会数据互联网数据数据安全数据审计数据标准元数据管理主数据管理数据质量管理数据治理流程元数据大数据关联大数据分析大数据预测信息数据知识应用行业大数据应用面对的挑战硬件无法跟进数据规模的指数级增长过于分散和原始成为大数据应用的障碍复杂数据算法与业务模型衔接诸多大数据并行计算架构的选择大数据应用实现路径：从哪里开始？专业人才匮乏CONTENT1当政务应用遇到大数据2退而结网，打造大数据湖泊3大数据平台、架构与实现4大数据可视化，看得见的数据5成都四方伟业公司简介WYDC软件兼容基础架构数据采集层物理存储层逻辑存储层并行计算层算法层挖掘分析层服务接口层调度监控层ETLHadoopSqoopHadoopFlumePyspiderKafkaHadoopHDFSHBaseHiveMPPGreenplumSQL/RDBRedisMangoDBGraphXHadoopMapReduceHadoopYARNSparkSparkStreamingSparkGraphXElasticSearchSparkMLlibSparkRHadoopHiveHadoopImpalaMPP实时统计分析PythonMolap/KylinRolap/Mondrian通信协议（HTTP/SOAP/thrift/Restful/RPC）数据协议（XML/JSON）ZabbixHadoopZookeeperHadoopOozieETL任务调度ElasticLogstash数据仓库数据集市多维数据库存储数据标签库模型设计模型训练模型发布模型管理应用模型算法模型接口整合（thrift）SmartBI/并行基础架构/算法/业务场景DataService/DaaSIDC/数据来源/数据存储/数据治理/服务器DataDiscoveryFamily用户管理系统监控资源管理部署管理资源调度安全管理日志审计运维平台数据交换汇集ETL网络爬虫（PySpider）实时采集（Flume）数据迁移（Sqoop）数据治理平台数据地图数据共享数据质量数据治理银行业务工商业务政务业务税务稽查智能交通智慧医疗Hive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（Mlib）Pig（Scripting）数据集成调度引擎算法库数据洞察Miner模型训练数据集成作业调度DevOps实时分析ADS数据集成数据集成作业调度DevOps离线分析ODS数据集成数据集成DevOps流分析SDS可视化套件敏捷BI根因分析DE关联分析XE搜索引擎推荐引擎舆情监控反欺诈图像识别语音识别用户画像智能管理API／SDK…应用&服务采集存储&计算分析WYDC大数据交换汇集平台构造大数据的数据之源大数据交换汇集平台原始数据源数据采集交换区数据湖分散、种类多样化，时效性差异大多种技术手段，平台化系统，快速部署，统一管理为大数据应用提供全兼容数据存储任务流程调度操作控制流程控制转换流程数据抽取数据加载数据转换子任务调度操作控制爬虫系统流数据采集传输ETL核心架构ETL服务器认证授权监控管理接口扩展接口ETL资源库集成开发工具统一管理平台数据资源库文件资源库数据源接入流程开发任务配置任务部署调试跟踪任务执行监控输出运行日志运行控制状态监控日志查看权限管理节点管理错误告警性能统计面板定制ETL引擎任务调度元数据处理流程性能管理交换管理任务引擎转换引擎转换组件适配器组件转换流程流程控制操作控制任务调度丰富的ETL构件库ETL实现各种你所需的数据处理流程提高开发效率缩短开发周期图形化拖拽方式快速集成实现复杂数据处理流程NoSQL接入云化部署ETL的监控管理单一业务的任务详情图形化展示任务执行日志任务运行情况变化曲线全方位洞察一项任务执行定义指定任务的报警规则定制指定任务的报警渠道指定报警信息的接收者根据需要控制告警规则的启用与关闭告警帮你随时把握任务异常可视化手段多角度作业监控作业执行状态与成功率监控对作业进行多角度排序ETL任务执行一览无余WYDC大数据应用驾驶舱大数据高速飞行的驾驶舱大数据应用驾驶舱SqoopHiveHBaseZookepperPigMahoutMapReduceHDFS分布式网络Cloud服务器/存储物理安全FlumeHama超强计算能力更低建模门槛全景统一管理更低建设成本可信赖安全机制全方位辅助分析多达50+预置模型支持百亿级数据量训练多算法并行训练支持算法组件，零编码，拖拽式数十个流程设计组件用户自定义算法组件算法库行业分类跨平台算法调用模型训练结果分析报告参数化调优，简化配置建模全生命周期流程管理可视化实时模型训练监控性能处理，比传统架构节省资源1/3搭配智能部署，让实施成本降低50%多种权限控制机制数据级别访问权限控制资源级别访问权限控制大数据应用流程控制任务耗时情况总览状态监控，随时掌握任务执行状态的总体分布任务状态情况总览耗时的任务和步骤，需要得到我们的重点关照具体任务耗时追踪耗时监控，透视任务执行的时间大数据分析流程监控与调度大数据应用流程实现任务导航列表任务查询任务创建拖拽算法，拼接数据分析流程定义任务基本属性配置任务调度信息驾驶舱数据查询数据图表数据明细元数据信息查询日志历史记录HDFS文件基础计算架构运维管理WYDC大数据治理平台大数据治理实现数据内升大数据治理流域原始业务数据原始业务数据原始业务数据原始业务数据基础库主题库元数据数据标准数据字典目录系统数据仓库数据自由之海数据河流数据河流大数据存储语义级主题数据检索时间维空间维对象维多维数据安全流程审计数据采集清洗比对闭环迭代数据梳理编目主数据管理多维数据检索与服务大数据存储访问面向数据需求方原始数据元数据治理流程数据标准字典行业业务规则访问条理安全质量数据接口共享开放数据检索数据服务我是系统运维主管，要管理好所有数据资源的安全我的应用需要访问和采集大量的数据我的大数据挖掘模型需要大量数据之源我的决策分析要涉及更全面的信息我是信息运营主管，希望随时了解我有哪些数据资源能不能我想要什么都快速查到？……治理的开始：数据整合ETL数据处理流程

数据转换实现数据结构的转变数据拼装实现不同数据来源的汇总数据比对通过比对去除错误和冗余数据清洗去伪存真，保留正确数据数据载入根据中心存储装载数据内容治理的脉络：元数据在数据调研与业务中积累元数据调研表格与报告部门元数据收集数据调研梳理元数据定义与生成元数据存储元数据应用与维护元数据标准元数据管理与服务自动对中心数据资源生成结构化元数据减小工作量投入可通过标准定义自动生成数据表自动侦测元数据本身也是一个体系元数据按规划层级存储选择数据库等载体以便于检索为目标存储元数据元数据准确性维护元数据完整性维护元数据分中心之间支持交换同步元数据维护便捷访问元数据基于元数据轻松定位数据存储与访问便于数据组装编制构成数据目录元数据检索治理的标尺：数据标准与质量数据比对规则行业规则数据/元数据标准数据质量报告数据清洗比对参照规则多源数据中心前置缓存自动/人工比对反向清洗数据中心资源维护阶段数据中心中心资源治理阶段数据整合阶段数据字典数据依标准的格式转换数据采集数据传输数据标准管理数据质量管理数据分类与目录规则定义与管理标准设计管理大数据治理平台：段码数据标准管理大数据治理平台：信息类管理大数据治理平台：质量管理系统——规则定义大数据治理平台：质量管理系统大数据治理平台：质量管理系统大数据治理平台：质量管理系统大数据治理平台：数据资源目录大数据治理平台：信息类授权大数据治理平台：数据台账大数据治理平台核心价值更全面的数据质量保障提供数据标准梳理工具，使得元数据更合规支持策略集的质量巡检方式，保障数据的完整性全景化信息开放与检索支持主题的数据台账，基于元数据的信息管理，提供数据资源目录与导航多渠道的数据访问机制（目录、API、Webservices）全过程信息安全支持交换全过程监控、审计，并提供邮件、短信预警功能基于oAuth协议的第三方单点登陆集成的模块支持通道安全，支持SSL传输通道加密功能支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理更低的建设成本产品自主化量身定制适合应用的实践路线智能部署，比同类产品实施节省一半时间基于大量实践的，通用解决方案WYDC大数据智能分析平台大数据知识挖掘的核心引擎大数据分析平台关键能力开放弹性架构真正无共享的海量并行处理架构工业标准的X86平台服务器资源按需分配，按需搭建集群，按需缩放集群规模在线线性扩展增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供服务拥有成本可控保证用户不被专有平台锁定企业初期投入和后续扩容的成本可控海量并行处理支持PB级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力优秀混合负载按需分配资源（CPU、内存、IO）动态调整资源平台持续可用数据镜像、硬件冗余等多种容错技术保证系统高可用故障切换和恢复，对用户透明扩容期间可持续对外服务易于管理维护直观的图形化界面，实时的状态监控最大限度降低管理员的日常管理和维护工作大数据分析架构计算存储网络开源架构云平台管理云平台安全模型库大数据资源开放共享平台大数据可视化与自服务平台大数据应用体系Hadoop/YARN服务器虚拟化存储虚拟化网络虚拟化警务云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系统分布式块存储分布式对象存储SAN存储网关OpenFlowvxLanvSwitch计算资源接口存储资源接口网络资源接口容灾资源接口云资源管理云运维管理通信安全数据安全访问安全vRouteSparkStormNoSQLkafkaMPPDB算法库Mahout算法库SparkMlib自定义算法算法审核模型评估模型发布模型训练模型管理数据挖掘统计分析MOLAPROLAPKylin数据预处理算法选择模型构建与评估结果预测数据探索知识库知识分类管理版本与发布管理订阅管理知识库检索数据源选择R集成Python集成数据源选择数据分析建模全生命周期业务场景导入数学分析建模大数据模型发布应用大数据应用政务大数据应用工业大数据应用交通大数据应用旅游大数据应用……数据归集与预处理算法选择算法自定义分析建模设计模型训练模型发布模型调度运行管理知识库管理模型运行大数据运行服务大数据可视化展示知识库共享大数据智能分析平台大数据应用驾驶舱大数据可视化平台大数据算法库数据分析挖掘功能架构模型库数据分析算法库Mahout算法库SparkMlib自定义算法算法审核模型评估模型发布模型训练模型管理统计分析MOLAPROLAPKylin数据挖掘数据挖掘数据预处理算法选择模型构建与评估结果预测数据探索知识库知识分类管理版本与发布管理订阅管理知识库检索数据源选择R集成Python集成数据源选择超强的计算能力多达50种以上的预置模型；支持百亿级数据量训练；辅助分析能力快速展现模型训练结果；参数化模型调优；可信赖的安全控制提供多种权限控制设置；支持数据级别访问安全控制；支持资源级别访问安全控制；数据仓库数据集市PetaBase支持数据库类型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…支持数据库类型：Oracle/DB2/MySQL/Teradata/GreenPlum/Netezza/SQL

Server/Sybase/…EssBase…Hadoop分布式高性能交互式SQL数据挖掘Miner可视化环境简单易用的可视化环境视觉呈现所有利益相关者之间的合作可以简单高效设计更好的模型每一个分析是一个流程每种数据转化或分析是一个节点操作界面强大的工程支撑流程可以当做模板再次使用支持项目工程建模1000多个节点可用于所有的数据转化和分析基于客户端/服务器架构可实现自动化建模和数据转化可建立和评估模型，并与其他应用程序集成系统支持Miner数据分析建模与HadoopHive（SQL）MapReduceHDFSYARNImpala（In-memorySQL）Mahout（MachineLearning）Spark（Mlib）Pig（Scripting）数据洞察MinerDatapreparationBuildmodelTrainPredictivemodel数据分析建模全生命周期业务场景导入数学分析建模大数据模型发布应用大数据应用政务大数据应用工业大数据应用交通大数据应用旅游大数据应用……数据归集与预处理算法选择算法自定义分析建模设计模型训练模型发布模型调度运行管理知识库管理模型运行大数据运行服务大数据可视化展示知识库共享大数据智能分析平台大数据应用驾驶舱大数据可视化平台大数据算法库Miner自动化流程及控制流程控制在子流程中管理分组并在其他项目中再利用可以重复执行一部分流程支持的循环：属性、标签、子集、值、样本、集群、批量、数据结合、数据碎片、参数、文件、资源库条目分支（If-Then-Else）基于：、数据值、属性是否存在、样本数量、性能值、文件和过程输入是否存在、任意表达式创建同一类型的集合集合处理：选择、扁平化或循环可以记忆并调用（中间件）过程结果用于复杂的流程设计处理预期或非预期的错误和异常自动化自动选取性能最好的子流程通过嵌套的交叉验证或其他验证衡量预处理步骤的效果自动选取最优模型类型和参数自动选取最优属性子集自动优化过程参数，包括建模参数：Grid、二次方程的、渐进的日志在流程中的任意位置都可以引入日志日志可以收集参数值、性能值、或来自每个算子的特定值，例如渐进算法当前产生的结果数据值可以被日志记录宏值可以被日志记录日志值可以被转化为其他几种格式，包括数据集合和权重，权重可以和其他数据集合一样被存储、转化或可视化报表在仅用日志不足够的情况下，一个完整的基于流程的报告引擎允许在静态报告中收集任意结果支持不同的格式，如PDF，Excel，HTML，或者RTF有不同的报告样式，包括序列报告或者门户网站任意过程结果和中间结果可以被转化为不同类型的可视化图形，如表格，图标等持最多5层区域支持分页和其他样式信息与循环或者其他流程控制结构的结合可以让人看到流程设计非常详细的结果概览，即使这个流程设计十分复杂导入数据建立工作空间关联数据建立工作流数据预处理特征选择模型训练模型评估自动化及流程控制多人协作Miner的数据建模分析准备数据准备，支持属性选取算子，分组结合多种功能：求和、平均、中间值，支持集合算子，处理原数据，性值过滤行及样本等，识别并移除冗余数据；支撑数据取样、数据分割、数据转化等。

数据取样绝对的、相对的、概率的、平均的、分层的、基于模型的等.数据分箱可基于计数、大小、频率等进行交互式分箱，使引导区熵值最小化.数据转化归一化和标准化：Z-转化，按比转化、四分差；数值属性、名义或类别属性之间的转化.数据分割创建训练、验证以及测试数据集，可用户自定义分区.数据替换替换标称、类别值，支持映射、截取、分段、混合等.属性生成支持属性生成：ID、副本、串联、聚集、向量乘积、高斯分布等.权重和选取支持属性选取，移除无用属性；基于权重方案移除不相关属性Miner大数据分析建模构建流程图进行模型训练Miner大数据分析建模配置决策树规则和回归参数配置基金定投相应预测模型规则引擎是将模型的结果，回归参数，或者决策树的规则，配置到规则库中，后台可实现批处理评分或者实时评分Miner大数据分析建模回归参数决策树规则Miner大数据分析建模根据回归参数、评分卡参数生成的评分卡Miner大数据分析建模根据客户信息实时生成的评分卡Miner大数据分析建模根据客户信息实时生成的决策路径Miner大数据分析建模根据评分卡可对客户评分在本例中，得分越高的客户进行基金定投的概率越高，越可能成为我行客户。于是选取得分更高的部分客户(得分超过基准分的客户)进行营销。Miner大数据分析建模Miner大数据分析建模WYDC大数据可视化平台大数据展现大数据可视化平台功能支持UI编排组件库事件联动模型数据过滤条件设置组件渲染容器监听主题管理布局模板任务管理大数据可视化平台案例体验：四川移动数据立体呈现，动静结合；展示有静态有动态大数据可视化平台案例体验：安徽移动大数据可视化平台软件架构大数据可视化平台——数据编排展现大数据可视化平台UI编辑体验大数据可视化平台UI编辑体验UI组件的数据源绑定大数据可视化平台带来的价值利用丰富强大的UI，快速搭建前端分析界面和分析流程完全可以在几天之内基本实现客户的大数据蓝图缩短周期，降低成本，最大限度提升成功率实时流状大数据动态呈现、智能分析适用于网络流量监控、交通疏导等对数据实时性要求较高的应用领域可通过轻量级解决方案实现灵活的大数据可视化数据展示、数据处理、元数据管理相互松耦合快速搭建部署立体数据动态呈现灵活搭配提升费效比数据延伸至空间地理维度实现数据的空间