实时大数据分析及可视化展示平台解决方案

实时大数据分析及可视化展示平台技术创新，变革未来党政信息化第一品牌党政信息化第一品牌DreamPortal智能门户：电脑端移劢端（苹果、安卐）DreamFormDreamSM主题集市DreamSearch智能检索DreamPortal智能门户：电脑端移劢端（苹果、安卐）DreamFormDreamSM主题集市DreamSearch智能检索数据处理分析挖掘复杂处理引擎智能分析 Jdbc/odbcR/scala/python基于内存分布式OLAP数据库关系型数据库DreamSpider数据生产提供系统外部数据：结构化数据、非机构化数据内部系统：结构化数据、非结构化数据数据交换引擎数据清洗加载DreamBigDataSolution（梦创大数据解决方案）DreamMM元数据管理DreambaseDreambase-产品特性党政信息化第一品牌1.支持MPP，自劢线性劢态扩展至数百台集群；2.提供全面的SQL支持，幵提供多平台的SQL驱劢；3.在大数据情况下，对数据进行秒级的实时分析，包括复杂查询，以及多个大表之间的Join；4.数据保存在HDFS上面，保证数据可靠性；5.采用通用的x86硬件，成本低；DreambaseDreambase-核心技术党政信息化第一品牌数据源数据源wr劢态数据分发wr劢态数据分发复制复制InIn-MemoryComputingDreambaseDreambase-核心技术党政信息化第一品牌赵男赵男钱男孙男李男周女•减少I/O•高效的数据压缩•快速数据过滤劢态数据分发•字典Encoding劢态数据分发•数据自动排序•映射到存储InIn-MemoryComputing赵赵男钱男孙男李男周女赵钱孙李周男男男男女DreambaseDreambase-核心技术党政信息化第一品牌 MPP1.BROADCAST：让较小的表能够完整地分发到每个DataNode上，这样能快速地完成两表之间的Join，幵丏尽可能地降低网络I/O MPP1.BROADCAST：让较小的表能够完整地分发到每个DataNode上，这样能快速地完成两表之间的Join，幵丏尽可能地降低网络I/O； 2.REHASH：让两个大表能够一起劢态再分配（Hash机制），使的每个DataNode能获取到其所3.LOCALIZE：在导入数据的时候，预先完成In-MemoryComputingBroadcast呾Hash来进一步提升性能；4.PIPLINE：只要收到Join数据的一部分，就开始执行Join，而丌是等待所有数据；DreambaseDreambase-核心技术党政信息化第一品牌1.VectorProcessing：在执行SQL指令的时候，使用最新的INTELSSE4.1呾SSE4.2指令集来加快指令执行；劢态数据分发2.RuntimeCodeGeneration：能在执行查询前，劢态编译查询指令，从而避免传统非常耗时的劢态数据分发Switch-Case，幵丏提高Cache命中率；InIn-MemoryComputing3.SSD/DiskSupport：数据丌一定需要限定在内存中，数据在SSD呾硬盘中依旧可以享受内存计算的好处；DreambaseDreambase-查询示例1：TPC-HQ3党政信息化第一品牌在16台低配服务器上面，做了2张大表（分别6亿，1.5亿）和1张中表（1.5千万）的三表Join，查询耗时仅为4.2秒！！！！！！！DreambaseDreambase-查询示例2：TPC-HQ4党政信息化第一品牌DreamMM-DreamMM-元数据管理党政信息化第一品牌为各类业务数据提供统一的管理与描述，功能包括：指标元数据管理代码元数据管理存储模型管理审核关系管理版本管理血缘追溯统计专网DreamEx-数据交换党政信息化第一品牌统计专网DreamEx-数据交换党政信息化第一品牌县级交换节点政务外网数据中心交换前置机政务外网数据中心县级交换节点县级交换节点数据交换统计专网地市交换节点县级交换节点交换前置机数据交换统计专网地市交换节点县级交换节点交换前置机海量存储配置数据库交换门户交换管理交换应用服务海量存储配置数据库交换门户交换管理交换应用服务应用系统数据库系统办公系统地市交换节点网页社交县级交换节点现有应用群现有数据库Web服务各专业县级交换节点地市交换节点交换前置机数据探针接口因特网应用系统数据库系统办公系统地市交换节点网页社交县级交换节点现有应用群现有数据库Web服务各专业县级交换节点地市交换节点交换前置机数据探针接口因特网县级交换节点县级交换节点DreamETL-数据清洗加载DreamETL-数据清洗加载实现各级业务系统的数据抽取和加载，主要功能包括：数据源管理数据关系匹配与转换规则审核规则设置数据交换流程管理数据交换引擎任务异常监控党政信息化第一品牌技术参数要求包括：•支持多种数据格式的数据交换，包括：关系型数据库：MS-SQLServer、MYSQL、Oracle、DB2等；数据接口：API，WebService，RestFul等；•支持断点续传及异常数据审核、回滚等交换机制。•具有灵活的可编程性、模块化的设计能力，数据处理流程，客户自定义脚本和函数等具备可重用性；•支持增量抽取的处理方式，增量加载的处理方式；•支持元数据的管理，能提供动态的影响分析，能与前端报表系统结合，分析报表到业务系统的血缘分析关系；•支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执行、人工执行、结果反馈、异常监控。DreamBI-DreamBI-即席查询党政信息化第一品牌即席查询功能提供一个灵活的查询工具，用户可以根据自己的需要，灵活的设置查询项及查即席查询功能提供一个灵活的查询工具，用户可以根据自己的需要，灵活的设置查询项及查询条件，同时支持查询条件的任意组合及与或关系。功能点包括：自由的选择查询项，支持TOPN查询；查询条件的自由设置与任意组合，同时支持介于、属于列表等条件设置；查询结果的排序项可设置多个，并支持单独设置升降序；查询方式可保存成查询模板，发布给其他人使用；查询结果支持各种类型发布，包括生成DreamBI-多维在线分析DreamBI-多维在线分析党政信息化第一品牌为用户提供可视化、简单易用的多维在线分析（OLAP）工具，通过鼠标拖拽的方式，实现复杂多变的报表分析与展示。具体功能包括：维度、指标可以任意组合,实现数据的统计以及分类汇总；通过查询模版设置与统计报表设置的结合，实现条件查询、模糊查询、组合查询、关键字搜索，支持切片过滤;支持Excel，Html格式的报表导出导出;支持行列互换以及数据的上钻、下钻操作；支持派生指标；支持交互式的图表展现,图表导出PNG、JEPG、DreamBI-智能图表DreamBI-智能图表党政信息化第一品牌智能图表会提供图表制定工具，用户可以自行设置图表展现形式，图表间联动交互逻辑等，包括：1、可视化的、拖拽式的、所见即所得图表设置工具；2、支持图表触发事件的逻辑设置，支持图表交互；4、支持仪表盘、驾驶舱等展现模5、支持移动端的数据及图表展示；6、支持与GIS系统结合。DreamDM–智能挖掘集成开源的统计分党政信息化第一品牌DreamDM–智能挖掘集成开源的统计分党政信息化第一品牌析语言（R语言），并支持SAS、SPSS等常用挖掘分析工具用户可以自己编写数据挖掘算法；支持：在线编译可视化分析数据和图表互动算法模型管理DreamFormDreamForm-数据报送党政信息化第一品牌全流程的任务管控傻瓜式的问卷设计灵活的样本抽取多样的调查手段丰富的调查渠道精确的质量控制方便快捷的数据处理与分析DreamForm-数据报送可视化的问卷设置工具，用户可以通过拖拽的方式完成问卷的指定，同时支持从调查制DreamForm-数据报送可视化的问卷设置工具，用户可以通过拖拽的方式完成问卷的指定，同时支持从调查制度导入指标自动生成移动端问卷丰富的问卷题型包括:单选题填空题打分题排序题多项填空题矩阵题音像问答题常用题目模板逻辑跳转党政信息化第一品牌DreamDP-数据处理产值表与单位汇总到行业中类计算行业可比价DreamDP-数据处理产值表与单位汇总到行业中类计算行业可比价计算工业增加值脚本录制工业增加值处理脚本DreamDP提供可视化的数据管理、加载、审核、查询、汇总、计算、组合、报表制作、图表制作等基础处理功能，同时，用户可以根据业务的实际需要，制作自己的批处理脚本。利用自动脚本技术，将用户的每一步操作录制成一个批量操作脚本，并保存成一个脚本模版，这样，用户在完成相同操作的时候，就可以调用脚本，一键执行。方便快捷且不会出现误操作。一键执党政信息化第一品牌党政信息化第一品牌党政信息化第一品牌党政信息化第一品牌党政信息化第一品牌党政信息化第一品牌党政信息化第一品牌党政信息化第一品牌党政信息化第一品牌国家发改委-企业信用信息可视化分析系国家发改委-企业信用信息可视化分析系党政信息化第一品牌国家发改委-国家发改委-政务大厅统计分析平党政信息化第一品牌工信部工信部-大数据决策支撑平台党政信息化第一品牌工信部-信息产业运行监测平党政信息化第一品牌工信部-信息产业运行监测平农业部-农业专题数据分分析系党政信息化第一品牌农业部-农业专题数据分分析系珠海智慧城市-云计算大数据分析服务平台-政策分党政信息化第一品牌珠海智慧城市-云计算大数据分析服务平台-政策分珠海智慧城市-云计算大数据分析服务平台-经济分珠海智慧城市-云计算大数据分析服务平台-经济分上海证券交易所-金融大数据信息服务平党政信息化第一品牌上海证券交易所-金融大数据信息服务平年800亿条历叱交易数教育大数据决策分析平党政信息化第一品牌教育大数据决策分析平教育大数据决策分析平党政信息化第一品牌教育大数据决策分析平党政信息化第一品牌统计行业数据资源管理服务平党政信息化第一品牌统计行业数据资源管理服务平Saas建设内容可概括为“146+N”工程，即：1Saas建设内容可概括为“146+N”工程，即：1：建设1个统一规范的统计数据资源中心；4：面向统计业务人员、部门用户、企业、社会公众这4类用户；6：构建元数据管理、业务支撑与协同、数据共享交换，数据资源整合、数据资源管理、统计分析等6大基础支撑平台；N：基于支撑平台，并结合不断变化的业务需要，景气预警、一张图、决策支持、数据云服务、监测评价、智能门户、移动应用等应用系统。经济发展一张图系统共享与发布数据库共享与发布数据库企业名录库主题数据库数据库基础数据库元数据库统计行业数据资源管理服务平统计行业数据资源管理服务平党政信息化第一品牌工业产销总值及主要产品产量从业人员及工资总额补全属性行转列补全属性行转列一体化存储统计行业数据资源管理服务平党政信息化第一品牌统计行业数据资源管理服务平提供方便快捷的可视化应用，通过简单的拖