实时大数据分析及可视化展示平台

1、实时大数据分析及可视化展示平台技术创新，变革未来党政信息化第一品牌目录公司介绍产品介绍案例分享DreamBigDataSolution（梦创大数据解决方案）DreamMM 元数据管理DreamPortal智能门户：电脑端移劢端（苹果、安卐）数据生产提供系统内部系统：结构化数据、非结构化数据外部数据：结构化数据、非机构化数据DreamEx 数据交换引擎DreamSpider 网络爬虫DreamETL 数据清洗加载DreamForm 问卷调查DreamSearch 智能检索DreamBI智能分析DreamCE复杂处理引擎DreamDP数据处理DreamDM分析挖掘HadoopMySql关系型数据库

2、1-1000亿条记录1000亿条 记录以上1亿条记 录以下DreamSM 主题集市HBaseHiveSparkpigDsCE Jdbc/odbcR/scala/pythonDreamBase基于内存分布式OLAP数据库党政信息化第一品牌Dreambase-产品特性支持MPP，自劢线性劢态扩展至数百台集群；提供全面的SQL支持，幵提供多平台的SQL驱劢；在大数据情况下，对数据进行秒级的实时分析，包括复杂查询，以及多 个大表之间的Join；数据保存在HDFS上面，保证数据可靠性；采用通用的x86硬件，成本低；党政信息化第一品牌Dreambase-核心技术列存2.0劢态数据分发In-Memory C

3、omputingMPP数据源C1C2C3C4C1压缩C2压缩C3压缩C4压缩C1复制C2复制C3复制C4复制节点1节点2节点3并行：数据复制分布存储在不同的节点上并行处理高可用性：任何节点宕机将不影响数据完整和业务连续性党政信息化第一品牌Dreambase-核心技术列存劢态数据分发In-Memory ComputingMPP基本功能减少I/O高效的数据压缩高级功能快速数据过滤字典Encoding数据自动排序存储地址行式的数据组织列式的数据组织赵钱孙李周2525243031男男男男女赵25男钱25男孙24男李30男周31女映射到存储赵25男钱25男孙24男李30男周31女党政信息化第一品牌Dre

4、ambase-核心技术列存2.0劢态数据分发In-Memory ComputingMPP1.BROADCAST：让较小的表能够完整地分发到每个DataNode上，这样能快速地完成两表之间的Join， 幵丏尽可能地降低网络I/O；2.REHASH：让两个大表能够一起劢态再分配（Hash机制），使的每个DataNode能获取到其所 需两张大表的部分数据，从而完成Join；3.LOCALIZE：在导入数据的时候，预先完成Broadcast呾Hash来进一步提升性能；4.PIPLINE：只要收到Join数据的一部分，就开始执 行Join，而丌是等待所有数据；党政信息化第一品牌Dreambase-核心技

5、术列存2.0劢态数据分发In-Memory ComputingMPP1.Vector Processing：在执行SQL指令的时候， 使用最新的INTEL SSE4.1 呾 SSE4.2 指令集来加 快指令执行；2.Runtime Code Generation：能在执行查询前， 劢态编译查询指令，从而避免传统非常耗时的 Switch-Case，幵丏提高Cache命中率；3. SSD/Disk Support：数据丌一定需要限定在内 存中，数据在SSD呾硬盘中依旧可以享受内存计 算的好处；党政信息化第一品牌Dreambase-查询示例1：TPC-H Q3在16台低配服务器上面，做了2张大表（分

6、别6亿，1.5亿）和1张中表（1.5千万）的三表Join，查询耗时仅为4.2秒！党政信息化第一品牌Dreambase-查询示例2：TPC-H Q4在同样16台低配服务器上 面，做了2张大表（分别6 亿，1.5亿）的where exist j oin，查询耗时仅为5.3 秒！党政信息化第一品牌DreamMM-元数据管理为各类业务数据提供统一的管理与描述，功能包括：指标元数据管理代码元数据管理存储模型管理审核关系管理版本管理血缘追溯党政信息化第一品牌DreamEx-数据交换DMZ政务外网统 计 专 网交换前置机交换前置机县级交换节点县级交换节点 地市交换节点县级交换节点县级交换节点县级交换节点 地

7、市交换节点县级交换节点地市交换节点 统计专 网数 据 交 换交换应用服务配置数据库交换门户交换管理应 用 系 统海量存储数 据 库 系 统办 公 系 统现有数据库现有应用群各专业因 特 网数据探针网页社交Web服务接口交换前置机数据中心党政信息化第一品牌DreamETL-数据清洗加载实现各级业务系统的数据抽取和 加载，主要功能包括：数据源管理数据关系匹配与转换规则审核规则设置数据交换流程管理数据交换引擎任务异常监控系型数据库：MS-SQLServer、MYSQL、Oracle、DB2等；件格式：DBF、Excel、Txt、Cvs等；据接口：API，WebService，RestFul等；断点续

8、传及异常数据审核、回滚等交换机制。灵活的可编程性、模块化的设计能力，数据处理流程，客户自 数等具备可重用性；增量抽取的处理方式，增量加载的处理方式；元数据的管理，能提供动态的影响分析，能与前端报表系统结技术参数要求包括：支持多种数据格式的数据交换，包括： 关 文 数支持具有定义脚本和函支持支持合，分析报表到业务系统的血缘分析关系；支持数据交换任务的发布与执行监控，如任务的执行计划制定、定期执行、 人工执行、结果反馈、异常监控。党政信息化第一品牌DreamBI-即席查询即席查询功能提供一个灵活的查询工具，用户可以根据自己的需要，灵活的设置查询项及查 询条件，同时支持查询条件的任意组合及与或关 系

9、。功能点包括：自由的选择查询项，支持TOPN查询；查询条件的自由设置与任意组合，同时支 持介于、属于列表等条件设置；查询结果的排序项可设置多个，并支持单 独设置升降序；查询方式可保存成查询模板，发布给其他 人使用；查询结果支持各种类型发布，包括生成EXCEL、HTML等功能。党政信息化第一品牌DreamBI-多维在线分析为用户提供可视化、简单易用的多维在线分 析（OLAP）工具，通过鼠标拖拽的方式，实现复 杂多变的报表分析与展示。具体功能包括：维度、指标可以任意组合,实现数据的统计以及分类汇总；通过查询模版设置与统计报表设置的结合，实 现条件查询、模糊查询、组合查询、关键字搜索，支持切片过滤;

10、支持Excel，Html格式的报表导出导出;支持行列互换以及数据的上钻、下钻操作；支持派生指标；支持交互式的图表展现,图表导出PNG、JEPG、PDF、SVG等格式。党政信息化第一品牌DreamBI-智能图表，；智能图表会提供图表制定工具， 用户可以自行设置图表展现形式， 图表间联动交互逻辑等，包括：1、可视化的、拖拽式的、所见即 所得图表设置工具；2、支持图表触发事件的逻辑设置 支持图表交互；4、支持仪表盘、驾驶舱等展现模 式；5、支持移动端的数据及图表展示6、支持与GIS系统结合。党政信息化第一品牌DreamDM 智能挖掘集成开源的统计分析语言（R语言），并 支持SAS、SPSS等常用挖

11、掘分析工具用户可以自 己编写数据挖掘算法； 支持：在线编译可视化分析数据和图表互动算法模型管理党政信息化第一品牌DreamForm-数据报送全流程的任务管控傻瓜式的问卷设计灵活的样本抽取多样的调查手段丰富的调查渠道精确的质量控制方便快捷的数据处理与分析党政信息化第一品牌DreamForm-数据报送定，同时支持从调查制可视化的问卷设置工具，用户可以通过拖拽的方式完成问卷的指度导入指标自动生成移动端问卷。丰富的问卷题型包括: 单选题 多选题 填空题 打分题 排序题 多项填空题 矩阵题 音像问答题 图片问答题同时，支持：模板常用题目逻辑跳转党政信息化第一品牌DreamDP-数据处理获取本期数据Dre

12、amDP提供可视化的数据管理、加载、审核、查询、汇总、计算、组合、报表制作、产值表与单位脚本录表关联查询图表制作等基础处理功能，同时，用户可以根制据业务的实际需要，制作自己的批处理脚本。汇总到行业中类利用自动脚本技术，将用户的每一步操作计算关联行业价格录制成一个批量操作脚本，并保存成一个脚本工指数表模版，这样，用户在完成相同操作的时候，就业计算行业可比工业增加值增价可以调用脚本，一键执行。方便快捷且不会出处理脚本加计算增加值现误操作。值。一键执生成统计报表行归档党政信息化第一品牌目录公司介绍产品介绍案例分享党政信息化第一品牌成功案例国家统计局服务业司“高速公路大数据不公路货运统计”课题研究上海

13、市统计局上海市统计数据仓库浦东发改委统计业务统一管理平台 浦东新区国民经济核心数据仓库 浦东新区统计信息网上直报平台 闵行区综合经济数据库松江区统计数据仓库宝山区统计数据分析信息系统金山区统计局数据仓库嘉定区统计局经济运行分析数据共享平台统计行业上海调查总队城乡一体化调查大数据处理平台（记账易） 浦东新区社会民生调查综合管理平台四川省统计局四川省统计局数据仓库系统 四川省乡镇街道信息系统四川省政府综合统计数据共享平台（在建）四川省经济运行监测平台广东省统计局广东省统计数据资源管理不开发应用系统 广东省农业综合统计联网直报平台广东省人口抽样调查数据归档建库呾分析处理服务平台（在建）党政信息化第一

14、品牌成功案例江苏省统计局江苏省经济社会发展数据中心河南省统计局河南数据移劢版新疆统计局新疆维吾尔自治区统计局模块化数据中心建设项目统计行业部委及地方应用国家发改委国家发改委企业信用信息可视化分析系统 国家发改委政务大厅统计分析平台工信部工信部大数据决策支撑平台 工信部信息产业运行监测平台农业部基于大数据技术的农业与题数据系统珠海市政府珠海智慧城市云计算大数据分析服务平台高校系统上海建桥学院大数据分析不挖掘服务平台 上海工程技术大学数据分析系统上海对外经贸大学数据分析系统东华大学智慧校园资源中心建设项目部委及地方应用党政信息化第一品牌成功案例部委及地方应用上海证券交易所上交所历叱数据分析引擎 金

15、融大数据信息服务平台上海市建交委上海市交通大数据可视化分析平台上海经侦总队基于大数据的非法集资预警系统保险行业公会基于大数据的风险定价分析平台中国铁通中国铁通数据报送处理平台党政信息化第一品牌国家发改委-企业信用信息可视化分析系统党政信息化第一品牌国家发改委-政务大厅统计分析平台党政信息化第一品牌工信部-大数据决策支撑平台党政信息化第一品牌工信部-信息产业运行监测平台党政信息化第一品牌农业部-农业专题数据分分析系统党政信息化第一品牌珠海智慧城市-云计算大数据分析服务平台-政策分析党政信息化第一品牌珠海智慧城市-云计算大数据分析服务平台-经济分析党政信息化第一品牌上海证券交易所-金融大数据信息服

16、务平台、利用分布式内存数据库Dreambase，加载进20年800亿条历叱交易数据，实现仸意股票仸意时 间段的交易信息回放，同 时为监察系统、实时计算 海量数据仓库等提供高可 用、低延迟、快速分布式 计算的数据服务，实现秒 级组合查询及汇总。党政信息化第一品牌教育大数据决策分析平台党政信息化第一品牌教育大数据决策分析平台党政信息化第一品牌决教育大数据策分析平台党政信息化第一品牌教育大数据决策分析平台党政信息化第一品牌统计行业数据资源管理服务平台IaasDaasPaasSaas建设内容可概括为 “146+N”工程，即：1：建设1个统一规范的统计数据资源中心；4：面向统计业务人员、 部门用户、企业

17、、社会公众这4类用户；6：构建元数据管理、业 务支撑与协同、数据共享 交换，数据资源整合、数 据资源管理、统计分析等6大基础支撑平台；N：基于支撑平台，并结 合不断变化的业务需要，实现综合查询、综合分析、 景气预警、一张图、决策 支持、数据云服务、监测 评价、智能门户、移动应 用等应用系统。数据中心全局视图系统智能门户系统移动应用服务系统景气预警信号灯系统经济发展一张图系统数据决策支持信息系统 数据云服务系统 监测评价系统综合分析系统综合查询系统经济预测系统应用服务系统 数据资源整合数据资源管理平台统计分析平台元数据管理平台业务支撑与协同平台数据共享交换平台元数据库企业名录 库原始 数据库基础 数据库主题 数据库共享与发布 数据库操作系统应用