邦道信息SSP大数据智能分析平台

演讲者：邦道信息技术有限责任公司2016年3月SSP大数据智能分析平台®整体解决方案|交互式分析|专家系统|

精准决策公司简介价值积累产品介绍技术特色公司简介1CompanyProfile1由行业专家发起设立以成为“下一代数据科学家”为使命长期参与运营商的技术研发

邦道信息技术有限责任公司，是一家专业从事大数据时代行业软件的研发与服务的服务商，致力于提供大数据服务整体解决方案和技术支持。公司简介Aboutas公司简介AboutasTEAMPEERSUSER价值积累EnterpriseCoreValues2我们的进化HowcanwedowiththeBigdata业务经营分析RDB+BI2009-2011性能集中分析HD+RDB2012-2014数据开放能力HD+Spark+MPP(RDB)2015-垒码中SqoopSTGODMDWETLDP（统一采集平台）大数据存储与计算查询/汇总/统计/采集/索引M/RETL数据挖掘R语言自主算法库CLOUDUP3.1话单、信令HDFS轻度汇总资源、终端、APP库、URL库HDFSHive/MR应用加速区Hive/MRHive/MRNOAS4.0ADSCubeETLETLETLSqoopETL处理ETL任务管理ETL流程管理ETL日志管理ETL规则配置预处理转换聚合装载后台管理元数据管理数据质量管理主数据管理第三方应用性能管理系统SecondIndex集群监控管理ZookeeperGangliaStorm/TimesTen大数据分布式采集传统数据并行采集NagiosHUE信令话单Gn/Gb/IuPS信令话单数据网管数据话务数据传输拨测/路测EMOS能力库APP库URL库H+R模式H+RMode大规模明细数据话单信令HDFS分布式文件存储详单和基于详单的细粒度汇聚结果以及数据挖掘的结果自助分析（Impala

)

&批量处理（Spark、Hive）&数据挖掘（Spark、Mahout）大数据的清洗、轻度汇聚、计算与挖掘实时流处理与计算引擎综合采集平台网管数据性能资源终端库网优应用数据库（RDBMS）专题分析的结果数据，按照专题分库存储数据同步上层专题应用、即席查询与分析RDBMS数据查询代理大数据采集大数据即席查询与分析（Impala）数据共享探针数据仓库（MPP）结构化、维度化、详单与网管数据关联后的，面向分析主题的明细分析数据。多维度即席查询与分析（SQL）H+S+M模式H+S+MMode产品介绍Products3“一站式”数据汇聚平台空间服务产品邦道云图可视化建模与分析工具深度DPI工具-Gandalf实时数据处理平台整体解决方案EnterpriseSolution采集预处理源文件本地文件HDFS下载装载结果文件HADOOP/DB/DW输出存储SPARK处理节点处理节点……处理节点处理节点处理节点数据采集DataCollection数据采集与质量控制DPandQA数据探测与预处理

元数据创建与管理

数据采集与清洗

资源回填与计算结果回填

任务管理和质量控制数据开放与接口调用

迭代与数据通讯

数据订阅、目录服务、API和多租户

数据采集与质量控制DPandQANetty底层通信系统Spout/接收SpoutSpoutHDFS文本文件实施接口数据SupervisorSupervisorSupervisorNimbus/集群管理节点Flume/读取文件发送数据到KafkaKafka节点Kafka节点Kafka节点Bolt/过滤Bolt/处理Bolt/聚合BoltBolt/入库Bolt/处理Bolt/JoinBoltHbase集群HiveHDFSOracle/MysqlApolloRedis高效实时数据处理DP-Streamzookeeper高效实时数据处理DP-Stream具备高并发性低时延的明细查询，可以支持任意多条件组合查询，单节点吞吐量可达60-90万条／秒，亿级数据响应时延在5秒以内；分布式的采集，降低数据加载的时延；人机交互gui接口，支持界面可视化的数据链接与共享；支持万兆以太网络，大数据的计算性能随着节点的增加可以线性提升，支持万级明细查询的并发性；高效实时数据处理DP-Stream可视化分析工具Desight数据源工作台Pivot维度拖拽指标拖拽模型选择数据集选择公共维度拖拽引用维度拖拽计算指标拖拽公共查询功能从数据源读取数据,多选支持,自父级关联;2.包含,绝对等于,大于,小于支持;3.默认值设定Charts1.饼图,柱状图,折线,地图,区域图，点图,XY散步图等可扩展添加2.任意图形切换(数据支持的情况);历史步骤（每个Pivot,chart都有一个独立历史步骤控制,整体页面历史步骤后续添加）交换行列维度数据轴（可以互相拖动）自定义筛选汇聚（支持百分比颜色条显示）下钻(任意工作台或者当前+号展开下钻)自定义布局保存报表导出各种文件格式Table和Pivot功能相似不同点在于无行列转换报表订阅排序(支持优先级设定)显示数据格式化（数据图形化）门限设置(支持简易公式)多工作台支持行列锁定(自动锁定维度行列)TOP功能导出(EXCEL,Word,PDF,CSV,PPT等)报表共享可视化分析平台Desight“开箱即用”,整合仪表盘、报表、BI和分析技术支持多种数据源：既支持传统数据库源，也支持Vertica、Gbase等MPP数据源；“拖拽式”分析，易于使用；支持多维数据的上卷、下钻、切片、切块等多种分析方法；提供包括箱图、热力图、气泡图、网络图、决策树等150多种插件；部署灵活，支持单机或分布式模式，可扩展性强；可视化分析工具Desight直观的报表导向入口灵活、便捷的即席多维分析邦道云图SSP@GISSSP@GIS是“您定制功能开发的地图系统！”独立的GISServer；适配多GIS引擎（ArcGIS、百度地图、谷歌地图）;自定义场景（点线面物理场景定制、关注指标定制）;数据渲染算法丰富（密度图、色块图、散点图、行动轨迹等）；多种分析方法（泰森多边形、等值线、栅格化、渲染和聚合等）；功能导航图用户迁徙图用户轨迹图流量密度图自定义湖泊、社区场景自助分析泰森多边形及色块图网络覆盖图网格分布图邦道云图SSP@GIS深度DPI模块SSP@Gandalf采集组件应用分析微博京东新浪新闻处理层自然语言处理用户兴趣归类主题词提取知识库应用库电商库音乐库图书库······访问方式APIWebServiceWeb站点采集框架定时启动运行监控规则配置热插拨插件新浪微博京东爱奇艺······规则库应用库电商库音乐库图书库……匹配组件应用匹配组件电商匹配插件音乐匹配插件……技术特色和服务TechnicalSuperiority4成熟的平台部署MatureDeployment我司采用的Hadoop平台是经过测试和验证的稳定版本，在客户生产环境成功部署运营；涵盖HDFS、Hbase、MapReduce、Hive、Mahout、Sqoop等多种框架和技术；可以根据用户的硬件环境生成最优化的集群配置，充分发挥集群的计算能力；针对现有客户在实际使用中出现问题的解决方法以及大量改进和优化；这些改进弥补了普通开源Hadoop在实际使用中的缺陷和不足，同时支持商用HD版本的对接。数据标准接口ALLONSQLMYSQLJDBCORACLEMSSQLSYSBASEVERTICAGREENPLUMH2POSTGRESQLGBASEMONETDBSQLITE...SPARKSQLHIVEHBASESQL-ENGINE(自定义)REDIS-SQL-ENGINESQUALL-STORMCASSANDRAMONGO-SQL-ENGINEAllonSQLDYNAMODB面向传统关系型数据RDBMS、大数据计算引擎SPARK、K-V数据库HBASE及Redis、流计算引擎Storm等提供SQLonquery的数据查询能力（

AllonSQL），为开发人员简化了编程和实施，可以大大缩减工作量。ArtificialIntelligenceWEBMiningCFNeuralNetwork…DataMiningTextCategorizationInterpersonalCircleStatistics交互式数据分析服务DataMining&Artif