神通BI产品介绍课件

1、神通商业智能汇报汇报人：黄瑞神通全系产品神通数据库（标准版| 企业版| 安全版）BI套件行业定制版本核心平台KSTORE | 嵌入式数据库 | 军用数据库神通xCluster集群件 K-Miner （数据挖掘系统） K-Cuber （OLAP系统） K-Front （智能报表系统 ）K-Fusion（ ETL系统）集群套件2神通BI与企业数据分析知识可视化数据仓库分析模型业务展现平面文件关系数据库应用系统数据集市仪表盘多维报表数据挖掘模型OLAP模型基础数据数据仓库标准报表zzK-Miner分类、预测、聚类、关联K-Cuber切片切块、上钻下钻、同比环比、指标预警K-Front报表的设计、生成

2、、展现、打印K-Fusion抽取、转换、加载神通BI3K-Miner分类、预测、聚类、关联K-Cuber切片切块、上钻下钻、同比环比、指标预警K-Front报表的设计、生成、展现、打印K-Fusion抽取、转换、加载神通BI神通K-Fusion可视化流程定义50多种数据源，支持关系数据库、文本数据、分布式文件系统等30多种数据转换节点全表比对、时间戳、自增字段、数据库日志、触发器等增量抽取策略分布式部署支持用户自定义节点执行过程可视化监控ETL元数据管理功能5神通K-Fusion：面向多种数据源抽取和加载通用型数据库平面文件定长文件数据仓库数据源K-Fusion抽取、转换数据仓库神通K-Fus

3、ion：ETL流程Demo7神通K-Fusion：所见即所得的流程设计顺序分支循环（逻辑）10神通K-Fusion： ETL流程的执行(调度)11神通K-Fusion： ETL流程的执行(监控)12神通K-Cuber快速建模工具和专家建模工具钻取、行列互转、预警等多维操作自动聚合技术分块缓存策略多维元数据管理数据权限管理16神通K-Cuber：多维建模工具快速建模工具Quick Designer可实现5步建模；专家建模工具Expert Designer可满足高级用户建立复杂OLAP模型；支持星型和雪花型模型。将ER关系模型转为OLAP模型多维元数据管理17神通K-Cuber：立方体和多维分析切

4、块切片建模时间1季度2季度3季度品类地区华南华北东北家电食品衣物时间1季度2季度3季度品类地区华南华北东北家电食品衣物时间1季度2季度3季度品类地区华南华北东北家电食品衣物6月广西 水果5月4月饮料肉类广东海南18神通K-Cuber：数据分析流程应用场景：某企业订单分析 序号维度1品类2价格带3地区4时间5职业6年龄7年收入8性别9学历序号度量1总订单数量2有效订单数量3订单有效率4有效订单金额5净订单金额6净订单数量7换货单金额8换货单数量9拒收订单金额19神通K-Cuber：多维分析(品类)23神通K-Cuber：缩小分析范围24神通K-Cuber：多角度细化分析25神通K-Cuber：选

5、择分析数据范围26神通K-Cuber：缩小数据范围27神通K-Cuber：图表分析(省级)28神通K-Cuber：图形细化分析粒度29神通K-Cuber：图表分析(市级)30神通K-Cuber：月环比分析2010年4月和5月环比总订单金额环比增长率31神通K-Cuber：图形分析钻取贵州省，并选择毕节地区钻取厨房用品34神通K-Cuber：图形分析钻取贵州省，并选择毕节地区钻取厨房用品35K-Miner分类、预测、聚类、关联K-Cuber切片切块、上钻下钻、同比环比、指标预警K-Front报表的设计、生成、展现、打印K-Fusion抽取、转换、加载神通BI神通K-Miner40种算法MPP+S

6、MP并行计算架构算法性能高效灵活的任务调度模型生命周期管理B/S架构挖掘元数据管理37神通K-Miner：并行计算架构(1) 全节点采用MPP架构，实现多任务的并行和部分算法单任务粗粒度并行； 单节点采用SMP架构，实现所有算法的细粒度并行，并确保内存的节约。K-Miner为唯一一款所有算法实现并行的数据挖掘软件。38基于E-As（调度引擎-挖掘代理）的分布式挖掘架构Master-Slaver(s)算子模式的并行挖掘算法节点内并行和跨节点并行相结合基于数据分布的负载均衡数据就近挖掘策略对HDFS、神通数据库集群等数据源的支持及扩展神通K-Miner：并行计算架构(2)基础数据层数据仓库 / 数

7、据集市调度引擎消息服务单节点并行调度认证服务集群日志负载均衡挖掘代理建模分析服务实时响应服务数据转换服务资料库元数据管理服务管理模型管理开发接口层本地应用APIWebService接口图形API网络协议接口应用层应用程序基于数据挖掘的报表引擎监管与监控第三方应用数据挖掘核心日志管理数据挖掘算法统计分析算法模型监控预警多节点并行调度神通K-Miner：架构K-Miner分布式挖掘拓扑图数据挖掘属性筛选分类预测回归预测聚类分析关联分析时间序列属性筛选属性重要性打分基于信息增益的属性打分主成分分析决策树分类回归树神经网络分类支撑向量机分类分类组合模型多元线性回归神经网络回归支撑向量机回归回归组合模型

8、K均值聚类分布估计聚类基于K均值的层次聚类购物篮分析属性关联分析序列模式分析ARX时间序列ARMA时间序列基于卡方检验的属性筛选朴素贝叶斯贝叶斯网络逻辑回归广义线性回归两阶段聚类统计分析描述性统计数据探测异常检测层次聚类方差分析归纳分析列联表相关分析分布估计函数拟合因子分析单因子方差分析双因子方差分析样本层次聚类属性层次聚类K-sigma异常检测线箱图异常检测离散化K-Miner算法神通K-Miner：算法列表共计40个神通K-Miner：海量数据处理能力神通K-Miner：高效的执行速度大部分算法执行速度远快于国外相同算法44分类算法准确率对比，准确率越高越好。回归算法准确率对比，相关系数越

9、高越好。算法准确度和SPSS Modeler相当，有的K-Miner略好，有的Modeler略好神通K-Miner：和领袖厂商相当的算法准确度45神通K-Miner：灵活的任务监管和调度策略46神通K-Miner：模型快速发布、预警及更新机制47元数据管理48主流数据挖掘工具对比项大类对比项神通K-Miner5.0SAS EM5.3（SAS9.2的）SPSS Modeler14算法算法数量27+13=401429执行速度高中中预测精度高高高其他功能数据源主流数据库、TXT、CSV、Excel等主流数据库、TXT、CSV、Excel等主流数据库、TXT、CSV、Excel等任务调度支持，且强大模

10、型管理模型库CRISP-DM扩展性并行计算架构B/SC/SC/S调用接口API、WebServiceAPIAPI第三方系统整合易用性可视化好中好建模方式向导式工作流工作流建模难度容易略复杂容易帮助文档可读性较好差好服务与价格价格中高，租赁模式高，每增加一个用户还需购买一个客户端原厂技术服务定制开发支持对比测试-测试环境CPU:英特尔E7450 2.4GHz 6核心 *4内存：64G节点数：1硬件环境操作系统环境： Windows 2003 Server 64bit集群并行数据库环境： 神通xCluster3.5 * 1 神通KSTORE3.5 * 2实例数据挖掘对比产品： 神通K-Miner5

11、.0 IBM旗下SPSS Modeler15软件环境分类测试： 电信客户流失(103万行) 税务稽查选案（20万行） 中彩客户分析（678万行） UCI运动检测（230万行）回归测试： 增值税预测（72万行）聚类测试： 中彩客户分群（220万行）数据环境对比测试-测试结果1测试算法分类回归树测试数据中彩在线客户行为变更分析数据电信小灵通客户流失分析数据税务偷漏税分析数据物理活动检测数据用例编号6.66.76.96.106.116.126.136.14对比项ModelerK-Miner串行ModelerK-Miner串行ModelerK-Miner 8线程ModelerK-Miner 8线程速度

12、数据加载时间(s)340234.48467.489.21816634.62516547.875建模总时间(s)2442.782415.6481568.751385.6255512.73304.3916146.53447.25总时间(s)2782.782650.1321636.151476.5945678.73340.8446311.53497.485速度倍数1.051.116.712.7精度分类准确率95.38%95.41%95.00%95.09%100%100%98.27%98.74%测试算法K均值测试数据中彩在线客户分群数据用例编号6.16.2对比项Modeler串行K-Miner串行数据

13、加载时间（s）87.752.157建模总时间(s)482.28172.25总时间(s)569.98225.79751对比测试-测试结果2测试算法线性回归测试数据税务增值税预测数据用例编号6.156.16对比项ModelerK-Miner 串行速度数据加载时间(s)2430.296建模总时间(s)97.7214.031总时间(s)121.7245.766速度倍数2.66精度最大误差29171.31428812.9129绝对平均误差1603.0221611.153945标准差3556.6493540.277038线性相关0.9990.99886.96倍52对比测试-SMP并行测试测试算法K均值测试

14、数据中彩在线客户分群数据用例编号6.26.3对比项K-Miner串行K-Miner 8线程SMP相对加速比绝对加速比数据加载时间(s)52.15712.1090.5384115124.307292097建模总时间(s)172.2531.610.6811531165.449224929总时间(s)225.79745.1720.6248256664.99860533153K-Miner分类、预测、聚类、关联K-Cuber切片切块、上钻下钻、同比环比、指标预警K-Front报表的设计、生成、展现、打印K-Fusion抽取、转换、加载神通BI神通K-Front可视化报表设计器支持中国式报表和各种复杂报

15、表支持30多种图形和地图支持多维分析模型和数据挖掘模型支持领导仪表盘制作55神通K-Front：主要功能所见即所得的设计风格，拖拽式报表布局加快开发进度支持生成Html、Word、Excel、PPT、PDF等格式支持多样的可视化报表元素，包括网格、表、图片、图表和交叉表等支持设计各种复杂型报表内置丰富的数据处理函数，满足制作报表的需求支持关系型数据、多维数据、数据挖掘模型等数据源支持样式模版、资源库的可重用的报表部件，加快报表开发效率56神通K-Front：图表式报表图表式报表表格图形柱形图、饼图、折线图、面积图、条形图、散列图等雷达图、仪表盘等神通K-Front：主从报表主从报表可基于单元格钻取可基于图元素钻取任意深度钻取58神通K-Front：主从报表主从报表可基于单元格钻取可基于图元素钻取任意深度钻取59神通K-Front：交叉报表交叉报表斜线表格横向扩展、纵向扩展斜线表头60神通K-Front：图标预警61神通K-Fro