aai知识发现和数据挖掘0高级人工智能

第九章知识发现和数据发掘数据发掘工具MSMiner

史忠植中科院计算所2024/1/61史忠植高级人工智能主要内容研讨背景MSMiner体系构造元数据数据仓库平台数据采掘集成工具2024/1/62史忠植高级人工智能典型的知识发现系统(3)SAS公司的SASEnterpriseMinerIBM公司的IntelligentMinerSolution公司的ClementineDataEngineDBMiner中科院计算技术研讨所的MSMiner2024/1/63史忠植高级人工智能知识发现工具SAS(1)SAS公司的SASEnterpriseMiner是一种通用的数据发掘工具。经过搜集分析各种统计资料和客户购买方式，SASEnterpriseMiner可以协助您发现业务的趋势，解释知的现实，预测未来的结果，并识别出完成义务所需的关键要素，以实现添加收入、降低本钱。2024/1/64史忠植高级人工智能知识发现工具SAS(2)SASEnterpriseMiner提供"抽样-探求-转换-建模-评价"(SEMMA)的处置流程。数据发掘算法有：·聚类分析，SOM/KOHONEN神经网络分类算法·关联方式/序列方式分析·多元回归模型·决策树模型(C45,CHAID,CART)·神经网络模型(MLP,RBF)·SAS/STAT，SAS/ETS等模块提供的统计分析模型和时间序列分析模型也可嵌入其中。2024/1/65史忠植高级人工智能知识发现工具IntelligentMinerIBM公司的IntelligentMiner具有典型数据集自动生成、关联发现、序列规律发现、概念性分类和可视化显示等功能。它可以自动实现数据选择、数据转换、数据开掘和结果显示。假设有必要，对结果数据集还可以反复这一过程，直至得到称心结果为止。2024/1/66史忠植高级人工智能知识发现工具ClementineSolution公司的Clementine提供了一个可视化的快速建立模型的环境。它由数据获取〔DataAccess〕、探查〔Investigate〕、整理〔Manipulation〕、建模〔Modeling〕和报告〔Reporting〕等部分组成。都运用一些有效、易用的按钮表示，用户只需用鼠标将这些组件衔接起来建立一个数据流，可视化的界面使得数据发掘更加直观交互，从而可以将用户的商业知识在每一步中更好的利用。2024/1/67史忠植高级人工智能数据发掘工具:公用系统

MLC++MatlabBrute2024/1/68史忠植高级人工智能知识发现工具MSMiner中科院计算技术研讨所智能信息处置开放实验室开发的MSMiner是一种多战略知识发现平台，可以提供快捷有效的数据发掘处理方案，提供多种知识发现方法。MSMiner具有以下特点：·提出了一种面向对象的元数据构造，·设计实现了一种简单但有效的数据仓库平台·提出了一种面向对象的数据发掘义务模型·设计了一种可扩展算法库2024/1/69史忠植高级人工智能数据仓库:特征面向主题集成性稳定性随时间变化2024/1/610史忠植高级人工智能数据仓库:OLAPMOLAPROLAP2024/1/611史忠植高级人工智能数据发掘和数据仓库的结合数据仓库为数据发掘提供经良益处置的数据源数据发掘为数据仓库提供深层数据分析手段2024/1/612史忠植高级人工智能MSMiner体系构造设计目的：提供快捷有效的数据发掘处理方案。设计要求：开放性可扩展性效率易用性2024/1/613史忠植高级人工智能MSMiner体系构造MSMiner体系构造表示图客户端效力器端元数据模块执行数据采掘义务编辑数据采掘义务数据采掘集成工具数据抽取和集成主题组织OLAP可视化数据仓库管理器数据仓库OLEDBforODBC2024/1/614史忠植高级人工智能元数据的内容关于外部数据源的关于内部数据的〔包括数据库、表、字段的信息〕关于数据仓库的〔包括现实表、维表、立方以及其它的中间表〕关于用户信息的数据采掘算法〔包括算法的参数信息〕关于采掘义务的〔包括采掘步骤、每个步骤的所用的参数〕2024/1/615史忠植高级人工智能元数据：元数据库2024/1/616史忠植高级人工智能元数据：元数据对象模型设计思绪一致性完备性易维护性2024/1/617史忠植高级人工智能元数据是层次的嵌套的封装的相互联络的——采用面向对象的方法60多个类元数据的构造2024/1/618史忠植高级人工智能数据仓库平台：构造MSMiner数据仓库构造表示图外部数据数据仓库元数据数据抽取、清洗、聚集、转换主题2主题1主题nOLAP及可视化工具数据采掘集成工具...2024/1/619史忠植高级人工智能数据仓库平台：数据抽取和集成数据的简单抽取和集成数据的复杂处置面向数据发掘的数据预处置2024/1/620史忠植高级人工智能数据抽取和集成:MSETLMSETL系统作为本实验室数据处置软件系列的一个重要组成部分，主要完成从业务数据源到分析数据源的转换功能。详细包括从异质业务数据源中抽取需求的数据，对这些数据进展多种预处置，把经过处置后的数据装载入指定数据仓库/数据库2024/1/621史忠植高级人工智能数据抽取和集成:MSETL用户界面〔ETL转换函数和ETL义务〕逻辑处置元数据管理数据库效力器2024/1/622史忠植高级人工智能数据抽取和集成:MSETL

支持多种数据源和目的数据库良好的可扩展性高效率的调度执行功能增量更新功能2024/1/623史忠植高级人工智能数据抽取和集成:MSETL2024/1/624史忠植高级人工智能数据抽取和集成:MSETL2024/1/625史忠植高级人工智能数据仓库平台：数据仓库建模产品号产品称号产品目录产品表订单号订货日期订货表客户号客户称号客户地址客户表产品号客户号订单号时间标识地域称号产品数量总价现实表时间标识月季度年时间表地域称号省别地域表星型模型2024/1/626史忠植高级人工智能OLAPMOLAP,ROLAP,HOLAPOLAP的操作SliceDiceRollupDrilldownPivotOLAP方案

对小规模数据:ActiveXOCX

对大规模数据:前台工具+MSOLAPServer2024/1/627史忠植高级人工智能数据立方2024/1/628史忠植高级人工智能OLAPMOLAP,ROLAP,HOLAPOLAP的操作SliceDiceRollupDrilldownPivotOLAP方案

对小规模数据:ActiveXOCX

对大规模数据:前台工具+MSOLAPServer2024/1/629史忠植高级人工智能数据立方2024/1/630史忠植高级人工智能数据仓库平台：OLAP的实现2024/1/631史忠植高级人工智能元数据的内容关于外部数据源的关于内部数据的〔包括数据库、表、字段的信息〕关于数据仓库的〔包括现实表、维表、立方以及其它的中间表〕关于用户信息的关于算法〔包括算法的参数信息〕关于采掘义务的〔包括采掘步骤、每个步骤的所用的参数〕2024/1/632史忠植高级人工智能数据发掘集成工具：构造数据发掘集成工具构造表示图数据仓库平台义务编辑义务规划和执行算法库算法管理元数据义务模型库、算法描画2024/1/633史忠植高级人工智能数据发掘集成工具：数据发掘义务模型Step1Step2Step4Step3Step5DMTask=(V,R)V={x|x∈StepObjects}R={<x,y>|P(x,y)∧x,y∈V}2024/1/634史忠植高级人工智能数据发掘集成工具：数据发掘义务模型步骤对象BNF语法定义：<StepObject>::=<Attribute_List>;<Method_List><Attribute_List>::= [<Attribute>|<Attribute>;<Attribute_List>]<Attribute>::=<Name>,<Value><Method_List>::=[<Method>|<Method>;<Method_List>]<Method>::=<Name>,<Script><Name>::=[<char>|<string>]<Value>::=[<char>|<string>|<integer>|<float>]<Script>::=<DML_Sentence>*2024/1/635史忠植高级人工智能数据发掘集成工具：编辑义务模型义务导游2024/1/636史忠植高级人工智能数据发掘集成工具：编辑义务模型义务编辑图板2024/1/637史忠植高级人工智能数据发掘集成工具：处置义务模型人机界面主控模块规划器解释器缓存函数库黑板义务模型库数据采掘义务处置引擎的构造2024/1/638史忠植高级人工智能数据发掘集成工具：处置义务模型义务规划和解释执行S1S3S2S4S5S1-S2-S3-S4-S52024/1/639史忠植高级人工智能数据发掘集成工具：DML言语DML函数人机交互和控制台输入/输出数值计算字符串处置图形、图表展现文件操作数据库访问网络通讯对象访问音讯处置和流程控制黑板操作外部功能调用其它辅助功能2024/1/640史忠植高级人工智能数据发掘集成工具：内嵌决策树SOM神经网络粗糙集关联规那么

2024/1/641史忠植高级人工智能决策树2024/1/642史忠植高级人工智能知识约简知识约简——在坚持知识库的分类或决策才干不变的条件下，删除其中不相关或不重要知识冗余知识——

资源的浪费；干扰人们作出正确而简约的决策RoughSet——把那些无法确认的个体都归属于边境限区域，而这种边境限区域被定义为上近似集和下近似集之差集〔Z.Pawlak〕知识约简是粗糙集的中心内容之一2024/1/643史忠植高级人工智能RoughSet约简2024/1/644史忠植高级人工智能数据发掘集成工具：外联BP神经网络统计分析模糊聚类超曲面分类SVM贝叶斯网络基于范例推理(CBR)隐马尔科夫模型(HMM)2024/1/645史忠植高级人工智能BP用于预测2024/1/646史忠植高级人工智能统计工具线性回归模型

——一元线性回归、多元线性回归、逐渐回归非线性回归模型——二次曲线、三次曲线、指数曲线、幂指数曲线、消费函数等模型确定型时间序列模型——指数平滑法、趋势挪动平均法〔程度趋势、线性趋势和二次曲线趋势〕、生长曲线模型〔Compertz曲线、Logistic曲线和修正指数曲线〕、季节指数法随机型时间序列模型〔自回归－挪动平均模型ARMA〕相关分析2024/1/647史忠植高级人工智能自回归动平均(ARMA)2024/1/648史忠植高级人工智能模糊聚类基于传送闭包的模糊聚类

——计算模糊类似矩阵的传送闭包，

从而获得传送闭包法的模糊聚类基于摄动的模糊聚类

——参数系

类似矩阵的最优模糊等价阵及其等价规范型获得失真最小的模糊聚类2024/1/649史忠植高级人工智能数据发掘集成工具：可扩展算法库算法注册2024/1/650