数据仓库与数据挖掘1简介

数据仓库与数据挖掘

DataWarehouseandDataMining第一页，共四十六页。数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向2第二页，共四十六页。动机：需要是发明之母数据爆炸问题自动的数据收集工具和成熟的数据库技术导致大量数据存放在数据库、数据仓库和其它信息存储器中我们正被数据淹没，但却缺乏知识解决办法：数据仓库与数据挖掘数据仓库与联机分析处理（OLAP）从大型数据库的数据中提取有趣的知识（规则，规律性，模式，限制等）3第三页，共四十六页。什么是数据挖掘数据挖掘（数据库中知识发现）从大型数据库中提取有趣的（非平凡的、蕴涵的、先前未知的且是潜在有用的）

信息或模式其它名称数据库中知识发现（挖掘）（Knowledgediscoveryindatabases,KDD），知识提取（knowledgeextraction），数据/模式分析（data/patternanalysis），数据考古（dataarcheology），数据捕捞（datadredging），信息收获（informationharvesting），商务智能（businessintelligence）等4第四页，共四十六页。数据挖掘可能的应用数据库分析和决策支持市场分析和管理：针对销售（targetmarketing），顾客关系管理，购物篮分析，交叉销售（crossselling），市场分割（marketsegmentation）风险分析与管理：预测，顾客关系，改进保险，质量控制，竞争能力分析欺骗检测与管理5第五页，共四十六页。数据挖掘可能的应用其它应用文本挖掘（新闻组、email、文档资料）流数据挖掘（Streamdatamining）Web挖掘DNA数据分析6第六页，共四十六页。数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向7第七页，共四十六页。数据挖掘的过程数据挖掘：KDD的核心数据清理数据集成数据仓库知识任务相关数据选择数据挖掘模式评估8第八页，共四十六页。数据挖掘的过程数据挖掘：KDD的核心数据挖掘与任务相关的数据知识种类领域知识兴趣度量和阈值表示9第九页，共四十六页。KDD的步骤学习应用领域相关的先验知识和应用的目标创建目标数据集：数据选择数据清理和预处理（可能占全部工作的60%!）数据归约与变换发现有用的特征，维/变量归约，不变量的表示选择数据挖掘函数汇总，分类，回归，关联，聚类10第十页，共四十六页。KDD的步骤选择挖掘算法数据挖掘：搜索有趣的模式模式评估和知识表示可视化，变换，删除冗余模式，等发现知识的使用11第十一页，共四十六页。典型的数据挖掘系统结构知识库图形用户界面模式评估数据挖掘引擎数据库或数据仓库服务器数据库数据仓库过滤数据清洗和集成12第十二页，共四十六页。数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向13第十三页，共四十六页。数据挖掘在什么数据上进行平面文件关系数据库包括面向对象和对象-关系数据库事务（交易）数据库异种数据库和遗产数据库14第十四页，共四十六页。数据挖掘在什么数据上进行数据仓库数据源清洗、装载、转换、集成数据仓库查询及分析工具客户15第十五页，共四十六页。数据挖掘在什么数据上进行数据仓库数据源数据挖掘文件数据库数据仓库网页……16第十六页，共四十六页。数据挖掘在什么数据上进行数据仓库查询/报表分析数据挖掘输出OLAPserverOLAPserver监控管理数据仓库数据集市元数据存储清洗装载转换集成操作型数据库外部数据源Toptier:前端工具Middletier:OLAPserverBottomtier:数据仓库server数据17第十七页，共四十六页。数据挖掘在什么数据上进行多媒体数据库空间数据库18第十八页，共四十六页。数据挖掘在什么数据上进行时间序列数据库19第十九页，共四十六页。数据挖掘在什么数据上进行文本数据库20第二十页，共四十六页。数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向21第二十一页，共四十六页。数据挖掘的功能概念描述：特征和区分概化，汇总，比较数据特征，如干燥和潮湿的地区关联（相关和因果关系）多维和单维关联age(X,“20..29”)^income(X,“20..29K”)buys(X,“PC”)[support=2%,confidence=60%]contains(T,“computer”)

contains(T,“software”)[support=1%,confidence=75%]22第二十二页，共四十六页。数据挖掘的功能分类和预测找出描述和识别类或概念的模型（函数），用于将来的预测例如根据气候对国家分类，或根据单位里程的耗油量对汽车分类表示：决策树（decision-tree），分类规则，神经元网络预测：预测某些未知或遗漏的数值23第二十三页，共四十六页。数据挖掘的功能聚类分析类标号（Classlabel）未知：对数据分组，形成新的类。例如，对房屋分类，找出分布模式聚类原则：最大化类内的相似性，最小化类间的相似性24第二十四页，共四十六页。数据挖掘的功能孤立点（Outlier）分析孤立点：一个数据对象，与数据的一般行为不一致孤立点可以被视为例外，但对于欺骗检测和罕见事件分析，它是相当有用的趋势和演变分析趋势和偏离：回归分析序列模式挖掘，周期性分析基于相似的分析其它基于模式或统计的分析25第二十五页，共四十六页。数据挖掘：多学科交叉数据库机器学习统计分析可视化其它高性能计算信息检索DataMining26第二十六页，共四十六页。数据挖掘的分类一般功能描述式数据挖掘预测式数据挖掘不同的角度、不同的分类待挖掘的数据库类型待发现的知识类型所用的技术类型所适合的应用类型27第二十七页，共四十六页。数据挖掘从不同角度的分类28第二十八页，共四十六页。数据挖掘从不同角度的分类所用技术面向数据库的、数据仓库（OLAP）、机器学习、统计学、可视化、神经网络等适合的应用零售、电讯、银行、欺骗分析、DNA挖掘、股票市场分析、Web挖掘、Web日志分析等29第二十九页，共四十六页。数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向30第三十页，共四十六页。Web挖掘WebMiningWebUsageMiningAgentBasedApproachDatabaseApproach智能查询信息过滤/分类个性化Web多层次数据库Web查询系统预处理事务标识模式发现模式分析WebStructureMiningWebContentMining31第三十一页，共四十六页。Web使用挖掘WebUsageMining是在Web数据存储地中应用数据挖掘技术抽取使用模式的方法数据预处理用户使用页面关联、用户分类、用户聚类、…应用个性化站点改进……32第三十二页，共四十六页。文本挖掘文本挖掘=数据挖掘（应用于文本存储地）+基本语言学文本预处理（无结构数据结构化）词法/语义分析特征生成BagofWords特征选择频度、TFIDF、共现等数据挖掘文本分类、聚类等分析结果文本文本预处理文本转换特征选择数据挖掘解释33第三十三页，共四十六页。观点、情感挖掘观点挖掘（OpinionMining）是一种从论坛、讨论组、新闻组、博客等用户产生的内容中挖掘其表达观点的技术。文本挖掘与观点挖掘（事实与观点）文本挖掘关注事实，观点挖掘关注用户对事实所持的观点；事实是客观的，观点是主观的；事实只有一个，观点却各不相同。应用商务、网络舆情、……34第三十四页，共四十六页。数据流挖掘性质连续性：数据流是连续到达的无序性：系统无法控制数据到达的顺序无界性：数据流原则上是无限大的实时性：要求算法能够实时地反映模式变化35第三十五页，共四十六页。数据流挖掘性质传统的数据挖掘数据库数据仓库文本文件……36第三十六页，共四十六页。数据流挖掘性质传统的数据挖掘数据库数据仓库文本文件……37第三十七页，共四十六页。数据流挖掘性质传统的数据挖掘数据库数据仓库文本文件……38第三十八页，共四十六页。数据流挖掘性质数据流挖掘?39第三十九页，共四十六页。RFID事件流挖掘RadioFrequencyIdentification(RFID)TagReaderRFID数据仓库、RFID事件流分析与挖掘、复杂事件检测40第四十页，共四十六页。图像分析与挖掘Web图像医学图像41第四十一页，共四十六页。社会网络分析aaaaaaabbbbbbcccccccccccdcddddddddddeeeffffffg节点派系凝聚子群n边及权重42第四十二页，共四十六页。不确定性数据挖掘数据的不确定性原始数据不准确；使用粗粒度数据集合；满足特殊应用目的；处理缺失值；数据集成。不确定性数据管理的框架不确定性数据模型定义预处理与集成存储与索引查询、分析、挖掘结果43第四十三页，共四十六页。作业简述数据挖掘的一些主要方法，并根据你的见解，谈谈数据挖掘技术可能的应用（举例）44第四十四页，共四十六页。感谢大家光临！第四十五页，共四十六页。内容总结数据仓库与数据挖掘

DataWarehouseandDataMining。文本挖掘（新闻组、email、文档资料）。流数据挖掘（Streamdatam