数据仓库与数据挖掘一简介

数据仓库与数据挖掘一简介数据仓库与数据挖掘

DataWarehouseandDataMining数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向3动机：需要是发明之母数据爆炸问题自动的数据收集工具和成熟的数据库技术导致大量数据存放在数据库、数据仓库和其它信息存储器中我们正被数据淹没，但却缺乏知识解决办法：数据仓库与数据挖掘数据仓库与联机分析处理（OLAP）从大型数据库的数据中提取有趣的知识（规则，规律性，模式，限制等）4什么是数据挖掘数据挖掘（数据库中知识发现）从大型数据库中提取有趣的（非平凡的、蕴涵的、先前未知的且是潜在有用的）

信息或模式其它名称数据库中知识发现（挖掘）（Knowledgediscoveryindatabases,KDD），知识提取（knowledgeextraction），数据/模式分析（data/patternanalysis），数据考古（dataarcheology），数据捕捞（datadredging），信息收获（informationharvesting），商务智能（businessintelligence）等5数据挖掘可能的应用数据库分析和决策支持市场分析和管理：针对销售（targetmarketing），顾客关系管理，购物篮分析，交叉销售（crossselling），市场分割（marketsegmentation）风险分析与管理：预测，顾客关系，改进保险，质量控制，竞争能力分析欺骗检测与管理6数据挖掘可能的应用其它应用文本挖掘（新闻组、email、文档资料）流数据挖掘（Streamdatamining）Web挖掘DNA数据分析7数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向8数据挖掘的过程数据挖掘：KDD的核心数据清理数据集成数据仓库知识任务相关数据选择数据挖掘模式评估9数据挖掘的过程数据挖掘：KDD的核心数据挖掘与任务相关的数据知识种类领域知识兴趣度量和阈值表示10KDD的步骤学习应用领域相关的先验知识和应用的目标创建目标数据集：数据选择数据清理和预处理（可能占全部工作的60%!）数据归约与变换发现有用的特征，维/变量归约，不变量的表示选择数据挖掘函数汇总，分类，回归，关联，聚类11KDD的步骤选择挖掘算法数据挖掘：搜索有趣的模式模式评估和知识表示可视化，变换，删除冗余模式，等发现知识的使用12典型的数据挖掘系统结构知识库图形用户界面模式评估数据挖掘引擎数据库或数据仓库服务器数据库数据仓库过滤数据清洗和集成13数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向14数据挖掘在什么数据上进行平面文件关系数据库包括面向对象和对象-关系数据库事务（交易）数据库异种数据库和遗产数据库15数据挖掘在什么数据上进行数据仓库数据源清洗、装载、转换、集成数据仓库查询及分析工具客户16数据挖掘在什么数据上进行数据仓库数据源数据挖掘文件数据库数据仓库网页……17数据挖掘在什么数据上进行数据仓库查询/报表分析数据挖掘输出OLAPserverOLAPserver监控管理数据仓库数据集市元数据存储清洗装载转换集成操作型数据库外部数据源Toptier:前端工具Middletier:OLAPserverBottomtier:数据仓库server数据18数据挖掘在什么数据上进行多媒体数据库空间数据库19数据挖掘在什么数据上进行时间序列数据库20数据挖掘在什么数据上进行文本数据库21数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向22数据挖掘的功能概念描述：特征和区分概化，汇总，比较数据特征，如干燥和潮湿的地区关联（相关和因果关系）多维和单维关联age(X,“20..29”)^income(X,“20..29K”)

buys(X,“PC”)[support=2%,confidence=60%]contains(T,“computer”)

contains(T,“software”)[support=1%,confidence=75%]23数据挖掘的功能分类和预测找出描述和识别类或概念的模型（函数），用于将来的预测例如根据气候对国家分类，或根据单位里程的耗油量对汽车分类表示：决策树（decision-tree），分类规则，神经元网络预测：预测某些未知或遗漏的数值24数据挖掘的功能聚类分析类标号（Classlabel）未知：对数据分组，形成新的类。例如，对房屋分类，找出分布模式聚类原则：最大化类内的相似性，最小化类间的相似性25数据挖掘的功能孤立点（Outlier）分析孤立点：一个数据对象，与数据的一般行为不一致孤立点可以被视为例外，但对于欺骗检测和罕见事件分析，它是相当有用的趋势和演变分析趋势和偏离：回归分析序列模式挖掘，周期性分析基于相似的分析其它基于模式或统计的分析26数据挖掘：多学科交叉数据库机器学习统计分析可视化其它高性能计算信息检索DataMining27数据挖掘的分类一般功能描述式数据挖掘预测式数据挖掘不同的角度、不同的分类待挖掘的数据库类型待发现的知识类型所用的技术类型所适合的应用类型28数据挖掘从不同角度的分类29数据挖掘从不同角度的分类所用技术面向数据库的、数据仓库（OLAP）、机器学习、统计学、可视化、神经网络等适合的应用零售、电讯、银行、欺骗分析、DNA挖掘、股票市场分析、Web挖掘、Web日志分析等30数据仓库与数据挖掘动机：为什么要进行数据挖掘数据挖掘的步骤数据挖掘在什么数据上进行数据挖掘功能和分类一些新的研究方向31Web挖掘WebMiningWebUsageMiningAgentBasedApproachDatabaseApproach智能查询信息过滤/分类个性化Web多层次数据库Web查询系统预处理事务标识模式发现模式分析WebStructureMiningWebContentMining32Web使用挖掘WebUsageMining是在Web数据存储地中应用数据挖掘技术抽取使用模式的方法数据预处理用户使用页面关联、用户分类、用户聚类、…应用个性化站点改进……33文本挖掘文本挖掘=数据挖掘（应用于文本存储地）+基本语言学文本预处理（无结构数据结构化）词法/语义分析特征生成BagofWords特征选择频度、TFIDF、共现等数据挖掘文本分类、聚类等分析结果文本文本预处理文本转换特征选择数据挖掘解释34观点、情感挖掘观点挖掘（OpinionMining）是一种从论坛、讨论组、新闻组、博客等用户产生的内容中挖掘其表达观点的技术。文本挖掘与观点挖掘（事实与观点）文本挖掘关注事实，观点挖掘关注用户对事实所持的观点；事实是客观的，观点是主观的；事实只有一个，观点却各不相同。应用商务、网络舆情、……35数据流挖掘性质连续性：数据流是连续到达的无序性：系统无法控制数据到达的顺序无界性：数据流原则上是无限大的实时性：要求算法能够实时地反映模式变化36数据流挖掘性质传统的数据挖掘数据库数据仓库文本文件……37数据流挖掘性质传统的数据挖掘数据库数据仓库文本文件……38数据流挖掘性质传统的数据挖掘数据库数据仓库文本文件……39数据流挖掘性质数据流挖掘?40RFID事件流挖掘RadioFrequencyIdentification(RFID)TagReaderRFID数据仓库、RFID事件流分析与挖掘、复杂事件检测41图像分析与挖掘Web图像医学图像42社会网络分析aaaaaaabbbbbbcccccccccccdcddddddddddeeef