数据仓库与数据挖掘综述

1、SourceDatabasesData Extraction,Transformation, loadWarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadataArchitectedData MartsData Accessand AnalysisEnd-UserDW ToolsCentral DataWarehouseCentral DataWarehouseMid-TierMid-TierDataMartDataMartLocal MetadataLocal MetadataLocal Meta

2、dataMetadataExchangeMDBDataCleansingToolRelationalAppl. PackageLegacyExternalRDBMSRDBMSSourceDatabasesHub - Data Extraction,Transformation, loadWarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadataArchitectedData MartsData Accessand AnalysisCentral Data Ware-house and ODSCent

3、ral DataWarehouseMid-TierRDBMSDataMartMid-TierRDBMSDataMartLocal MetadataLocal MetadataLocal MetadataMetadataExchangeODSOLTPToolsDataCleansingToolRelationalAppl. PackageLegacyExternalMDBEnd-UserDW ToolsRelationalPackageLegacyExternalsourceDataCleanToolDataStagingEnterprise DataWarehouse DatamartData

4、martRDBMSROLAPRDBMSEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolvBuild Enterprise data warehouseHCommon central data modelHData re-engineering performed onceHMinimize redundancy and inconsistencyHDetailed and history data; global data discoveryvBuild datamarts from the Enterprise Data Warehous

5、e (EDW)HSubset of EDW relevant to departmentHMostly summarized dataHDirect dependency on EDW data availabilityExternal DataLocal Data MartOperational DataEnterprise Warehouse创建部门的数据集市创建部门的数据集市n范围局限于一个主题区域n快速的 ROI - 局部的商业需求得到满足H本部门自治 - 设计上具有灵活性H对其他部门数据集市是一个好的指导H容易复制到其他部门 H需要为每个部门做数据重建H有一定级别的冗余和不一致性H一

6、个切实可行的方法一个切实可行的方法v扩大到企业数据仓库扩大到企业数据仓库n创建EDB作为一个长期的目标局部数据集市局部数据集市外部数据外部数据操作型数据操作型数据 (全部全部)操作型数据操作型数据(局部局部)操作型数据操作型数据(局部局部)局部数据集市局部数据集市企业数据仓库企业数据仓库EDBDateMonthYearDateCustIdCustNameCustCityCustCountryCustSales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_salesMeasurementsProductNo

7、ProdNameProdDescCategoryQOHProductStoreIDCityStateCountryRegionStoreDateMonthDateCustIdCustNameCustCityCustCountryCustSales Fact Table Date Product Store Customer unit_sales dollar_sales Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductMonthYearMonthYearYearCityStateCityCountryRegionC

8、ountryStateCountryStateStoreIDCityStore时间维时间维事实表事实表事实事实度量度量(Metrics)时间维时间维时间维的属性时间维的属性500-100016%100014%100-50036% 1 TB40%50GB12%50-250GB19%250-500GB8%500GB-1TB21%DW规模的调查规模的调查最近一年最近一年Meta Group Survey调查对象：调查对象：3000+ 用户或意向用户用户或意向用户Data MiningDatabase TechnologyStatisticsOtherDisciplinesInformationSci

9、enceMachineLearning (AI)Visualization关联规则、序列模式、分类、聚集、神经元网络、偏差分析关联规则、序列模式、分类、聚集、神经元网络、偏差分析数据挖掘算法层产品推荐、客户细分、客户流失、欺诈甄别、特征分析产品推荐、客户细分、客户流失、欺诈甄别、特征分析商业逻辑层基因（基因（DNA）分析、银行、保险、电信、证券、零售业分析、银行、保险、电信、证券、零售业行业应用层数据挖掘应用平台数据挖掘应用平台数据挖掘应用平台数据挖掘应用平台数据挖掘应用平台数据挖掘应用平台MISERPCRME_Business数据挖掘应用平台数据挖掘应用平台数据挖掘应用平台数据挖掘应用平台数

10、据挖掘应用平台数据挖掘应用平台探索数据仓库数据挖掘算法库模型库组件库产品推荐客户细分客户流失欺诈甄别特征分析序列分析 行业应用知识数据挖掘应用服务器数据挖掘应用服务器数据挖掘应用服务器数据挖掘应用服务器数据挖掘应用服务器数据挖掘应用服务器信息系统信息系统信息系统信息系统信息系统信息系统行业客户端行业客户端行业客户端行业客户端行业客户端行业客户端数据挖掘应用服务器管理平台其他行业分析平台银行数据挖掘分析平台基因（DNA）序列分析平台数据挖掘数据挖掘应用服务器应用服务器信息系统数据源针对行业的数据挖掘应用模型使用信息系统数据源软件产品：MIS、ERP、CRM模型使用原来的软件产品增加数据挖掘决策支持模块数据挖掘应用服务器应用服务器管理平台行业应用1了解掌握研究动态2 商业模型研究3 数