版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Sybase/BusinessIntelligenceSYBASE数据仓库/商务智能解决方案魏健商务智能咨询顾问SYBASE软件(中国)有限公司议程数据仓库库解决方方案概述述数据仓库库设计工工具数据仓库库引擎SybaseAdaptiveServerIQMultiplex“数据仓库库是在企企业管理理和决策策中面向主题题的,集集成的,,与时时间相关关的和不可修修改的数数据集合合”BillInmon数据仓库库定义OLTP系统5-10年过去详细数据当前详细数据轻度汇总数据高度汇总数据数据集市用户分析网络资源分析数据仓库数据仓库/决策分析系统数据仓库库是完全全不同的的数据库库系统RDBMSSybaseSAP//ERPVSAMEXCEL操作(业业务)系系统特性性事务处理理性能是是第一位位的支持日常常的业务务事务驱动动面向应用用数据是当当前的并并在不断断变化存储详细细数据((每一一个事件件或事务务)针对快速速预定义义的事务务优化设设计可预见的的使用模模式支持办事事人员或或行政人人员数据仓库库应用系系统特点点支持长远远的业务务战略决决策分析驱动动面向主题题数据是历历史的数据反映映某个时时间点或或一段时时间数据是静静态的,,除数据据刷新外外数据是汇汇总的优化是针针对查询询而不是是更新支持管理理人员和和执行主主管人员员数据仓库库解决方方案解决决从数据据库中获获取信息息的问题题。INFORMATION信息信息INFORMATION什么是数数据仓库库解决方方案?应用价值值时间1.日常报表表2.即即席查查询3.分分析4.数数据挖挖掘专题应用用1234数据仓库库应用类类型数据仓库库应用数据仓库库系统体体系架构构RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSDimensionModelingConformeddimension&factIncludingatomic&aggregateArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadata数据仓库库/商务务智能应应用成功功的关键键•做什么,,怎么做做?•数据仓库库性能Sybase&&Partner专业服务务数据仓库库顾问咨咨询IndustryWarehouseStudioSybaseIWS方法学ERDesignToolImpactAnalysisMetadataManagementSybaseIndustryWarehouseStudio打打包的数据仓库库基础平平台概述述业务模型物理模式元数据ETL工具例子报表算法ETLToolMetadataExchangeSmartETLMaps((Future)SQLTemplatesCognosBusinessObjectsMicroStrategyBusinessModelsfocusedonKeyIndustryEventsEnterprise-wide,,StarSchema-baseddesignIWS产产品介绍绍TABLETABLETABLETABLETABLEIndustry-specificDataModelsDataWarehouse“OpenRDBMS*”ORACLE,IBM,MICROSOFT,NCR,SYBASE,etc.
BIPartnersSampleApplications
AnalyticalCRMSalesAnalysisCustomerProfilingCampaignAnalysisCustomerCareAnalysisLoyaltyAnalysisBusinessPerformanceAnalysisIndustrySpecificSampleDataGeneral-RepresentativeSystemsIntegratorsGuideProjectPlansImplementationProtocole.g.InformaticaETLToolWarehouseArchitectMulti-DimensionalDesignToolSQLSampleReportsWarehouseControlCenterMetaDataManagement客户构成分析营销活动分析客户兴趣分析忠诚度分析销售分析行业相关的经营业绩分析收益率分析EVT_TYP_ID=EVT_TYP_IDPRD_ID=PRD_IDENTY_ID=ENTY_IDENTY_ID=EMP_IDGEO_ID=GEO_IDLANGUAGE_ID=LANGUAGE_IDPRODUCT_ID=PRODUCT_IDDEMO_ID=DEMO_IDENTY_ID=V_E_ENTY_IDENTY_ID=ENTY_IDENTY_ID=F_C_ENTY_IDCOR_EVT_TYP_ID=COR_EVT_TYP_IDCOR_RPT_STRC_ID=COR_RPT_STRC_IDENTY_ID=CNTC_RSOL_EMP_IDGEO_ID=GEO_IDFNCL_SCOR_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDCOR_EVT_TXN_ID=COR_EVT_TXN_IDLANGUAGE_ID=LANGUAGE_IDCOR_EVT_TXN_SEQ_NB=COR_EVT_TXN_SEQ_NBPN_BHVR_SCOR_ID=PN_BHVR_SCOR_IDPRODUCT_ID=PRODUCT_IDDEMO_ID=DEMO_IDENTY_ID=ENTY_IDFNCL_SCOR_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDDEMO_ID=DEMO_IDPRODUCT_ID=PRODUCT_IDPN_BHVR_SCOR_ID=PN_BHVR_SCOR_IDLANGUAGE_ID=LANGUAGE_IDFNCL_SCORES_ID=FNCL_SCOR_IDMEASURE_UNIT_ID=D_M_MEASURE_UNIT_IDMEASURE_UNIT_ID=MEASURE_UNIT_IDGEO_ID=GEO_IDCOR_RPT_STRC_ID=COR_RPT_STRC_IDEVT_TYP_ID=COR_EVT_TYP_IDENTY_ID=F_C_ENTY_IDGEO_ID=GEO_IDLANGUAGE_ID=LANGUAGE_IDEVT_TYP_ID=EVT_TYP_IDDV_HR_EVT_TYPEEVT_TXN_ID<pk,fk>INTEGEREVT_TYP_ID<fk>INTEGEREVT_TYP_SHRT_NMCHAREVT_TYP_FULL_NMcharEVT_TYP_CAT_SHRT_NCHAREVT_TYP_CAT_FULL_NcharF_HR_EVTV_E_ENTY_ID<fk>INTEGERV_E2_ENTY_ID<fk>INTEGEREVT_DT_PRD_IDINTEGERADMIN<pk,fk>INTEGEREVT_EMP_ID<pk,fk>INTEGEREVT_EMP_DEMO<pk,fk>INTEGEREVT_ADMIN_DEMO<pk,fk>INTEGERCORE_EXT_ID<pk,fk>INTEGERCORE_RPTG_STRUC<pk,fk>INTEGERGEO_ID<pk,fk>INTEGERMU_ID<pk>INTEGERFIN_SCORE_ID<pk,fk>INTEGERLANGUAGE_ID<pk,fk>INTEGERPB_SCORE_ID<pk>INTEGERF_C_ENTY_ID<fk>INTEGERPRODUCT_ID<pk>INTEGERDEMO_ID<pk,fk>INTEGEREMP_ID<pk,fk>INTEGERCDEX_SEQ_NO<pk>INTEGERQTYintegerF_CORE_EVTCOR_EVT_TXN_ID<pk>INTEGERCOR_EVT_TYP_ID<pk,fk>INTEGERD_M_MEASURE_UNIT_ID<fk>INTEGERCOR_RPT_STRC_ID<pk,fk>INTEGERGEO_ID<pk,fk>INTEGERMEASURE_UNIT_ID<pk,fk>INTEGERFNCL_SCOR_ID<pk,fk>INTEGERLANGUAGE_ID<pk,fk>INTEGERPN_BHVR_SCOR_ID<pk,fk>INTEGERPRODUCT_ID<pk,fk>INTEGERDEMO_ID<pk,fk>INTEGERENTY_ID<pk,fk>INTEGERV_E_ENTY_ID<fk>INTEGERCOR_EVT_TXN_SEQ_NB<pk>NUMBERPRD_ID<fk>INTEGERAMOUNTNUMBERD_CORE_EVT_TYPEVT_TYP_ID<pk>INTEGEREVT_TYP_SHRT_NAMVARCHAR(15)EVT_TYP_LONG_NAMVARCHAR(35)EVT_TYP_SUBTYP_NAMVARCHAR(15)D_CORE_RPT_STRCCOR_RPT_STRC_ID<pk>INTEGERHOLDING_COMPANYVARCHAR(35)ORG_TYPEVARCHAR(20)ORG_NAMEVARCHAR(35)REGIONVARCHAR(20)SALES_TEAM_TYPEVARCHAR(15)SALES_TEAMVARCHAR(15)SALES_PERSON_NAMEcharSALES_PERSON_GRADECHARSALES_PERSON_TYPECHARCHNL_CATEGORY1char(18)CHNL_TYPECHARCHNL_SUBCATCHARCHNL_NAMEcharCHNL_CEASED_TRD_DTDATECHNL_ENTY_IDINTEGERCHNL_CITYVARCHAR(20)CHNL_POSTCODEVARCHAR(20)BEGIN_DATE_PRD_IDINTEGEREND_DATE_PRD_IDINTEGERD_GEOGRAPHYGEO_ID<pk>INTEGERALL_ENTRIESCHARPOSTAL_CODECHARVARYING(15)CITYcharPOSTAL_CD_PFXchar(3)HZRD_WTHR_AREACHARHZD_WTHR_TYPECHARDMA_CODECHARSMSA_CODECHARST_PROV_AREACHARTV_REGIONCHARNTL_RADIO_AREACHARLCL_RADIO_AREACHARREGIONCHARCOUNTRYchar(3)CONTINENTY_ABBRchar(3)GEO_SUB_CNTNT_ABBRchar(3)SMRY_EFF_DTINTEGERSMRY_END_DTINTEGERPRISN_ADRS_INDCHARD_MSR_UNITMEASURE_UNIT_ID<pk>INTEGERSHRT_DESCchar(6)LONG_DESCchar(20)D_DEMOGRAPHICSDEMO_ID<pk>INTEGERALL_ENTRIESCHARINCOME_BANDVARCHAR(50)AGE_BANDVARCHAR(50)GNDRCHARMRTL_STATCHARHIGH_VALUE_INDICATCHARACMDTN_CTGRYCHARNBR_IN_HH_BANDVARCHAR(50)CHLD_AT_HOME_BANDVARCHAR(50)SIZE_CLSCHARLEGAL_ORG_TYPECHARNBR_EMP_BANDVARCHAR(50)SECTOR_CLSCHARMAIL_PRMSN_INDCHARTELMKT_PRMSN_INDCHARD_FNCL_SCORFNCL_SCORES_ID<pk>INTEGERINTERNAL_FNCL_SCORVARCHAR(50)EXPERIAN_SCOR_BANDVARCHAR(50)SCOR_N_BANDVARCHAR(50)PRFT_IND_BANDVARCHAR(50)DEBT_INCOME_RATIONUMBERD_LANGUAGELANGUAGE_ID<pk>INTEGERISO_LANG_CODECHARISO_LANG_NAMEcharLANG_GROUPVARCHAR(20)D_PN_BHVR_SCORPN_BHVR_SCOR_ID<pk>INTEGERSCORE1_BANDVARCHAR(20)SCORE_N_BANDVARCHAR(20)D_PRODUCTPRODUCT_ID<pk,fk>INTEGERENTY_ID<fk>INTEGERPRODUCT_LINECHARPRODUCT_GROUPCHARPRODUCT_CODECHARPRODUCT_NAMECHARPD_VARIANT_CODECHARPRODUCT_VARIANTVARCHAR(35)GRP_INDV_INDCHARPD_START_PRD_IDINTEGERPD_END_PRD_IDINTEGERF_SALES_EVENTEVT_TXN_ID<fk>INTEGEREVT_TYP_ID<fk>INTEGERRPT_STRC_ID<fk>INTEGERMEASURE_UNIT_ID<fk>INTEGERFNCL_SCOR_ID<fk>INTEGERPN_BHVR_SCOR_ID<fk>INTEGERENTY_ID<fk>INTEGEREMP_ID<fk>INTEGEREVT_TXN_SEQ_NBR<fk>INTEGERF_CUS_CNTC_EVTV_E_ENTY_ID<fk>INTEGERCUS_CNTC_ID<pk>INTEGERD_C_CTCT_RSOL_ID<fk>INTEGERLGCY_SYS_CUS_CNTCINTEGERCUS_CNTC_REFcharCUS_CNTC_EVT_IDINTEGERF_C_ENTY_ID<fk>INTEGERCUS_STSF_RT_ID<fk>INTEGERCNTC_INIT_DT_IDINTEGERHOUR_ID<fk>INTEGERMINUTE_ID<fk>INTEGERINIT_CNTC_EMP<fk>charCOR_EVT_TXN_ID<fk>INTEGERCOR_EVT_TYP_ID<fk>INTEGERCOR_RPT_STRC_ID<fk>INTEGERGEO_ID<fk>INTEGERMEASURE_UNIT_ID<fk>INTEGERFNCL_SCOR_ID<fk>INTEGERLANGUAGE_ID<fk>INTEGERPN_BHVR_SCOR_ID<fk>INTEGERPRODUCT_ID<fk>INTEGERDEMO_ID<fk>INTEGERCNTC_RSOL_EMP_ID<fk>INTEGERCUS_ID<fk>INTEGERSRSNS_CUS_CO_ID<fk>INTEGERDV_EMPENTY_ID<pk,fk>INTEGERRPT_STRC_IDINTEGERGEO_IDINTEGERADR_IDINTEGEREMP_DEMO_IDINTEGEREMP_NAME_PFXCHAREMP_SNAMEVARCHAR(15)EMP_FNAMEVARCHAR(15)EMP_MNAMEVARCHAR(15)EMP_NAME_SFXCHAREMP_NTL_INS_NBRCHAREMP_HOME_TEL_NBRCHAREMP_PRIM_FAX_NBRCHAREMP_EMAIL_IDINTEGEREMP_DOBDATEEMP_GNDRCHAREMP_MRTL_STATCHAREMP_LIFE_STATCHAREMP_PREF_LANGVARCHAR(20)F_CPGN_CNTC_EVTCCE_ID<pk>INTEGERPROMO_EPSD_ID<pk>INTEGERENTY_ID<pk,fk>INTEGERCNTC_PRD_ID<pk>integerCCH_COUNT<pk>INTEGERCORE__EVT_TYPE_ID<fk>INTEGERCOR_RPTG_STRUCT_ID<fk>INTEGERGEO_ID<fk>INTEGERMU_ID<fk>INTEGERFINANCIAL_SCORE_ID<fk>INTEGERLANGUAGE_ID<fk>INTEGERPB_SCORE_ID<fk>INTEGERPRODUCT_ID<fk>INTEGERDEMO_ID<fk>INTEGEREMP_ID<fk>INTEGERCOR_EVT_TX_SEQ_NO<fk>SMALLINTTRGT_GRPchar(3)CORE_EVENTY_TYPE_IDINTEGERCNTCT_CNTRL_GRP_INCHARCCE_RESULTCHARP_PSYCH_IDINTEGERAFFILIATION_IDintPA_IDINTEGERCC_COMM_EVT_AMTdecimal(10,2)D_TIME_PERIODPRD_ID<pk>INTEGERDT_NAchar(4)DATEDATEDAY_NAMEchar(8)DAY_ABRchar(3)DAY_IN_WEEKSMALLINTDAY_IN_MONTHSMALLINTDAY_IN_YEARSMALLINTWEEK_IN_MONTHSMALLINTWEEK_IN_YEARSMALLINTCLNT_SVC_WK_IN_YRchar(18)MONTH_NAMEchar(10)MONTH_ABRchar(3)MONTH_IN_YEARSMALLINTCALENDAR_QTRchar(6)MONTH_IN_QTRSMALLINTWEEK_IN_QTRSMALLINTDAY_IN_QTRSMALLINTFINANCIAL_QTRchar(6)COMPETITOR_FSCL_YRchar(6)MONTH_IN_FNCL_QTRSMALLINTWEEK_IN_FNCL_QTRSMALLINTDAY_IN_FNCL_QTRSMALLINTSEMI_YEARLYSMALLINTYEAR_NAMEchar(18)YEAR_ABRchar(4)SEASON_NAMEchar(18)SEASON_ABRchar(6)NBR_DAYS_SINCE_90integerHOLIDAY_INDCHARXMAS_HLDY_INDCHAREASTER_HLDY_INDCHARD_CPGN_COM_EVT_TYPEVT_TYP_ID<pk,fk>INTEGERCPGN_COMM_DESCCHAR分析型CRM经营业绩管理SybaseIndustryWarehouseStudio分析型应应用框架架Time资源搜集需求求理解业务务线设计模式式ETL模板构造分析析需求实施测试用户反馈馈精练测试第二代仓库库典型的数数据仓库库项目从这这里开始始SybaseIWS提供供的时间间上的价价值快速启动动数据仓仓库项目目搜集需求求理解业务务线设计模式式ETL模板构造分析析查询实施测试第一代仓库库SybaseIWS从这里开始IWS节省3到6个月更多的价值=更快地访问信息SybaseIndustryWarehouseStudioValueProposition回回顾预先建立立的业务务和物理理模型优优化了项项目进度度的安排排和加快快了对数数据的访访问基于经过过验证的的实施经经验和行行业经验验设计和方方法论是是可扩展展/可定定制的安全企业范围围数据库独独立面向行业业集成的模模型和基基础平台台
灵巧节省资源源…一一半的的投入节省时间间…更更快的的实施节省资金金…降降低成成本节省数据仓库库系统体体系架构构RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSDimensionModelingConformeddimension&factIncludingatomic&aggregateArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadataAdaptiveServer®®IQMultiplex™是专门为为满足数数据仓库库和商务务智能设设计的高高性能的的关系数数据库系系统。IQMultiplex的主要特特点是::•高可扩展展性–支持数以以千计的的并发用用户存取取TB级的数据据。•突破性的的速度–闪电般的的查询速速度,比比传统RDBMS快10~~100倍以上。。•无限的灵灵活性–支持任意意类型的的即席查查询。•最低的拥拥有总成成本–高效的数数据压缩缩存储,,达到30%~~60%;简单的的维护和和管理。。集成的主主要产品品DesignWarehouseArchitectManageSybaseASIQMIntegrateInformaticaEnterpriseConnectReplicationServerPowerMartVisualizeBo、BrioCognosSPSSAdministerWarehouseControlCenterWarehouseControlCentreSybase数数据仓库库相关产产品集的的构成RelationalPackageLegacyExternalsourceDataCleanToolSourceDataDataStagingWareHouseAdmin.ToolsEnterpriseDataWarehouseDataExtraction,,TransformationandloadDatamartDatamartEnterprise/CentralDataWarehouseRDBMSROLAPRDBMSRDBMS,StarSchemaArchitectedDatamartsCentralMetadataDataModelingToolEnd-UserToolEnd-UserToolMDBEnd-UserToolEnd-UserToolLocalMetadataLocalMetadataPowerCenterPowerMartSybaseIQMSybaseIQMBrio/BOPowerMartWarehouseArchitectWCCCognos设计:成成功的的关键数据库的的设计对对数据仓仓库系统统的整体体性能、、装载和和建立索引引的时间间以及数数据量的的增长等等的影响响超过任何其它它方面。。数据仓库库设计在支持分分析和决决策的查查询环境境中,使使业务用用户可以以访问,理理解和利利用数据据以业务用用户理解解和运用用信息的的方式组组织数据据可预见的的查询方方式基于时间间的汇总的数数据向下/上的钻取取(Drill-down/drill--up)多维模型型设计传统的数数据建模模方法((如ER模型)可可能非常常复杂且且不易理理解按照最终终用户的的想法定定义信息息(以以查询为为中心建建模)Star(星型型),Snowflake(雪花花型),,Constellation(星星座型)),Snowstorm(雪雪暴型))Facts(事实)::可度度量数据据,如数数量、、价格Dimensions(维)):用于于分类Fact的详细细数据GroceryTransactionStoreNumberTransactionDateCustomerProductQuantityAmountCustomerCustomerFromDateToDateFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneProductProductDescriptionCategoryFactTableDimensionTablesDimensionTables多维模型型:星星型模式式GroceryTransactionStoreNumberTransactionDateCustomerProductQuantityAmountCustomerCustomerFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeCustomerCategoryTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProductCategoryProductCategoryDescriptionRegionRegionDescriptionSalesPeriodPeriodIdentifierSalesPeriodFromDateToDateCustomerCategoryCategoryCustomerCategory为了避免免数据冗冗余,用用多张张表来描描述一个个复杂维维在星型模模式的基基础上,,构造造维表的的多层结结构多维模型型:雪雪花模式式GroceryTransactionStoreNumberTransactionDateCustomerProductPurchaseQuantityAmountCustomerCustomerFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeCustomerCategoryTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProductLineSalesPeriodPeriodIdentifierSalesPeriodFromDateToDateCustomerCategoryCategoryCustomerCategoryProductPurchasesProductPurchaseDateSupplyingVendorPurchaseOrderUnitQuantityPurchaseCostVendorVendorVendorNameAddress1Address2Address3CityStateCountryPostalCodeProductInventoryProductWarehouseLocationQuantityOnHandQuantityBackOrderedWarehouseWarehouseAddress1Address2Address3CityStateCountryPostalCode具有多个个事实表表多维模型型:星星座模式式GroceryTransactionStoreNumberTransactionDateCustomerProductPurchaseQuantityAmountCustomerCustomerFirstNameLastNameAddress1Address2Address3CityStateCountryPostalCodeCustomerCategoryTimeTransactionDateStoreStoreNumberStoreNameCityStateCountryTelephoneRegionProductProductDescriptionCategoryProductLineProductCategoryProductCategoryDescriptionRegionRegionDescriptionSalesPeriodPeriodIdentifierSalesPeriodFromDateToDateCustomerCategoryCategoryCustomerCategoryPromotionPeriodPromotionIdPromotionFromDateToDateProductLineProductLineIDDescriptionProductPurchasesProductPurchaseDateSupplyingVendorPurchaseOrderUnitQuantityPurchaseCostVendorVendorVendorNameAddress1Address2Address3CityStateCountryPostalCodeProductInventoryProductWarehouseLocationQuantityOnHandQuantityBackOrderedWarehouseWarehouseAddress1Address2Address3CityStateCountryPostalCode具有多个个事实表表与多层层维表多维模型型:雪雪暴模式式数据模型型中的事事实和维维度事实和维维的概念念对应于于:数据仓库库数据库库中的数数据模型型对象星型模式式(Starschema)DSS//OLAP系统统中的数数据模型型对象多维模型型(Multidimensionalmodel)SalesfactSalesmeasuresTimedimensionAttributesofthe
timedimension星型模式式-StarSchemaSalesCubeSalesmeasures(Metrics)TimedimensionAttributesofthe
timedimension多维模型型-MultidimensionalModel数据仓库库设计工工具WarehouseArchitect为数据仓仓库的设设计提供供三大功功能:多维建模模度量、维维、属性性事实表,,维表维层次表表,事实实层次表表设计向导导聚合(AggregationWizard)分片(PartitioningWizard)逆向工程程数据源源优化代码码生成目标数据据仓库引引擎(IQM,RDBMS)OLAP分析环境境Timeidentifier=TimeidentifierProductidentifier=ProductidentifierCustomeridentifier=CustomeridentifierStoreidentifier=StoreidentifierCustomerCustomeridentifier<pk>doubleCustomernamechar(30)SalesFactProductidentifier<pk,fk>doubleTimeidentifier<pk,fk>doubleCustomeridentifier<pk,fk>doubleStoreidentifier<pk,fk>doubleSalestotalrealProfitsrealStoreStoreidentifier<pk>doubleStorenamechar(50)TimeTimeidentifier<pk>doubleDatetimestampMonthchar(50)QuarterdoubleYeardoubleProductProductidentifier<pk>doubleProductdescriptionchar(80)WarehouseArchitectWarehouseArchitectDataWarehouseorDataMartDatabaseOperationalSourceOLAPEngineInterfaceExternalObjectsDecisionSupport/OLAPModel
(WAMultidimensionalHierarchy)DimensionalAnalysisTransformationRelationaland/orDimensionalAnalysisDataWarehouseModel(WAM)WarehouseArchitect的的支持范范围数据仓库库设计--小结WarehouseArchitect对数据仓仓库设计计过程的的每一步步都提供供支持::数据源中中的元数数据导入入。设计和优优化数据据仓库的的数据模模型(星星型模式式/多维模型型)。与抽取、、转换工工具对接接,实施施数据移移动。基于数据据仓库模模型,为为前端DSS//OLAP工具生成成所需的的数据立立方体。。为设计过过程的每每一步生生成文档档和报告告。数据存储储、管理理挑战数据规模模查询性能能装载速度度易于管理理存取访问问成功的关关键快速,高高效数据据存储技技术出色的查查询性能能-特特殊的的索引技术,并并行查询询可伸缩性性-GB到到TB级级易于管理理-方方便,,灵活,,GUI存取访问问-数数据随随时可用用数据管理理解决的方方案通用的关关系数据据库系统统专门的数数据仓库库服务器器SybaseIQM专门为数数据仓库库/数据集市市设计的的关系型型数据库库专门针对对OLAP/DSS而优化的的索引和和查询处处理技术术AdaptiveServerIQM数据存储储:AdaptiveServerIQM垂直存储储技术((VerticalPartitioning)无处不索索引(IndexEVERYWHERE)专利的BitWise索引引技术跨跨越Bitmap的限限制多种索引引类型::FP,,LF,,HNG,HG,CMP,WD低级数的的限制从从100扩充到到1000数据压缩缩(通常常达到原原始数据据的70--75%)预连接的的索引提提供额外外的显著著提高性性能手段段(JoinIndex))支持任意意设计模模式星型、雪雪花、雪雪暴、星星座模式式普通关系系模式支持任意意加载方方式文件、内内部数据据、外部部数据库库直接加加载开放的接接口Index传统RDBMSRelationalTableTypicalRDBMS数据按行行存储数据与索索引分开开存放很少的索索引类型型-B-树普通关系系数据库库为OLTP系统进行行优化B-treeIndexbestforretrievingonerowatatime计算“NY”州A类商店店的平均销售售额当表的记记录数从从几万条条变为千千万和上上亿条时时,传统RDBMS技术面对对的问题题:表扫描的的性能极极端低下下冗余设计计代价高高昂、查查询读取取的无效效字段过过多低级数类类型数据据上索引引的失效效普通索引引加载和空空间代价价,造成成不能任任意建造造即席查询询的SQL顺序对性性能有显显著影响响数值型比比较和运运算,无无恰当手手段加速速处理传统RDBMS不适合合数据仓仓库IQM的的特殊存存储方式式-垂直直存储((按列存存储)SybaseIQM:数据是按按列存储储的,而而不是按按行存储储好处:只存取查查询所需需的数据据数据类型型是一致致的,因因而可以以很容易易被压缩缩数据库易易于修改改和管理理SybaseIQM:只读完成成查询所所涉及及到的列列计算在纽纽约的““A”类商店的平均销销售额好处:
无须使用其他的技术,SybaseIQM就可以减少I/O超过90%IQM的的特殊存存储方式式-垂直直存储((按列存存储)“HowmanyMALESareNOTINSUREDinCALIFORNIA??GenderMMFMM-800Bytes//Row10MROWSStateNYCACTMACA-RDBMSInsuredYYNYNM Y CAM N CAF Y NYM N CA1243GenderInsuredState++11011101010110MBits10MBitsx3col/816KPage=235I/Os800Bytesx10M16KPage=500,,000I/Os基本上只只能使用用表扫描描查询过程程读取了了太多的的无效数数据IQMExample:I/O的的明显显减少IQM的的索引特特点索引即是是数据没有索引引和数据据的分别别任何一列列可以建建立多个个索引系统保证证至少会会存在一一个索引引(FP)索引的选选择和设设计主要要基于::数据的级级数(离离散值的的个数))在查询中中的使用用方式和SQL语句的顺顺序无关关索引的种种类FastProjection((FP))数据压缩缩存储根据数据据的特点点会自动动使用三三种方式式中的一一种LowFast((LF))Bitmap索引HighNonGroup((HNG)Bit--wise索引HighGroup(HG)G-Array(包括一个个改进的的B-tree))Compare(CMP)列比较Word(WD)字符串查查找FP索引引有三种种内部形形态根据数据据级数特特征,IQ自动动选择FP中中最合适适的一种种表现形形式If级级数>65536FPindexIf级级数<256FFPIndex((Fast--FastProjection)If级级数Between256and65536FFFPIndex(Fast-Fast-FastProjection)FP形式1::FPIndex该列的级级数超过过65536原始数据据在磁盘盘上压缩缩存储alphaalphabetagammabetabetaFP形式2::FFPIndex列级数<<256内部生成成一个单单字节的的lookup表不仅拥有有较好查查询效率率,同时时得到高高效压缩缩DataValuesRedBlueGreenRedColorRedBlueGreen12311123332LookupTableDataFP形式3::FFFPIndex列的级数数界于256和65536之间系统内建建一个双双字节的的lookup表DataValuesRedBlueGreenRedColorRedBlueGreen12311
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年工程维护清洁合同
- 2024年工程项目增补合同协议
- 2024北京初三一模语文汇编:诗歌鉴赏
- 2024年合作共赢:技术开发合伙合同
- 2024年企业技术顾问聘用合同
- 2024年城市轨道交通水电合同
- 2024年学生退学与补偿合同
- 2024年劳务派遣服务合同精简版
- 2024年先进轨道交通设备生产与销售合同
- 2024年工地活动房空调租赁合同
- 标准齿轮主要参数及其计算课件
- JJF(新) 99-2023 液体流量计现场校准规范
- 大学生职业生涯规划书软件技术
- 2022中小学高级教师任职资格评审讲课答辩题目及答案
- 2024年海岛旅游行业分析报告及未来发展趋势
- 针刺伤标准预防
- 团播主持人协议
- 氯酸盐行业分析
- 国开电大 可编程控制器应用实训 形考任务6实训报告
- 跨国企业中方外派人员的跨文化适应
- 《道路交叉设计》课件
评论
0/150
提交评论