用户案例_数据仓库

2020年4月19日 用户案例介绍Oracle数据中心 内容 法国电信新西兰电信 法国电信数据仓库 法国电信 FranceTelecom 欧洲第三大电信运营商 2000年营业额为337亿欧元在五大洲220个国家和地区拥有9100多万客户下属Orange是第二大移动运营商 实际的数据仓库案例 WinterVLDBSurvey 14Sep2005LargestDatabaseSize DecisionSupport SearsTeradata4 63HCIAInformix4 50Wal MartTeradata4 42TeleDanmarkDB22 84CitiCorpDB22 47MCIInformix1 88NDCHealthOracle1 85SprintTeradata1 30FordOracle1 20AcxiomOracle1 13 法国电信 世界上最大的数据仓库 Winter2003VLDBSurveyLargestDatabaseSize DecisionSupport 数据仓库项目建设目标 建立统一的数据信息平台 实现客户资料和生产数据的集中存储 利用先进的数据仓库技术和决策分析技术为市场营销和客户服务工作提供有效的支撑 流失分析欺诈分析客户发展分析客户关系管理 目前系统规模 包含12个月的话单数据库容量为65TB 其中原始数据为25TB最大的表包含1800亿话单 项目面临的技术挑战 数据存储系统要求存储12 18个月的详单数据数据装载按小时装载详单数据 要求每天在8小时内装载5亿条详单高峰时一个小时装载6500万条详单在8小时内同时完成1亿7000万个汇总操作数据访问支持680个并发用户 支持8000个系统用户95 的预定义查询操作在5秒钟内完成每秒钟23个查询操作 法国电信选择数据仓库平台的考虑 强大的ETL支持能力支持按小时的数据装载高效的数据访问硬件的支持 多CPU 大内存 并行处理分区技术索引技术数据库内置的分析能力高可用性7x24不间断运行软件的成熟性TB级数据仓库用户案例 数据仓库 数据缓冲池和操作数据存储 汇总计算计算更新 生产数据采集和预处理预处理转换导出新数据 数据仓库系统管理 数据仓库功能管理 系统管理员操作员 错误数据处理 刷新数据集市 数据集市1 客户资料 客户资料接收和准备质量检查转换 生产系统 数据集市2 中央数据存储 普通用户 预处理应用 其它界面 WEB界面 高级用户 即席查询应用 应用平台 系统的逻辑结构 系统中使用的Oracle关键技术 混合分区 混合分区的设计 按地区建立列表分区按时间建立范围分区一天以上的话单数据按天建立365分区一天以内的话单按小时建立分区 selectsum sales amount fromsaleswheresales datebetweento date 01 MAR 1999 DD MON YYYY andto date 31 MAY 1999 DD MON YYYY 利用分区忽略提高大表的查询性能 分区忽略 只有相关分区被访问 系统测试结果 数据访问 每秒钟23到100个并发查询操作95 的查询在1秒钟内完成 系统中使用的Oracle关键技术 可传输的表空间 业务系统 数据仓库 Mar Feb Jan Mar Feb 操作系统文件的直接复制不需要数据的导入 导出 实现按小时的数据加载 OLTP DataWarehouse DataMarts Archives Informationdistribution Staging 可传输表空间在数据仓库中的使用 举例利用可传输的表空间和分区技术实现快速数据装载 详单数据的导出 把需要传输的数据放在单独的表空间CREATETABLEtemp jan salesNOLOGGINGTABLESPACEts temp salesASSELECT FROMsalesWHEREtime idBETWEEN 31 DEC 1999 AND 01 FEB 2000 导出数据字典EXPTRANSPORT TABLESPACE yTABLESPACES ts temp salesFILE jan sales dmp复制数据文件和数据字典到数据仓库服务器 详单数据的导入 导入数据字典IMPTRANSPORT TABLESPACE yDATAFILES db tempjan f TABLESPACES ts temp salesFILE jan sales dmp通过分区交换 将新数据加入目标表1 ALTERTABLEsalesADDPARTITIONsales 00janVALUESLESSTHAN TO DATE 01 feb 2000 dd mon yyyy 2 ALTERTABLEsalesEXCHANGEPARTITIONsales 00janWITHTABLEtemp sales janINCLUDINGINDEXESWITHVALIDATION 系统测试结果 数据装载 数据装载 装载包含5000万条详单的一个分区和2个索引的一个表空间文件传输 4 50 数据导入到Oracle数据仓库 瞬时创建索引 7 50 预计算及其它运算 14 合计 32 26 物化视图提高汇总数据的访问性能 查询 法国和意大利的用户在过去三个月的漫游通话总时长是多少 使用Oracle内置的SQL分析函数 汇总ROLLUP CUBE抽样Sampling排名Rank rank percentile ntile top bottom滑动窗口MovingWindow avg sum min max count variance stddev firstvalue同比Period over periodcomparisons时间序列Lag报表函数sum avg min max variance stddev count ratiotoreport统计函数covariance correlation linearregression TimekeySalesSales last yearSales change98 11100 99 11200110010099 2150014505099 31700135025099 416001700 10099 51800160020099 6150014505099 7130012505099 814001200200 SELECTtimekey sales LAG sales 12 OVER ORDERBYtimekey assales last year sales sales last year assales changeFROMsales 举例 使用时间序列函数 系统使用情况 数据汇总 1亿7000万个汇总运算在2个小时内完成不需要专门的服务器数据访问 每秒钟23到100个并发查询操作95 的查询在1秒钟内完成 数据仓库系统为法国电信带来的好处 为各个业务部门的用户提供统一的数据视图保证数据的一致性和质量提高信息的及时性整合系统 节省投资已经将10个系统整合 未来会整合更多的系统比原来的专有系统管理更灵活 升级更容易 数据仓库系统为法国电信带来的好处 全面了解客户的使用行为 实现市场细分欺诈行为检测建立欺诈模式库及时检测客户通话行为发生的突然变化 运用模式库进行识别通过预警系统通知相关人员进行调查 我们每天装载5亿条话单 Oracle数据仓库在实际使用中已经被证明非常稳定 可靠和具有扩展性 Jean LucCochennecFranceTelecom 从WinterCorporation最近的数据库可伸缩性调查发现 法国电信的数据仓库系统无论是从数据库规模和记录数方面 都是世界上单一数据库中最大的 RichardWinter March2002 FieldExperiencewithLargeScaleDataWarehousingonOracle 新西兰电信数据仓库 新西兰电信简介 新西兰最大的综合电信运营商在新西兰和澳洲拥有210万用户员工数为6900多名总资产83亿新西兰元年收入55亿新西兰元业务范围 市话 长途 移动 互联网 宽带 增值业务 项目建设背景 电信市场变化开放的电信市场日益增多的竞争对手公司战略转变从扩大用户群转变为提高现有用户对企业的贡献度从大规模营销转向目标市场营销 原有系统的状况 各个系统采用不同平台缺乏数据标准数据采集和集成困难多个系统中冗余的数据 数据仓库项目概况 PROBEPROactiveBusinessEnabler 从1996年6月开始建设 1997年建成上线到2002年为止 开发了50多个主题 客户 产品 收入 通话行为 市场营销 缴费用户包括市场部 销售部和财务部等部门1400多人 Oracle在项目中的参与情况 1996 2002 设计和建设数据仓库逐步增加50个新的分析应用 目前 与新西兰电信和EDS合作实施 360 客户视图 项目建立数据仓库与业务系统的实时接口实现实时的客户细分 PROBE项目为公司带来的效益 有形效益 增加收入 提高ARPU减少客户流失提高营销活动的响应率从5 提高到30 降低营销成本和服务成本 PROBE项目的投资回报 目标市场营销每年节省1200万元 市场赢回 计划每年增加800万元更合理的国际长途收费定价增加收入与节约成本 每年700万元 PROBE为外部客户服务 向外部客户出售统计分析结果 Vision 800客户按地区 时段 服务类型价格 每月一次 25 月每周一次 85 月 议程 项目概况项目实施方法数据仓库技术方案 建设原则 需求驱动 从多种渠道识别客户实现精确营销提升客户价值 业务目标 建设原则 实用性紧密配合业务部门的市场经营活动 客户维系 流失客户名单营销活动管理 营销活动名单 反馈分析新业务开发 产品定价 关联分析 发展战略 规划 网络管理 目标市场营销 客户满意度 销售 财务表现 CustomerandProductInformation 运营效率 制订企业发展战略监控其执行情况 BusinessIntelligenceForTelecom 建设方法 整体规划 分步实施 需求预测能力规划投资预测 通信能力分析通信质量分析业务覆盖分析 欺诈检测业务开展业务使用供应链分析 客户流失分析客服中心分析服务质量保证 市场细分响应模型营销活动ROI分析 新产品设计价格模型 收入总量及变化收入结构分析缴 欠费分析 整体规划的实现 统一规划 数据模型数据获取策略元数据 确定新增应用的优先级 效益低高不可能下次考虑没有价值目标应用 高低 成本和风险 数据仓库的效益 成本和风险 严格的投资回报分析 效益 我们能通过这个项目的实施获得什么 有形 增加收入 降低成本无形 工作效率提高 企业更 智能化 成本 为了实现这些收益需要付出什么代价 一次性成本持续性成本风险 会遇到哪些障碍 螺旋递增式建设方法 每次迭代目标明确 快速见效滚动投资 每年追加费用是初始投资的15 20 应用推广 领导带头使用设置专职的业务分析员系统使用情况统计注重对业务人员的培训 议程 项目概况项目实施方法数据仓库技术方案 PROBE系统架构和数据流 加载 20 内部源系统 12CPU 3Tbdisk Tape ftp DBlink PROBE 外部信息源 email ftp CD OracleDesigner 元数据库 OraclePortalandDiscoverer 报表 Oracle9iAS 抽取 OLAP分析和数据挖掘 内部系统 SQL andQueryBuilder DBlink ftp ftp CD Oracle9irelease2 外部机构 PROBE数据模型 分层设计 内部和外部信息源 加载 StagingArea FeedControl 任务调度管理 原子层 relationalschema 访问层 star snowflakeschema PROBE 数据挖掘和分析 SQL andQueryBuilder OraclePortal OracleDiscoverer 报表 营销管理 PROBE中的数据功能划分 PROBE项目的演进 360 客户视图 项目 EDB消除数据重复和错误集成原有系统客户数据 建立统一的客户视图 基于OracleTCA模型 PROBE升级为企业数据仓库 EDW 实时数据采集和分析结果发布引入EAI技术 PROBE新的系统架构 门户 EIS 动态查询OracleDiscoverer 用户访问 OracleCustomersOnline Oracle11iCRMSuite EAI ICMS计费系统 客户 帐户 地址 PROBE 群体 关系 StagingArea 实时维度数据维护 EAIStagingArea star snowflakeschema 原子层 relationalschema 联机数据存储 OLTP 下游系统访问 9iAS 构建闭环的信息流 数据仓库 计费系统 CTI 市场营销活动管理 呼叫中心 数据挖掘服务器 数据模型的设计方法 从业务需求出发识别各主题分析所需要的数据数据探索 分析数据源的数据质量找出来自多个系统的公共表统一维护建立原子层数据模型模型非规范化建立访问层数据模型 维度模型 PROBE中的主题域 产品 产品使用 网络事件 网元 地域 帐务 参