A上海电信BSS项目数据整合和迁移经验交流

上海电信BSS项目

数据整合和迁移经验交流上海电信企业信息化部2005年9月16日目录项目整体情况介绍1.CRM数据导入工作2.ODS数据整理工作3.面临的问题和困难4.项目整体情况介绍上海电信MBOSS目标系统总体架构图业务流程的衔接和闭环F实现A保障B计费管理支撑EAI企业应用集成平台（IBMWBI）OSS-业务实现（IBP综合业务处理）元数据WF施工调度路由设计资源指派RM网络资源管理资源创建资源维护本地数据内容长途/无线资源调配数据管理资源调配数据管理资源调配数据管理资源调配数据管理采集本地数据内容长途无线融合计费融合帐务综合结算帐单打印发放产品目录（从）帐单核销财务数据批价处理开帐处理帐单定制欠费和催缴BSS计费帐务网元管理FCAPSOSS-服务保障TEST测试TT用户故障处理MR网络维护与恢复MM综合网络管理出错告警分析综合网络配置用量数据采集运行性能监测网络安全管理SM服务管理CN用户网络管理本地网管数据网管无线网管长途网管内容网管投诉管理故障受理与跟踪信用审核定单受理与跟踪

CRMBSS客户关系管理客户客户数据产品数据交互记录Mail&Fax&SMS10000号CTI/IVR代理商门户CSP客户自助门户市场营销

产品销售忠诚度管理客户SLA管理客户信息查询营销知识库产品目录(主)代理商信息管理帐户变更帐单征收客户合同管理帐单查询财务管理(FI)单点登录身份认证自助服务URL重定向内容管理个性化界面ICE集成协作环境OAEL…KMMSS-管理支撑ERPEIP员工信息门户人力资源工程管理财务管理OSS-业务实现(IBP）OP订单处理（本地、数据、内容、长途、无线）NA网络激活（本地、数据、内容、无线、长途）工单分解指令分解处理流程订单分解工单管理BP业务开通CRMBILLINGETL数据整合平台ODS运营数据仓储统一客户视图数据同步综合报表平台EDW企业数据仓库CUBEIBP其它…SAP/R3SAP/SEM战略管理绩效管理预算管理

（数据存储24＋1)内部客户数据查询BASOAS数据挖掘CUBEEDA-企业数据架构……CRM数据BILLING数据IBP数据其他系统数据收入摊分CQD对外客户数据库外部客户数据查询SAP/BW预处理预付费GL总帐模块AR应收模块AP应付模块AM固定资产LM贷款管理JM岗位管理CEA成本要素会计SPL特殊分类帐CCA成本中心会计CO-PA获利能力分析PCA利润中心会计FM基金管理EC-CS合并报表OM组织管理PA人员管理PY薪资管理IM投资管理PS项目管理MM物料/库存管理TEM培训管理PD人员发展ESS员工自助CM现金管理PM资产实物管理SD销售管理SAP/R3代理商MetaSolvBOXISiebelCSGKenan/BPInformaticaAIS审计模块BSS项目总体思路目标应用系统架构以EAI总线为信息流转的基础,以松耦合的方式建置，支撑上海电信的需求通过采用国际一流的成熟的商业软件包，引进行业最佳实践和先进的管理经验，提升上海电信总体竞争能力目标应用架构突出统一面向客户的CRM系统,提供现有业务和新业务的统一受理界面，实现市区和郊县范围内部的统一计费、统一优惠折扣，规范客户、产品、计费和资源数据模型，有效共享订单、计费、客户数据，减少业务受理时间，提供灵活的优惠折扣，固化BPR需求，实现端到端的运营流程97系统改造应分成5个模块进行97系统号线资源管理系统CRM系统订单管理业务开通系统运营数据存储（ODS）企业应用整合平台（EAI）重点松耦合，同步实施每个模块的实施必须遵循CTG-MBOSS制定的基本规范BSS项目建设目标客户信息整合，建立全公司统一的客户信息视图，实现上海电信的客户管理模型，从系统上支撑从面向产品向面向客户的转变。提供全公司统一的产品目录管理，提供灵活的产品配置，捆绑，组合。业务流程优化，全程状态掌控；渠道全面整合，信息集中共享；兼顾现有业务，面向未来发展BSS项目管理办公室上海电信BSS项目总监、项目经理IBMBSS项目总监、项目经理架构、业务、培训IBP组行政支持ODS组EAI组CRM组项目指导委员会电信公司领导、相关部门领导IBM公司领导BSS项目组织图Billing组质量风险控制CRM数据导入工作全部导入增量导入分两个步骤实施CRM数据导入的工作（全部导入）从97系统获得全部生产数据表备份；导入Siebel数据库中的97数据表（在Siebel数据库中建立了与97数据表完全相同的表，便于统计比较）；在Siebel数据表中按照产品统计资产数量；在97数据表中按照产品统计资产数量；两边比对资产数量；将97中遗漏的未处理数据导入Siebel数据库；CRM数据据导入入的工工作（（增量量导入入）步骤一一：从从97数据表表中获获得每每天的的增量量数据据，通通过Oracle工具导导出到到文件件。这这步有有数据据导出出的应应用程程序日日志供供检查查步骤二二：通通过Oracle工具将将97数据导导入Siebel预处理理表，，通过过检查查Load数据的的日志志文件件，检检查数数据导导入的的正确确性步骤三三：对对97数据进进行转转换处处理，，将97的数据据处理理成Siebel的数据据格式式。这这步工工作可可以通通过检检查脚脚步检检查处处理结结果。。步骤四四：将将转换换后的的数据据导入入Siebel的EIM数据表。通通过检查Load数据的日志志文件，检检查数据导导入的正确确性。步骤五：将将数据导入入Siebel的基本表。。通过检查查脚本检查查导入的结结果在每天增量量数据同步步完后，通通过对以上上几步操作作的结果检检查，保证证每天增量量数据的正正确性。对对于出现错错误的情况况，通过单单独处理将将遗漏的数数据补充入入Siebel数据库。CRM数据据导入的工工作量600多万万客户6700多多万资产（（设备）100多个个产品几千种营销销活动和2000多多万的营销销活动ODS数据整理工工作ODS/EDW实现现了在BSS架构中中最重要的的客户信息息整合；ODS/EDW整合合了客户树树(客户层层级),客客户与客户户经理的关关系等其他他非常重要要的客户数数据ODS/EDW统一一了收入类类指标的定定义，整合合了产品分分类和收入入分类，提提供了上海海电信在最最准确和完完整的收入入类数据，，这部分数数据将提供供给各个系系统作进一一步的统计计和分析ODS/EDW在整个BSS项目数数据迁移中扮扮演了至关重重要的角色企业三户数据据模型客户B客户A客户C资产1资产2拥有拥有使用客户付费付费客户帐户2帐户客户D使用客户帐户1集团客户1上级客户上级客户对一个客户而而言，可能拥拥有几个账户户，几个资产产；而对某一一个资产而言言，存在着2个角色，使使用客户角色色和付费客户户角色，这些些角色可以是是同一客户，，也可以是不不同的客户。。整合客户与账账户、资产这这三者关系，，对于电信企企业来说有着着非常重要的的意义：能够形成对电电信客户最完完整的视图能够从各个角角度分析客户户对电信的价价值和贡献（目前只能从从付费者的角角度统计客户户对电信的贡贡献）能够对不同性性质的客户展展开针对性的的营销BSS建设的的客户数据结结构－客户户与资产的关关系客户所购买的的所有的上海海电信的产品品，在Siebel中以以资产的形式式存放客户的三种属属性并不直接接体现在树状状结构中，而而是体现在客客户与资产的的关系中任何一个资产产，都分别有有产权客户，，使用客户，，和付费客户户与之对应，，可能是同一一客户，也可可能是不同的的客户一个客户在一一项资产上，，可能是产权权客户，可能能是使用客户户，可能付费费客户，也可可能是其中的的两项或三项项都是联系人使用，产权，，付费CRM97老计费产权与付费付费者信息变变更资产与付费者资产与产权,付费者资产与产权信信息老计费有最准准确的资产与与付费者信息息CRM有最最准确的资产产与产权信息息但是没有一个个地方有完整整的三户视图图？客户的付付费信息的变变更也没有及及时地反映到到CRM在ODS整合合三户之前的的上海电信客户现状使用，产权，，付费CRM97老计费产权与付费付费者信息变变更资产与付费者资产与产权,付费者ODS资产与产权,使用者资产与付费ODS整合了资产与与产权者，付付费者，使用用者的完整信信息，形成了了完整的三户户视图ODS最后将将完整的三户户信息返回给给CRM在ODS如何何整合客户数数据付费者者丙:客户B=付付费者者甲客户ACRMBilling客户A客户B客户C付费者甲付费者乙付费者丙客户C=付付费者乙ODS整合合以后仅存在CRM的客户户CRM和老老计费都存存在的客户户仅存在老计计费中的客客户ODS客户户整合结果果示意CRM97ExistingBillingODSCSS从CSS获获得客户（（大客商客客）、客户户经理和客客户（大商商）的关系系、客户经经理和分帐帐要求的关关系（公客客）、分帐帐要求、分分帐要求和和客户的关关系TMP从CRM获得得客户TMP整合合客户后返返还给CRM整合后增加加的CSS的大商客客客户（大商商客）的层层级关系分帐要求和和客户的关关系（大商商客相关的的）合并成功的的大商客和和客户经理理的关系、、客户经理理和分帐要要求的关系系（公客））CRM给ODS所有有客户、客客户经理和和客户的关关系（大商商）、资产产、分帐要要求（大商商客）和客客户的关系系从老计费费获得所所有分帐帐要求、、设备业业务细节节、帐单单、详单单从97获获得历史史的一次次性费用用将资产和和设备业业务细节节整合，，97一一次性费费用整合合，全部部的付费费客户、、全部的的分帐要要求（req_id））、匹配配上的资资产及其其之间的的关系返返还给CRM，，CRM根据据分帐要要求创建建帐户，，一些需需要CRM手工工增加的的资产。。CRM修改后后给ODS，，给ODS公公客客户和客客户经理的关关系，所有的的帐户给ODS，帐户和和资产的关系系ODSinitialload（整合步骤骤1）TMP11234758612345678客户CSS的大客商客CRM客户需要新增的客户大客商客CRM的公客需要新增的客户全部分帐要求全部全部资产CRM初始资产需要新增的资产客户经理全部客户和分帐要求CSS的大客商客大客商客的大客商客的现有的客户全部客户和资产产权付费分帐要求和资产全部客户和客户经理客户经理和分帐要求的关系（公客）客户经理和客户的关系（大商）全部CRM97ExistingBillingODS354CRM将每天天受理的定单单传到97系系统用于开通通97每天将完完工信息通过过接口批量传传送给老计费费老计费每天将将分帐要求（（帐户）和设设备业务细节节传给ODS，每月将帐帐单和详单传传给ODS每天CRM将将客户、定单单和资产批量量送到ODS，部分一次次性费用每天ODS将将帐户和资产产关联后，将将资产和帐户户的关联关系系、帐户、需需要新生成的的客户传给CRM97每天将CRM没有覆覆盖的局向的的客户、定单单、资产（已已经配置了产产品的资产，，且删除拆机机的资产）传传送给CRM每月老计费将将分帐要求、、帐单传给BAS/CSS从CRM获得得所有的客户户、资产、帐帐户数据用于于测试从老计费获得得所有需要的的信息进行测测试每月的一次性性费用每天同步客户户和客户经理理的关系NewBillingAfterODSongoingBeforeCRMHaveallAsset（整合步步骤2）21689BAS/CSS71011CRM97ExistingBillingODSBAS354CRM将每天天受理的定单单传到97系系统用于开通通97每天将完完工信息通过过接口批量传传送给老计费费老计费每天将将分帐要求（（帐户）和设设备业务细节节传给ODS，每月将帐帐单和详单传传给ODS每天CRM将将客户、定单单和资产批量量送到ODS（所有产品的资资产）每天ODS将将帐户和资产产关联后，将将资产和帐户户的关联关系系、帐户、需需要新生成的的客户传给CRM不需要再反馈馈数据给CRM每月老计费将将分帐要求、、帐单只传给给BAS，CSS被全面面替代设备与金卡银银卡客户对应应关系变更细细节，用于摊摊分从CRM获得得所有的客户户、资产、帐帐户数据用于于测试从老计费获得得所有需要的的信息进行测测试开始从新计费费倒测试数据据，以保证将将来从新计费费过来的数据据和现在从老老计费过来的的数据一致NewBillingAfterODSongoingAfterCRMHaveallAsset（（整合合步骤骤3））217910数据营营帐长途营营帐8*与与前面面有变变化的的用红红色标标明了了11CRM97ExistingBillingODS23在初始始化之之前的的A点点，97需需要将将A点点所有有完工工工单单数据据全部部倒入入老计计费老计费费根据据这些些完工工工单单生成成帐户户和设设备业业务细细节，，将最最后一一部分分增量量分帐帐要求求倒入入ODS，，由ODS检查查所有有的数数据是是否和和老计计费相相同。。（根根据上上阶段段测试试，ODS应该该做到到这部部分数数据和和老计计费一一致，，也和和将来来新计计费过过来的的一致致）ODS将最最后一一批需需要更更新的的帐户户、资资产和和帐户户的关关系、、需要要新增增的客客户倒倒入CRMCRM将所所有的的客户户、帐帐户、、资产产数据据给新新计费费新计费费从老老计费费获取取其他他数据据NewBillingNewBillingInitialLoad（（整整合步步骤4）145CRM97ExistingBillingODS354CRM将每每天受受理的的定单单传到到97系统统用于于开通通97每每天将将完工工信息息通过过接口口批量量传送送给老老计费费老计计费费每每天天将将分分帐帐要要求求（（帐帐户户））和和设设备备业业务务细细节节传传给给ODS，，每每月月将将帐帐单单和和详详单单传传给给ODS每天天CRM将将客客户户、、定定单单和和资资产产批批量量送送到到ODS（（所所有有产产品品的的资资产产）），，金金山山的的客客户户、、帐帐户户、、完完工工资资产产数数据据每天天ODS将将帐帐户户和和资资产产关关联联后后，，将将资资产产和和帐帐户户的的关关联联关关系系、、帐帐户户、、需需要要新新生生成成的的客客户户传传给给CRM设备与金金卡银卡卡客户对对应关系系变更细细节，用用于摊分分实时从CRM获获得金山山的客户户、资产产、帐户户数据将金山的的收费信信息传给给老计费费倒入新计计费的金金山开帐帐数据、、收费数数据，同同时倒入入老计费费相同数数据只是是用于比比较NewBillingNewBillingongoing(goldenmountain)（（整合步步骤5））2178数据营帐帐长途营帐帐69CRM97ODS3CRM将将每天受受理的定定单传到到97系系统用于于开通实时从CRM获获得所有有的客户户、资产产、帐户户数据每天CRM将客客户、定定单和资资产批量量送到ODS（（所有产产品的资资产）新计费每每天将收收费信息息给ODS，每每月将帐帐单和详详单传给给ODS设备与金金卡银卡卡客户对对应关系系变更细细节，用用于摊分分NewBillingNewBillingongoing（（整合步步骤6））12数据营帐帐长途营帐帐54CRM客客户CSS客客户160023万19万共6727万5578万（55777073）第二次62673587一期共5066万1979万关关闭163万万未找到到设备号号（其中215351一一期资资产）3087万未关关闭1150万660万万26万8300设备业务务细节资产大商公客户整合合结果资产整合合结果440万万设备号号找到但但没有对对应关系系（包括括二期））15368个没没有找到到设备号号（7400））37.2万572.9万18.9万2400万匹配配上的（（23975393））289万万（第二二次）1115万没有有对应（11153789））第二次4605609从分帐要要求来整整合34万设设备业务务细节（（第二次次）整合结果果统计问题原因建议数量CRM有的资产，而老Billing没有对应业务细节CRM（97）会缺省生成一部分业务细节，而老Billing在用户使用时才生成相应业务细节需要市场部确认，是否这些数据不需要Billingprofile，如果需要Billingprofile，是否可以缺省为根资产上的Billingprofile其中声讯总数为：830万其馀还包含来电显示,PHS短消息等等老Billing有CRM没有的资产老Billing根据用户使用而缺省生成的业务细节需要市场部确认这些数据是否需要CRM（97）来补齐，如何补齐数据其中IDD，DDD，ISA，NSA，IP主叫直播业务为60万CSS整合策略CSS集团客户与主客户归并规则还没完全确认,其中已经确认的包含：同客户群（集团客户）的归并原则同客户群（主客户和集团客户）跨树的归并原则同客户群（集团客户）的归并原则需要市场部确认：跨客户群（主客户和集团客户）的归并原则异常数据需要市场部确认数据整合合工作挖挖掘出的的问题将老计费费系统的的设备与与设备业业务细节节与CRM的资资产进行行对应；；将老计费费系统的的分账序序号(付付费者信信息)与与CRM得客户户信息进进行对应应;如果来自自老计费费的付费费者信息息存在对对应的客客户信息息则合并并该付费费者信息息，否则则根据该该付费者者信息在在CRM中创建建新的客客户；将老计费费系统的的分账序序号(付付费者信信息)与与老计费费的设备备业务细细节关系系转换到到CRM的资产产与付费费者的关关系；ODS客客户的整整合结果果：在ODS整合客户数据据的关键环环节数据的一一致性：：CRM和老计费的数据的的一致性性数据的源源头：CRM和老计费数据以谁谁为源头头数据归并并：CSS集团客户户与主客客户归并并CRMODS老计费产品资产组织帐户营销活动动优惠合同客户订单一次性费费用帐单收费记录录产权客户户属性关注重点点数据整合合工作关关注点CRM的的资产大大部分从从97过过来，但但是根据据CRM的产品品定义和和资产生生成原则则，将会会产生大大量的资资产，对对于每一一个资产产，必须须定义其其资产的的产权拥拥有者，，付费者者和使用用者同时在老老计费系系统中，，由于历历史的原原因，老老计费会会根据自自己的业业务类型型和实际际开帐与与否定义义设备与与设备业业务细节节以及相相应的付付费者关关系必须将CRM的的资产与与老计费费的设备备与设备备业务细细节作匹匹配，否否则将无无法为CRM的的资产定定义准确确地付费费者关系系！难点在于于不能简简单地根根据设备备号做匹匹配，因因为同一一个设备备号可以以有多个个设备业业务细节节！！客户整合合过程最最关键的的部分———CRM资资产(产产品实例例)与设设备业务务细节的的比对为此定义义了完整整的对应应关系(将CRM的产产品目录录与老计计费系统统的设备备类型作作了匹配配)老计费中中的设备备类型与与设备业业务细节节类型CRM中中的产品品代码例如老计计费中的的17909IP的设设备业务务类型为为1001，24对应应到CRM的二二级产品品101012在此基基础上上，ODS完成了了多达达20,000项设备备业务务类型型与CRM产品代代码的的对应应在设备备类型型的对对应基基础上上根据据设备备号完完成CRM资产产与老老计费费业务务细节节的对对应CRM的某某一条条资产产纪录录老计费费的某某一条条设备备业务务细节节纪录录基于这样的的方法，ODS完成了CRM多达90,000,000资产与设备备业务细节节的匹配在资产的整整合基础上上，ODS完成了客客户的整合合客户整合的的原则是根根据同名同同标示同址址的原则根据设备业业务的付费费者信息在在CRM寻寻找匹配客客户信息，，如果存在在匹配客户户，则在对对应CRM资产基础础上将付费费者标示成成对应的CRM客户户，如果不不存在匹配配客户，则则表示该付付费者是一一个新的CRM客户户基于于这这样样的的方方法法，，ODS完成成了了多多达达100,000,00客户户与与老老计计费费付付费费者者信信息息的的匹匹配配，，将将高高达达900,000,00资产产的的付付费费者者信信息息全全部部匹匹配配完完毕毕整合合后后的的客客户户数数据据示示意意587552815875528158755281288321362883213628832136584500005845000058450000288388582883885828838858长途途本地地月租租长途途本地地月租租长途途本地地月租租长途途本地月租表示单单个客客户，，不同同的颜颜色代代表不不同的的客户户产权客客户付费客客户资产CRM客户数据总数657万6571398CRM资产（一期）6727万67279207帐务设备业务细节5066万50660698分帐要求数据1297万12976409整合后5800万条资产中产权和付费不同的资产423万4234778整合后产权和付费不同的资产上的产权客户数37万377644整合后产权和付费不同的资产上的付费客户数32万320028整合后只有付费资产的客户数19万（大商）整合后只有产权资产的客户数23万（大商）面临的的问题题和困困能面临的的问题题和困困难总体架架构需需统一一考虑虑，没没有经经验可可寻建设过过渡阶阶段多多，并并行期期数据据同步步难度度高，，维护护工作作量大大数据清清理数数量大大（地地址、、客户户归并并）培训工工作量量大谢谢谢！9、静夜四四无邻，，荒居旧旧业贫。。。1月-231月-23Sunday,January1,202310、雨中中黄叶叶树，，灯下下白头头人。。。21:20:2721:20:2721:201/1/20239:20:27PM11、以我我独沈沈久，，愧君君相见见频。。。1月-2321:20:2721:20Jan-2301-Jan-2312、故人人江海海别，，几度度隔山山川。。。21:20:2721:20:2721:20Sunday,January1,202313、乍乍见见翻翻疑疑梦梦，，相相悲悲各各问问年年。。。。1月月-231月月-2321:20:2721:20:27January1,202314、他乡生生白发，，旧国见见青山。。。01一一月20239:20:27下午午21:20:271月-2315、比不了得得就不比，，得不到的的就不要。。。。一月239:20下下午1月-2321:20January1,202316、行动出成成果，工作作出财富。。。2023/1/121:20:2721:20:2701January202317、做前前，能能够环环视四四周；；做时时，你你只能能或者者最好好沿着着以脚脚为起起点的的射线线向前前。。。9:20:27下下午9:20下下午午21:20:271月-239、没有有失败败，只只有暂暂时停停止成成功！！。1月-231月-23Sunday,January1,202310、很多事事情努力力了未必必有结果果，但是是不努力力却什么么改变也也没有