绍兴电信综合营销系统（IMS）

1、.PAGE 1-1：.；附件一绍兴电信综合营销系统IMS方案建议目 录 TOC o 2-3 t 标题 1,1 1系统综述 PAGEREF _Toc54429752 h 62系统总体设计 PAGEREF _Toc54429753 h 72.1建立战略建议 PAGEREF _Toc54429754 h 72.1.1集中处理目前急需问题 PAGEREF _Toc54429755 h 72.1.2以客户为中心建立数据集市 PAGEREF _Toc54429756 h 72.1.3简化数据来源 PAGEREF _Toc54429757 h 82.1.4功能上应有取有舍 PAGEREF _Toc54429

2、758 h 82.1.5以数据集市为中心组织根底数据 PAGEREF _Toc54429759 h 82.2系统建立原那么 PAGEREF _Toc54429760 h 92.3系统的业务架构 PAGEREF _Toc54429761 h 102.3.1以针对性营销为中心的分析架构 PAGEREF _Toc54429762 h 102.3.2以营销自动化为中心的处置架构 PAGEREF _Toc54429763 h 112.3.3以多角色支持为中心的界面架构 PAGEREF _Toc54429764 h 112.4系统的技术架构 PAGEREF _Toc54429765 h 122.4.1数据

3、获取层 PAGEREF _Toc54429766 h 132.4.2数据存储层 PAGEREF _Toc54429767 h 132.4.3数据展现层 PAGEREF _Toc54429768 h 142.4.4元数据 PAGEREF _Toc54429769 h 152.5系统功能构造 PAGEREF _Toc54429770 h 153数据获取层 PAGEREF _Toc54429771 h 163.1数据源分析 PAGEREF _Toc54429772 h 163.1.1系统接口分析 PAGEREF _Toc54429773 h 163.2ETL过程 PAGEREF _Toc544297

4、74 h 193.2.1数据抽取 PAGEREF _Toc54429775 h 203.2.2数据转换 PAGEREF _Toc54429776 h 213.2.3数据加载 PAGEREF _Toc54429777 h 233.2.4数据审核 PAGEREF _Toc54429778 h 233.2.5ETL过程管理 PAGEREF _Toc54429779 h 243.2.6ETL详细实现 PAGEREF _Toc54429780 h 254数据存储层 PAGEREF _Toc54429781 h 274.1数据仓库信息模型设计原那么 PAGEREF _Toc54429782 h 274.2

5、模型设计方法 PAGEREF _Toc54429783 h 274.3数据仓库信息模型 PAGEREF _Toc54429784 h 294.4数据集市构建方法 PAGEREF _Toc54429785 h 314.5OLAP分析模型 PAGEREF _Toc54429786 h 324.5.1OLAP分析模型建模方法 PAGEREF _Toc54429787 h 324.5.2OLAP分析技术实现方法 PAGEREF _Toc54429788 h 324.5.3客户情况分析模型 PAGEREF _Toc54429789 h 344.5.4业务开展分析模型 PAGEREF _Toc544297

6、90 h 344.5.5收益情况分析模型 PAGEREF _Toc54429791 h 354.5.6市场竞争分析模型 PAGEREF _Toc54429792 h 365数据展现层 PAGEREF _Toc54429793 h 375.1综合查询 PAGEREF _Toc54429794 h 375.1.1自定义查询功能 PAGEREF _Toc54429795 h 375.1.2主题查询功能 PAGEREF _Toc54429796 h 375.1.3即席查询功能 PAGEREF _Toc54429797 h 385.2统计分析报表 PAGEREF _Toc54429798 h 395.2

7、.1统计报表数据来源 PAGEREF _Toc54429799 h 405.2.2统计报表要素分类 PAGEREF _Toc54429800 h 415.3预定义报表 PAGEREF _Toc54429801 h 425.3.1省公司报表 PAGEREF _Toc54429802 h 435.3.2本地网报表 PAGEREF _Toc54429803 h 435.4关键目的展现报表 PAGEREF _Toc54429804 h 445.4.1今日视点 PAGEREF _Toc54429805 h 445.4.2每月聚焦 PAGEREF _Toc54429806 h 445.4.3年度回眸 PA

8、GEREF _Toc54429807 h 485.4.4竞争前沿 PAGEREF _Toc54429808 h 525.5营销渠道支撑 PAGEREF _Toc54429809 h 555.5.1营销管理平台 PAGEREF _Toc54429810 h 555.5.2片区经理/高级客户经理营销效力平台 PAGEREF _Toc54429811 h 555.5.3社区经理/客户经理营销效力平台 PAGEREF _Toc54429812 h 555.5.4系统管理平台 PAGEREF _Toc54429813 h 565.6话务量针对性营销 PAGEREF _Toc54429814 h 565.

9、6.1客户信息查询 PAGEREF _Toc54429815 h 565.6.2话务量营销支撑 PAGEREF _Toc54429816 h 575.6.3信息反响支撑 PAGEREF _Toc54429817 h 585.7数据分析支撑OLAP分析 PAGEREF _Toc54429818 h 595.7.1客户情况分析 PAGEREF _Toc54429819 h 595.7.2业务开展分析 PAGEREF _Toc54429820 h 635.7.3收益情况分析 PAGEREF _Toc54429821 h 645.7.4市场竞争分析 PAGEREF _Toc54429822 h 685

10、.8指点驾驶舱 PAGEREF _Toc54429823 h 705.8.1仪表显示 PAGEREF _Toc54429824 h 705.8.2图表显示 PAGEREF _Toc54429825 h 716元数据管理 PAGEREF _Toc54429826 h 726.1ETL、数据仓库、数据集市、前端展现的元数据管理 PAGEREF _Toc54429827 h 726.2管理对象 PAGEREF _Toc54429828 h 746.3元数据互联 PAGEREF _Toc54429829 h 747系统管理 PAGEREF _Toc54429830 h 757.1.1用户管理 PAGE

11、REF _Toc54429831 h 757.1.2用户划分 PAGEREF _Toc54429832 h 757.1.3工号维护 PAGEREF _Toc54429833 h 757.1.4工号密码维护 PAGEREF _Toc54429834 h 757.2预警管理 PAGEREF _Toc54429835 h 767.2.1预警管理功能描画及标识 PAGEREF _Toc54429836 h 767.2.2系统预警的对象 PAGEREF _Toc54429837 h 767.2.3系统预警的功能 PAGEREF _Toc54429838 h 767.3系统日志管理 PAGEREF _To

12、c54429839 h 777.3.1功能描画 PAGEREF _Toc54429840 h 777.3.2子模块功能描画 PAGEREF _Toc54429841 h 777.4权限管理 PAGEREF _Toc54429842 h 787.5系统备份 PAGEREF _Toc54429843 h 788系统平台建议方案 PAGEREF _Toc54429844 h 808.1综合营销系统平台简介 PAGEREF _Toc54429845 h 808.2本期系统平台建议 PAGEREF _Toc54429846 h 818.3设备配置建议 PAGEREF _Toc54429847 h 828

13、.3.1存储系统配置 PAGEREF _Toc54429848 h 828.3.2效力器系统配置 PAGEREF _Toc54429849 h 848.3.3整体配置方案建议 PAGEREF _Toc54429850 h 86系统综述为顺应日趋猛烈的市场竞争环境，提升绍兴电信的企业中心竞争力，应充分利用业务支撑系统产生的大量珍贵的数据资源，尽快建立综合营销系统，以便可以进展“保、挖、抢等针对性营销，并支持多层面的用户运用，为市场运营任务提供及时、准确、科学的决策根据。综合营销系统利用先进的计算机和网络技术对营销渠道进展支撑，同时对客户、帐务、计费、结算等业务数据进展多层次、多角度、多种方式的统

14、计分析，提示客户、业务的内在规律和开展趋势，构成极具管理决策价值的战略信息，使决策者能一直把握大局，从容应对纷繁复杂、快速多变的电信竞争市场。建立综合营销系统IMS可以到达以下运用目的：协助企业进展“保、挖、抢等针对性营销。及时提供真实可靠的企业运营信息，为运营管理人员科学地进展决策提供运营信息支持。协助 企业建立整体信息视图one view，协调绍兴电信内部各部门之间的协作关系。系统总体设计建立战略建议本焦急用先行，简单有效的原那么，我们建议本期系统建立采取如下建立战略：集中处理目前急需问题本期系统应该处理目前绍兴电信面临的最需求处理的问题：即对于全网运营情况的把握和针对性营销的支撑。鉴于急

15、用先行原那么，我们建议本期综合营销系统的目的定位为以下几点：提供对全网市场运营情况的全方位视图；处理目前面对竞争的针对性营销的支撑需求；提供面向营销的各类分析数据。以客户为中心建立数据集市目前企业最缺乏的分析功能，是基于各类客户和客户行为的统计分析，包括营销渠道支撑系统的建立，也表达着以客户为中心进展各种营销和效力的思想。因此，本期系统主要思索以客户为中心建立的数据集市，其中的主要内容如下：客户根本信息：包括与运营分析相关的各种客户信息，如客户类别、所属区间、行业、收入、信誉度、忠实度等信息的分析结果；客户拥有的效力信息：即客户拥有效力的相关信息，如号码，效力类别、效力特性、SLA等信息的分析

16、结果；客户消费行为信息：包括其消费详单、账单、缴费流水、客户的业务受理情况包括新增、拆机等等的分析结果；客户其他行为信息：如赞扬、建议、资源、妨碍申告等信息的分析结果；客户网间消费行为：如跨网的消费情况从网间数据得到等的分析结果。简化数据来源综合营销系统的上线任务中，各类数据的搜集整理占了很大比重。因此，本期系统，应该大大简化系统的数据来源，只对最主要的数据来源进展采集，对不太重要的数据源，可以先放到二期再进展处置。详细地，我们建议把系统的数据来源限定在：计费帐务系统：本期综合营销系统的数据采集重点应该在计费帐务系统中，计费帐务系统提供主要的客户消费行为数据，在营销所需求的数据中，计费帐务系统

17、可以提供80的数据来源；九七系统：要从九七系统中采集客户根本信息和客户效力信息，以及客户的受理信息搜集；网间结算数据：从中抽取各种客户网间消费行为的数据；其他系统：其他系统的信息搜集主要思索以搜集客户行为信息为主。功能上应有取有舍完好的综合营销系统可以包含很多功能，尤其有强大的数据采集和管理功能，但是，目前绍兴电信建立这种大而全的综合营销系统并未突出绍兴电信急需的功能。因此，我们建议绍兴电信本期系统在功能方面应有取有舍：一方面，在功能方面，应该对系统管理、数据采集、数据管理等功能，尽能够地进展精简，只留下最小的功能集合，以突出营销分析的主题；另一方面，应该参与指点驾驶舱等功能，以使系统更能支持

18、多角色运用，支撑针对性营销的实践需求。以数据集市为中心组织根底数据在本地网级进展运营活动的各种监控和分析，可以主要是利用统计好的数据而不是清单进展处置。因此，建议本期系统将重点放在建立数据集市方面，系统主要保管统计好的历史数据在集市中，以便进展各种纵向分析和比较。而对于一些详单的查询要求，可以直接从计费系统中读取，以节省存储空间。系统建立原那么综合营销系统涉及到数据库、联机分析处置OLAP等多种学科与技术的交叉。在技术实现上涉及到多种系统平台与工具的集成。因此，在系统的技术实现上应充分思索多种技术和平台的无缝集成。因此，系统建立必需遵照以下要求：开放性：为保证系统的开放性，系统构建中要运用世界

19、主流的硬件平台主机、网络设备等和软件平台，基于业界开放式规范，支持系统建立中涉及的各种网络协议、硬件接口、数据接口等，为未来的系统扩展奠定根底。同时，为了保证系统的开放性，在数据模型建立时，数据存储中应充分思索对未来业务开展的最大支持如：客户数据/用户数据的处置上思索较为全面的采集，模型建立中运用独立的客户数据域，为CRM系统运用客户/用户数据奠定根底，使相关系统可以顺利地访问和运用该系统数据。灵敏性与可扩展性：全局数据存储模型的设计采用面向企业整体信息的主题域方式，保证信息的完好性和信息主题的稳定性。未来新业务数据和分析需求出现，新业务数据的参与可以按照域归属的方式进展添加，在无主题域可依的

20、情况下，采用建立新域的方式进展数据扩展。分析模型可以经过数据集市对主题域进展多次重构，系统能保证重构后的分析模型符合数据要求，这样也保证了对未来相关系统的数据支撑。平安可靠性：综合营销系统运用集中的管理模块和集中的数据处置，有利于对系统的整体管理和平安控制。这种平安机制不仅能定义数据的平安性，而且能定义运用级的平安性。系统的平安管理可以经过门户方式与其它运用集成为一体。适用性：结合不同部门、不同的业务需求，合理的构建分析模型按主题、地市、部门建立不同的OLAP分析模型，以及合理地组织数据特别是有效又合理的数据粒度、分析模型的数据总量控制，保证了查询效率与呼应时间。对现有业务运营系统影响小，是系

21、统的设计根本要求，采取恰当的数据抽取战略和控制机制晚间自动抽取控制来到达这一目的。系统对大多数运用人员提供经过阅读器访问方式，并且提供多种图表展现方式如：柱状图、饼图、多维透视表等，只需会运用阅读器，就会运用本系统。经过门户与OA交融，向个性化的方向开展，提供短音讯以及语音的访问方式，使人机接口、展现方式多样化，适用化，灵敏方便。系统的业务架构系统的体系构造应分为业务架构和技术架构，以下阐明系统的业务架构：以针对性营销为中心的分析架构目前，电信市场的竞争曾经非常猛烈，挪动、联通等运营商经过准单向收费、VPN、大客户打包优惠等方式进展竞争，不但使中国电信在客户方面呵斥流失，而且也导致了话务量的大

22、量分流。因此，目前的当务之急是要发动中国电信的营销力量，立刻展开针对性营销。要开展好针对性营销，综合营销系统的支撑几乎是必不可少的先决条件。首先，要支撑针对性营销，本期综合营销系统必需求可以提供目前各类客户的各种消费情况的分析和动摇情况分析，从中发现现有客户的各种异动情况，以及这些异动情况的特点和分布，以便尽早发现各种客户流失或者话务流失的先兆，采取措施尽能够地保住现有客户及其话务量。另外，要完成此目的，系统还必需具备从各本地网的社区营销等系统中提取竞争对手信息的数据进展分析处置，以便针对竞争对手的动态开展有针对性的营销活动；其次，本期综合营销系统还应该可以经过各种过网数据分析和客户的消费分析

23、，发现潜在用户的开展能够方向，并据此得出结论，进而指点营销方案的制定和推行，同时到达发掘潜在话务量的目的。最后，本期综合营销系统应能整合各类与竞争对手的客户有关的信息源包括网间数据，各类含竞争对手话务的清单数据等，进展综合统计和分析，尤其是发现竞争对手的有价值客户的根本特点和分布情况，以便有针对性地采取营销措施，对竞争对手的客户进展争夺，力争化被动为自动，最终改动中国电信的竞争态势。以上这些需求，宏智科技的综合营销系统都以专题分析的方式提供了较为完好和体系化的支持，用户可以在这些专题的导引下，方便地进展各种类别的针对性营销分析。以营销自动化为中心的处置架构系统的处置架构应围绕着营销自动化的思绪

24、展开，完成发现和确认营销目的(比如要对零费用的一切用户等)分解营销义务分解考核目的实施营销反响营销实施情况分析营销实施效果完成考核这样的一个全流程的管理，其目的是：社区经理/客户经理的任务难度我原先的想法是强调社区经理的客观能动性，自动从数据中发掘营销目的，降低对他们的要求；分工明确社区经理/客户经理、营销分析人员、营销管理人员职责明确；提高营销过程效率；实现营销过程闭环管理。同时，针对性营销的最终目的要落实到营销方案的制定和推行上，尤其是绍兴电信总部更是要担任制定出营销方案或营销战略的指点意见。因此，系统要能对营销方案进展全流程的监控，包括在营销方案推出前的预评价，营销方案进展中的跟踪以及营

25、销方案定期的效果评价等。比如预评价指的是系统应能预先锁定营销方案针对的客户群、话务集合进展数据统计和分析，得出营销方案涉及的客户数量、涉及的话务量、涉及的金额等，从而方案的盈亏平衡点或者是营销方案的本钱等，从而供决策层进展综合分析和评价。以多角色支持为中心的界面架构综合营销系统将有不同层面的用户进展运用，不同层面用户的要求是不同的，尤其是本系统作为本地网级的综合营销系统，这方面的特点尤其突出。宏智科技建议的三层界面架构如下：例如对于绍兴电信的高层指点来说，他们没有太多精神了解计算机技术，在数据利用的尺度上也比较宏观，因此系统就为他们专门设计了指点驾驶舱系统，以简单直观的图表方式提供数据的展现，

26、使决策人员能一目了然地发现问题所在，并经过本系统层层深化地发现问题发生的缘由，从而做出正确的反响和决策。对于绍兴市电信的中层干部来说，他们需求向下贯彻公司高层指点的战略意图，并指点本部门基层干部将其演化为详细的营销动作或者变为指点各营销渠道的营销战略，同时他们要对本部门所提出的各种营销建议进展决策或提交高层决策。因此，系统界面以表达结果的各类预定义报表为主，但这些报表本身都可以做为分析的起始点进展深度发掘和分析。使中层干部一开场可以将留意力集中在关怀的业务、目的和营销方案实施的根本情况上，但同时也可以对本人关怀的数据进展各种联机分析和处置。同时，系统应可以提供对于营销方案制定的全流程支持，使分

27、析的结果能迅速落实为营销方案或营销战略的建议。另外，系统应提供灵敏且易用的报表定义功能，使基层干部可以将分析的结果存为报表提供应各层指点做为决策根据和分析的起始点。对于绍兴市电信的基层人员来说，他们需求对本人担任的业务或者客户群进展细致的分析，发现趋势及问题所在，并提出初步的营销方案的建议或者采取详细的销售动作。因此，系统应提供完善的清单功能和统计功能。同时，由于考核目的将是鼓励基层人员的重要手段，因此，应提供围绕考核目的提供各种统计和要素分析支持。系统的技术架构综合营销系统采用本地网集中的方式，在本地网建立数据中心，再经过这些数据存储提取数据集市进展分析和呈现。综合营销系统从各业务系统、非业

28、务系统中将相关业务数据进展抽取录入、清洗、加工、整理、加载到数据仓库中，在数据仓库中构成根底的分析数据的存储，然后根据业务及管理等实践的需求在数据仓库上建立适宜各种运用的数据集市。数据仓库、数据集市中蕴含的信息可以经过报表、OLAP分析、即席查询等方式向综合营销系统运用人员展现。系统体系构造分为三层，即数据获取层、数据存储层和数据展现层，如以下图所示：下面分别对于软件体系构造中的数据获取层、数据存储层和数据展现层进展阐明。数据获取层数据获取层功能是将数据从数据源经过必要的抽取、清洗、转换等处置后加载到综合营销系统数据库中，即ETL过程。为保证数据的正确性，在ETL的每一环节都必需对数据进展审计

29、。ETL具有一致调度、监控和管理功能。处置过程支持校验点功能，当因某种缘由使处置过程中断时，可以从最近校验点开场恢复处置过程。ETL的日志记录了数据抽取、清洗、转换、加载的历史过程。为提高ETL任务效率，宏智科技开发的ETL工具内嵌的公用脚本言语、存储过程完成综合营销系统复杂的ETL过程。数据存储层数据存储层包括中央数据仓库和从属的数据集市。中央数据仓库是信息的逻辑和物理的存储。在综合营销系统的实施过程中，对于某些主题的业务分析问题，能够会按照主题采用数据集市的方式对数据进展进一步的组织。所以在数据仓库的根底之上根据分析需求创建相应的从属数据集市。中央数据仓库中央数据仓库是按照绍兴电信整体的、

30、全本地网一致的信息模型进展构建的，是综合营销系统的中心。由于运营信息需求的不断变化，数据仓库必需采用主题分域的方式和尽能够小的业务单元来进展数据的组织和存储，这样才干满足数据运用的灵敏性和信息的完好性，即顺应需求的变化，又可保证最少量的数据冗余防止信息的不一致，节约系统投资，并以“元数据驱动、螺旋上升的方法来指点系统建立。数据集市中央数据仓库构建是对数据集市的数据支撑，几乎一切的业务分析都需求经过进一步组织数据集市来实现，以满足性能、灵敏性的要求。数据集市的建立主要面向部门和重要的指点，根据其关怀的主题、数据层次、数据粒度不同，构建相应的数据集市。数据集市的数据可直接于中央数据仓库，也可直接进

31、展采集。为一些访问中央数据仓库非常频繁的关键业务部门建立从属数据集市，可以提高查询的反响速度。数据展现层数据展现层的主要功能是经过对数据存储层的数据进展各种加工整理并进展分析预测等操作，然后将获得的数据以文字、报表、曲线和各种图形的方式，简便、快捷地展现出来。主要包括综合查询、联机分析处置OLAP、报表输出、话务量营销和指点驾驶舱功能。用户经过身份平安、权限认证后访问数据和进展各种分析、查询操作，同时预留与信息门户比如OA系统的接口，实现各种功能的无缝衔接，并提供集成化的认证、信息发布和管理环境，使综合营销系统运用人员无需关怀详细的技术实现途径，即可实现对综合营销系统数据的访问和分析。同时门户

32、站点还可根据不同分析和决策人员的需求，对所需的访问和分析内容进展方便、简捷的定制，以满足个性化信息效力的需求。元数据元数据是描画数据的数据，用以了解我们有什么信息，信息在什么地方，以及整个综合营销系统中如何利用信息的管理方式。元数据管理在综合营销系统开发建立中有很重要的作用。在综合营销系统建立过程中，根据绍兴电信的业务需求和业务开展，构造全局数据模型，然后以数据模型为指点，分阶段实施，逐渐完成综合营销系统的建立，更重要的是，在实施的每个阶段、每一阶段内的每个步骤，都由元数据进展一致的管理和协调。因此，每个新的实施阶段都能和前些阶段经过一致的元数据实现良好的对接和数据共享，保证各建立阶段成果的延

33、续性和有效性。系统功能构造绍兴综合营销系统功能包含数据获取、静态报表、话务量营销支撑、数据分析OLAP分析支撑、专题分析、指点驾驶舱、系统管理。数据获取是系统的数据接口和ETL功能；报表、话务量营销、OLAP分析、指点驾驶舱表达系统的业务功能；系统管理是系统的平安管理和系统维护功能。数据获取层数据源分析绍兴电信综合营销系统需求从以下数据源获取相关数据：1、业务支撑系统：初期主要从本地计费帐务系统、九七系统提取数据。2、网间结算数据：获取网间话单，市场竞争数据。3、市场调研、社会统计、竞争对手数据：从各种途径获取的社会统计数据、市场调研数据，提供人工录入功能。对于以上需经过人工录入的数据，系统提

34、供相应的工具或接口，并能支持经过Excel、HTML、XML、RTF、TXT等格式文档加载的方式进展数据的批量录入功能。接口方式：系统一致采用接口方式进展数据抽取，并建立接口区。设立数据接口区的目的在于对接口数据一致存储。接口数据源方式为文本文件。系统接口分析1、综合营销系统从九七系统中提取客户根本资料信息，如客户称号、住址、联络方式、证件号码、客户类型、客户细分等。信息特征：信息量级： 2-3E6单位：记录数周期增量：普通小于10E4单位：记录数周期更新幅度：普通小于10E4单位：记录数接口方式：九七系统在每个周期把本周期新增、变化或删除的客户根本资料信息传送至接口。周期可根据实践情况由两个

35、系统协商确定。周期： 1次/天2、综合营销系统从九七系统提取客户订购资料信息，即每个客户所运用的产品效力信息。信息特征：信息量级：10E6单位：记录数周期增量：普通小于10E4单位：记录数周期更新幅度：普通小于10E4单位：记录数接口方式：九七系统在每个周期把本周期新增、变化或删除的客户产品效力信息传送至接口。周期可根据实践情况由两个系统协商确定。周期：1次/天3、综合营销系统从本地网计费帐务系统提取客户帐户资料信息，即客户运用各项产品效力所所发生费用的付款单位的资料信息。1帐户根本信息信息特征：信息量级：10E6单位：记录数周期增量：普通小于10E4单位：记录数周期更新幅度：普通小于10E4

36、单位：记录数接口方式：计费帐务系统在每个周期把本周期新增、变化或删除的帐户根本资料信息传送至接口。周期可根据实践情况由两个系统协商确定。周期：1次/天2帐户缴费信息信息特征：信息量级：10E6单位：记录数周期增量：10E5单位：记录数接口方式：计费帐务系统在每个周期把本周期新增的帐户缴费信息传送至接口。周期可根据实践情况由两个系统协商确定。周期：1次/天4、综合营销系统从各本地网计费帐务系统提取帐单资料。信息特征：信息量级：10E7单位：记录数周期增量：10E7约为客户资料量级的810倍(记录)建议接口方式：计费帐务系统按周期将周期内数据全部传送至接口。周期：1次/月5、综合营销系统从计费帐务

37、系统提取销帐资料。信息特征：信息量级：10E6单位：记录数周期增量：10E5约为客户资料量级的810倍单位：记录数接口方式：计费帐务系统按周期把周期内数据全部传送至接口。周期：1次/天6、综合营销系统从计费帐务系统提取欠费资料。信息特征：信息量级：10E6单位：记录数周期增量：10E5约为客户资料量级的810倍单位：记录数接口方式：计费帐务系统按周期将周期内数据全部传送至接口。周期：1次/天7、综合营销系统从各本地网计费帐务系统提取呆坏帐资料。信息特征：信息量级：10E5单位：记录数周期增量：10E5单位：记录数接口方式：计费帐务系统按周期将周期内数据全部传送至接口。周期：1次/月8、综合营销

38、系统从计费帐务系统提取长途话单资料。信息特征：信息量级：10E8单位：记录数周期增量：10E7单位：记录数接口方式：计费帐务系统每个周期都将周期内完好信息传送至接口。周期：1次/天9、综合营销系统从计费帐务系统提取本地网话单资料。信息特征：信息量级：10E9单位：记录数周期增量：10E8单位：记录数接口方式：计费帐务系统每个周期都将周期内完好信息传送至接口。周期：1次/天10、综合营销系统从计费帐务系统提取相关配置表信息资料，如帐目类型、话单类型信息、各种分类信息等。信息特征针对每个配置表：信息量级：10E110E3单位：记录数周期增量：10E010E2单位：记录数周期更新幅度：10E010E

39、2单位：记录数接口方式：计费帐务系统每个周期都将完好信息传送至接口。周期：1次/天11、综合营销系统提取网间通话数据资料。信息特征：信息量级：10E8单位：记录数周期增量：10E7单位：记录数接口方式：各本地网计费帐务系统每个周期都将周期内完好信息传送至接口。周期：1次/天ETL过程数据抽取、转换和加载，是综合营销系统运用过程中，进展数据由数据源系统向数据仓库加载的主要方法。数据抽取为了满足综合营销系统的分析、发掘的需求，同时保证不能影响业务系统的性能，因此制定适宜的抽取战略、抽取方式、抽取时机和抽取周期非常关键。对于大数据量(如话单)的抽取，采取“数据分割、缩短抽取周期的原那么。接口战略在获

40、取各业务消费系统源数据时，根据各业务系统提供数据的方式可以分为自动数据获取和被动数据获取两种方式。自动数据获取要求综合营销系统专门为各业务消费系统提供数据存放区，并为各业务系统制定所要求的数据内容和格式，要求各业务系统将产生数据定期传送到本系统源数据存放区中。综合营销系统定期对源数据存放区接口区中的数据进展处置。被动数据采集要求各业务系统为综合营销系统开放数据库衔接，同时要求业务系统为综合营销系统提供专业系统元数据。综合营销系统经过了解专业系统元数据，直接衔接业务系统定期从数据库中取数据，然后在系统内在对专业系统源数据进展处置，例如进展格式、编码转换等。采集周期可以根据详细情况，自行设计。这种

41、方式要求业务系统对所提供的元数据进展版本和发布管理。思索到被动获取比自动数据获取对综合营销系统性能要求高和对业务消费系统平安和性能影响大等问题，我们采用自动数据获取方式，要求各业务系统定期按要求传送数据到源数据存放区。各业务系统以文本数据文件的方式传送数据。抽取战略：不同特征的数据采用不同的抽取战略，保证减少对消费系统的影响，同时又能提高抽取数据的效率和及时率。详细战略如下：1小数据量的一些管理数据、配置表数据等，可以采用完全抽取方式进展抽取；2大数据量的如帐单、话单数据，按抽取周期采用时间戳来做增量抽取；3假照真实没有时间戳，要进展完全抽取。抽取周期：抽取周期根据源数据的不同性质和实践的分析

42、需求而有所不同，如话单数据可以每天抽取，出帐数据在每一帐务周期的最后一天抽取，而欠费、销帐等信息可以每周抽取。详细的数据抽取周期要根据实践情况和要求协商而定。抽取时机：本操作尽能够在相关业务系统空闲的时段执行。在数据抽取胜利后，本抽取周期将不再执行数据抽取操作。数据转换数据转换是指对抽取的源数据根据全局数据模型的要求，进展数据的转换、清洗、拆分、汇总等处置，保证不同系统、不同格式的数据和信息模型的一致性和完好性，并按要求装入数据库。根据实践情况，数据转换可以在以下几个环节中详细实现：运用异步数据加载，以文件的方式处置；在数据加载过程中进展数据处置；进入数据库以后再进展数据处置。采用异步数据加载

43、需求以文件方式处置时，必需充分思索中间磁盘的存储量以及在整个流程中的协调性及文件处置的效率；采用在数据加载过程中进展数据转换时，必需思索加载性能及效率；采用先将数据装载到数据库后再处置时，必需思索数据库引擎的海量数据处置才干。执行时机：执行周期根据不同接口数据而有所不同。执行位置：从源数据存放区到加载入数据仓库之间，这里存在大量的数据操作， 数据仓库到加载入数据集市之间，这里主要存在数据转换、汇总等操作，根本没有清洗操作。执行功能：集成、转换、清洗、拆分、汇总等处置集成：是将业务数据从一个或几个来源中取出，并逐字段地将数据影射到全局数据的新数据构造上。转换：将源数据按照全局数据模型构造进展数据

44、处置，本处描画的转换是简单转换，广义的转换是包括集成、转换、清洗、拆分、汇总等处置。清洗：目的是为了保证前后一致地格式化和运用某一字段或相关的字段群。拆分：简单转换的一种方式，用于分解源数据中复合含义的数据。汇总：把业务环境中找到的细节数据紧缩成全局数据环境中的较少数据块，有时进展聚集中的细节数据是为了防止数据仓库存入业务环境中的那样详细的数据，有时那么是为了建立包括数据仓库的聚集副本。代码转换：假设是由数据抽取工具来完成数据的集成转换，那么用户自定义的代码转换功能成为系统必需的功能。由于业务系统数据与全局数据的信息因各系统的不同会有较大的差别。客户有才干和手段本人定义数据或代码转换的操作使系

45、统有更大的灵敏性。转换技术：多线程、多进程技术由于数据清洗转换操作的数据量非常大，要求数据清洗转换程序以及所处的操作系统、主机要支持多线程、多进程的体系构造，以获得最大的数据处置才干。散列文件参照机制在数据清洗的过程中，关键的耗时的任务是将输入的数据与系统中的固定数据进展对照，每一条记录都需对数据库进展查询耗费了大量的时间。在ETL过程中，数据集成模块需求提供对固定参照数据的散列查找机制以提供数据清洗的高效实现。公用数据库驱动接口或API接口编程利用操作系统提供特点进展开发，例如数据上载内存等方式采用公用工具进展数据转换数据根据数据转换审核方案，将转换以后数据进展汇总分类统计，与数据接口区提供

46、的审核资料进展比较。转换战略：运用异步数据加载，以文件的方式处置；在数据加载过程中进展数据转换。数据加载数据加载就是将转换后的数据加载到数据仓库中。数据加载采用数据加载工具例如：Warehouse Manager、FastLoad/MultiLoad等，也可以采用API编程进展数据加载。数据加载战略包括加载周期和数据追加战略。数据的追加战略根据数据的抽取战略以及业务规那么确定，普通有以下三种类型：直接追加、全部覆盖、更新追加。直接追加：是指每次加载时直接将数据追加到目的表中。全部覆盖：对于抽取数据本身已包括了数据的当前和一切历史情况，采用全部覆盖方式。更新追加：对于需求延续记录业务的形状变化，

47、用当前的最新形状同历史形状数据进展比对的情况采用更新追加的方式。作用区域：数据加载到数据仓库和数据加载到数据集市的两个区域。执行时机：数据转换胜利以后即可以开展，并且要保证加载后业务数据的一致性和完好性。加载技术：数据加载采用数据加载工具加API编程进展数据加载。加载战略：加载周期：在保证加载后业务数据的一致性和完好性的根底上，针对不同业务数据设置不同加载周期。数据追加战略：根据业务规那么和数据抽取战略，采用直接追加、全部覆盖、更新追加。数据审核数据审核是指在每个数据加载周期中，保证数据仓库中数据同数据源中数据业务意义上的一致性及数据的准确性。审核方法如下：在每个环节处置完成后进展抽样审核从数

48、据源开场，到抽取出来的文本文件，到转换后的文本文件，到装载到数据仓库的数据，到数据集市中的Cube数据，一方面对总量进展审核，另一方面对数据正确性进展验证，分别对每一个维上的数据进展审核。对审核结果进展记录并报告，发现审核错误的数据发Email或SMS通知系统管理员。数据审核程序与ETL模块一致处置，审核程序配合ETL程序自动执行。作用区域：在数据抽取、转换、加载各个部分终了都需求进展数据审核。在一些关键处置过程终了以后，进展自动的数据审核，这样可以及早发现问题，节省数据抽取、转换、加载的时间。执行周期：由数据抽取、转换、加载过程终了以后触发，在一些关键处置过程终了后触发。审核战略：经过日志校

49、验；经过业务规那么校验，例如：记录数，本月收入合计，某区客户数量等进展源与目的数据的校验；经过操作系统级校验，例如：文件大小、奇偶校验常用于接口文件传输。ETL过程管理ETL是一个复杂的过程，需求进展过程管理。ETL的过程管理包括ETL的调度、ETL程序管理、ETL出错处置以及缺点恢复。ETL的调度ETL是一批定时运转的后台过程，需求经过一个合理的规划进展自动运转，只需在ETL过程出现异常时，进展人工干涉或自动处置。本系统提供系统管理员的控制和管理界面。ETL程序管理ETL过程包括许多程序，这些程序在运转期间对数据进展处置，将这些ETL程序管理起来，可以保证ETL过程的正确及稳定。ETL出错处

50、置及缺点恢复在ETL过程中由于数据接口、网络、主机或数据质量等问题，呵斥ETL过程出现错误，每次数据的处置和装载需求将非法的数据或处置失败的数据保送到专门的出错数据处置区中，一些错误可以经过自动处置进展恢复，一些错误需求人工进展处置。还可以自动将错误信息经过短信、mail等方式通知系统管理员或相关人员。ETL详细实现ETL过程需求注重的几个方面经过长期实际，宏智科技总结了以下几个是ETL过程中需求注重的方面：ETL时间是有限的，ETL的效率是系统的关键由于各本地网业务支撑系统在白天都在执行关键的联机运用，所以ETL过程通常要在晚上执行，另外由于话单、账单等数据量极大，所以ETL的效率是最为重要

51、的。除了在硬件上提供保证，要充分思索开发的软件代码效率，更为重要的是要进展ETL的规划、设计和管理，尽能够思索ETL各过程的并行操作，以充分利用系统资源。数据仓库对数据的正确性要求是很高的，ETL要保证数据的正确性保证数据仓库的正确性，首先需求从全局数据模型入手，只需正确的模型才会有正确的数据存储。ETL是从数据源根据指定规那么将数据转换到数据仓库中的数据迁移过程，在此过程中，每一个步骤都是决议数据质量的关键，所以，要建立完善的过程来保证ETL的正确实施。我们采用以下方法来保证ETL的正确操作。严厉的设计评审制度建立数据审核制度数据预警经过与历史数据比较，检测ETL的输出数据能否存在较大差别，

52、判别能否数据出现错误，由于数据预警操作耗费资源较大，而且检测对象普通是业务系统提供的接口数据，所以，宏智科技建议数据预警操作放置在审核接口数据部分。ETL过程中出现的错误需求在适宜的时间内正确处置。ETL过程是非常复杂的过程，其中涉及到业务系统、业务规那么、系统硬件环境、系统管理等各方面，ETL过程出现错误是必然的。在设计、管理中尽能够做周全思索的前提下，还要思索ETL过程中出现错误后该如何处置的机制。ETL出现的错误可以分成多种，各种错误对数据仓库的数据呵斥的影响是不同的，需求处理的迫切程度也有所不同，根据宏智公司的阅历，将ETL过程产生的错误分成4个级别：严重错误，需求立刻处理；较严重错误

53、，影响系统部分数据，需求当日处理；普通错误，影响系统较小部分数据，且其中没有重要数据，需求处理；警告，出现异常或错误，但不影响系统数据，需求管理员留意。数据存储层数据仓库信息模型设计原那么综合营销系统信息模型的设计应该遵照中央数据仓库的稳定性和数据集市的灵敏性；数据仓库面向信息主题、数据集市面向分析业务；数据集市的数据数据仓库的原那么。综合营销系统的数据存储分成数据仓库和数据集市两个逻辑上独立的存储。数据从数据源经过数据抽取、转换后加载到数据仓库，根据不同主题的数据集市的要求，数据从数据仓库中根据转换规那么将数据加载到指定数据集市。由于综合营销系统的业务需求容易变化，数据仓库中数据的存储必需采

54、用信息主题分域的方式和尽能够小的业务单元保管细节数据来进展数据的组织和存储，这样才干满足数据的灵敏性，顺应需求的变化，又可保证最小数据冗余，防止数据的不一致。数据仓库数据存储模型的设计采用面向企业整体信息的主题域方式，保证信息的完好性和信息主题的稳定性。未来新业务数据和分析需求出现，新业务数据的参与可以按照域归属的方式进展添加，在无主题域可依的情况下，采用建立新域的方式进展数据扩展。分析模型可以经过数据集市对主题域进展多次重构，系统能保证重构后的分析模型数据要求，这样也保证了对未来相关系统的数据支撑。模型设计方法概念数据模型(CDM)概念模型是客观与客观之间的桥梁，它是用于我们为一定的目的设计

55、系统、搜集信息而效力的一个概念性的工具。详细到计算机系统来说，概念模型是客观世界到机器世界的一个中间层次。人们首先将现实世界笼统为信息世界，然后将信息世界转化为机器世界，信息世界中的这一信息构造，即是我们所说的概念模型。由于E-R图具有良好的可操作性，方式简单，易于了解，便于与用户交流，对客观世界的描画才干也较强，在数据库设计方面更得到了广泛的运用。由于目前的综合营销系统数据普通都建立在关系数据库的根底上，为了和原有数据库的概念模型相一致，采用E-R图作为综合营销系统的概念模型依然是较为适宜的。概念数据模型的设计是在较高的笼统层次上的设计，因此在建立概念模型时不用思索详细技术条件的限制。进展概

56、念数据模型设计要完成以下两个任务：界定系统边境确定主要主题域及其内容逻辑数据模型(FS-LDM)逻辑数据模型是系统体系构造大厦的一块基石，它主要包含实体、属性、实体与实体之间的关系、实体与属性之间的关系。在工程实施过程中模型会被定制、修正、参与新的实体，任何对PS-LDM的更改都将影响到逻辑数据模型设计人员、数据库管理员、运用开发人员、操作人员、业务用户。因此逻辑数据模型包含的实体、属性称号、属性格式、实体与实体之间的关系、实体与属性之间的关系该当参与元数据库中。逻辑数据模型设计要进展以下任务：分析主题域，确定当前要装载的主题确定粒度层次划分确定数据分割战略关系方式定义记录系统定义物理数据模型

57、PDM物理数据由逻辑数据模型按照根本的建模步骤转换而来。物理数据模型为数据库管理员提供了一个数据库的单一视图，将其参与元数据库有重要意义。物理数据模型参与数据库的内容包括： 数据库、表、视图、宏、列称号、格式、属性、约束取值、参照关系等、关系数据库与表、视图、宏，表与列，表与试图等。所谓数据库的物理模型就是逻辑模型在数据库中的实现，如物理存取方式、数据存储构造、数据存放位置以及存储分配等等。物理模型是在逻辑模型的根底之上实现的，在进展物理模型设计实现时，所思索的要素主要有：I/O存取时间、空间利用率和维护代价；在进展数据库的物理模型设计时，思索到综合营销系统数据库的数据量大但操作单一的特点，可

58、采取其他的一些提高数据库性能的技术，如：合并表、建立数据序列、引入冗余、进一步细分数据、生成导出数据、建立广义索引等。在物理数据模型设计中主要任务是：确定数据的存储构造确定索引战略确定数据存放位置存储分配数据仓库信息模型数据仓库信息主题，包括客户、帐务、效力、结算、产品等部分。数据仓库按照电信信息组成进展前瞻性的构造设计，主要包容了九七、计费等数据。客户主题包含了与客户相关的根本信息，如客户的自然属性姓名、年龄、职业等、客户的分类信息大客、商客、公客、流动客户、客户的重要属性信息信誉度、忠实度、消费层次等。帐务主题中包含了与客户相关的费用信息，如明细账单、综合帐单、帐本、帐户、付费记录、销帐流

59、水等信息。产品主题中包含了产品目录。效力运用主题中描画客户购买和运用中国电信效力产品的信息，主要包含了用户、效力运用记录、清单等。结算主题中包含了结算清单、结算明细账单、协作效力方等信息。 中央数据仓库信息模型表示数据集市构建方法数据集市是直接面向分析需求的，在数据ETL终了后经过相关处置生成。在数据集市中保管的数据普通有以下特征：数据普通不能直接从数据仓库中产生，需求进展转换处置，如消费层次等信息；数据集市中的数据较新，部分集市根据分析需求，甚至可以只保管最近几个月的数据；可以集成数据仓库中的多个主题信息而生成新的专题。在实践运用中，我们是按如下方式生成数据集市的：完成数据仓库配置表信息到数

60、据集市的转换，特别要提出的，有一些集市公用配置信息如消费层次配置表、通话时长层次配置表等需求相应配置程序产生和维护而并非与数据仓库或业务系统。还需求提示的是，在这个步骤中，必需根据展现工具的特点对配置表进展处置。完成数据仓库主题信息到数据集市的转换，其中需求把一些量值型信息转化为层次型信息，如通话次数转换成通话次数层次，通话时长转换为通话时长层次等；经过这些转换，我们可以根据集市中的主题信息和配置信息直接建立更好满足分析需求的星型模型或雪花模型。需求根据分析需求建立一些专题，这些专题能够需求几个主题信息进展集成。因此我们在主题信息转换到数据集市中后处置本步骤。集市的建立是由需求驱动的，在系统建