数据仓库与数据挖掘案例分析

补充：结合电信领域的特点，通过一种应用实例来阐明数据仓库的详细实行。第一阶段：项目的需求和目的分析一．主题划分图1一种简朴的电信企业模型在电信企业中，既有的业务数据库系统一般包括客户服务DB、网管DB、计费DB、账务DB、市场信息DB、营销信息DB等。一般按照电信企业的业务需求也许将其主题域划分为：1．客户发展：重要是对客户群体进行分类后，从不一样的角度展现企业提供服务的客户数量状况。可以按照客户自身的自然属性（如年龄、入网时间、受教育程度等）、客户的扩展属性（如信用度、客户价值、流失概率、挽留价值等）等不一样的角度进行划分。2．收益分析：重要是通过不一样的角度对电信企业的收益状况进行分析。收益分析的角度可以按照客户的自然属性和扩展属性划分，也可以按照电信企业的业务运行进行划分，还可以按照机构设置、地理角度对收益进行划分。3．呼喊特性分析：分析不一样类型客户在呼喊上具有的特性。详细的衡量指标包括诸多，例如：把呼喊提成长呼喊、中呼喊、短呼喊。4．业务发展：重要是对电信企业提供的多种业务的使用客户人数、客户特性、收益金额进行比较，以发现具有潜力的业务或者为开展可以吸引更多客户的新业务提供指导。5．营销管理：重要是对各电信营业厅、电信分销商、代销商的经营状况进行分析。6．市场竞争：重要是对电信运行商的竞争对手的客户发展、收益、业务运行等多方面的信息进行搜集并分析，从而为本企业提供市场竞争的方略。其中波及的数据重要是外部数据和非格式化数据。7．服务质量：重要包括发现客户投诉、征询的焦点，发现企业内部在运行上存在的问题等。8．网络优化管理：分析怎样有优化网络的配置、怎样更好的对网络进行管理等问题。二．电信领域常见的数据挖掘层次的问题1．客户群体划分：客户群具有两个金字塔（占总客户数10%的大客户的消费金额占了总客户消费金额的70%）。对客户群体进行合理的划分，有助于企业理解一下信息：企业的重要客户群体的状况；重要客户群体的呼喊特性行为；重要客户群体对业务的需求；大客户群体的呼喊特性行为；大客户群体对业务的需求；在对客户进行合理划分的基础上，可以针对不一样客户群体的特点采用不一样的方略，对其消费行为进行合理的引导。（可以采用聚类或分类的措施）2．客户流失划分：挽留一种老客户比争取一种新客户付出的代价要小得多。3．客户欺诈分析：重要针对也许出现的客户恶意欠费问题进行分析。4．网络规划优化5．网管中的分析问题：网络优化、网管故障的有关性分析、记录设备的故障率等。三．项目规划在项目初期，应当选择目前最急需、能在较短时间内发生效益、业务模型清晰、能从既有系统或通过其他方式获取数据的决策目的作为系统初期的任务。在后续阶段，根据新的需求、既有系统的改造状况、积累的经验确定新的决策目的，逐渐发展完善数据仓库系统。在建设初期，可以将如下五个主题列在前期任务考虑之内。客户发展分析收益状况分析呼喊特性分析营销管理分析业务发展分析作为螺旋开发的第一种循环，提议先将客户发展、收益分析、呼喊特性分析列入第一阶段的任务。四．需求分析的形成1．任务阐明书：在任务书中，指明了DW中波及的主题有3个：客户发展、收益分析、呼喊特性分析。在DM层次上，需要完毕对客户的流失概率、客户价值、客户挽留价值进行合理的评估。2．需求阐明书：任务阐明书需要设计人员深入将其细化成需求阐明书。在进行需求分析的时候，设计人员至少应当访问如下的几类人：（1）项目负责人：对整个项目的宏观目的和方向有比较精确的把握，对DW项目有全境式的认识。（2）主题波及部门的管理人员：理解部门内部对数据的需求。使得设计人员可以站在管理人员对数据需求的角度来看问题，而不是站在技术的角度看问题。（3）DSS分析员和未来使用DW系统的最终顾客：从他们那里理解他们目前是怎样为管理层提供决策辅助信息的，提供信息的内容包括哪些，信息的来源有哪些，在处理数据中碰到的棘手问题有哪些，另首先是他们对DW系统的需求和但愿，并可以从最终顾客那里理解比较细致的需求。（4）企业的信息技术人员，包括数据管理人员（对数据质量进行管理的人员，不是DBA）、数据库管理员、数据库设计人员、程序员：从他们那里理解既有业务系统是怎样构造的、既有系统的运行状况、既有系统中存在哪些问题、应当从哪儿获取需要的数据。各类人员同项目需求的关系如下图所示：设计人员需要将从上述人员那儿理解到的信息进行归纳总结，权衡各方面的原因，最终给出一种比较详细的功能需求描述。下表给出一种收益分析主题的功能需求分析例子。收益分析不一样步期的收入总量分析及预测。收益构造分析（月租费、当地话费、漫游费、入网费、卡费等）功能名称功能描述度量波及维度维组员品牌和业务构成收益的品牌构成多种品牌在企业总收益中所占比重和数量收益、收益比例品牌神州行、全球通收益的业务构成各项业务在企业总收益中所占比重和数量收益、收益比例业务类别通话、短信息呼喊特性企业收益的主/被叫构成主叫、被叫对于企业收益的奉献收益、收益比例主/被叫主叫、被叫企业收益的呼喊类型构成长途、漫游、当地对于企业收益的奉献收益、收益比例通话类型长途、漫游、当地企业收益的呼喊时长构成不一样步长的呼喊对于企业收益的奉献收益、收益比例呼喊时长1分钟如下1~5分钟5~10分钟10分钟以上等客户特性企业收益的客户性别构成不一样性别客户对于企业收益的奉献收益、收益比例、客户数量客户性别男女未知企业收益的客户年龄构成不一样年龄段客户对于企业收益的奉献收益、收益比例、客户数量客户年龄段18如下18~22。。。企业收益的大客户构成大客户和一般客户对于企业收益的奉献收益、收益比例与否大客户维大客户一般客户企业收益的客户类型构成企业收益客户类型的比例构成客户数量、比例客户类型单位、个人企业收益的不一样在网时间客户构成不一样在网时间客户对于企业收益的奉献收益、收益比例、客户数量在网时间维一年如下1~2年。。。企业收益的客户信用积分构成。。。收益、收益比例、客户数量客户信用积分根据数据的详细分布企业收益的客户信用度层次构成。。。信用度客户信用度按照挖掘后的成果进行划分企业收益的客户消费层次构成。。。收益、收益比例、客户数量客户消费层次按照挖掘后的成果进行划分企业收益的客户离网概率层次构成。。。收益、收益比例、客户数量客户离网概率层次按照挖掘后的成果进行划分企业收益的客户挽留价值层次构成。。。收益、收益比例、客户数量客户挽留价值层次按照挖掘后的成果进行划分企业收益的客户价值层次构成。。。收益、收益比例、客户数量客户价值层次按照挖掘后的成果进行划分企业收益中小客户成为大客户概率层次构成。。。收益、收益比例、客户数量中小客户成为大客户概率层次按照挖掘后的成果进行划分欠费状况和预测欠缴费比例。。。金额（收益）、金额比例、客户数量、客户数量比例欠缴费欠费、缴费不一样步期的企业欠费金额。。。欠费金额时间月、季、六个月、年不一样步期的企业欠费数量。。。欠费客户数量时间月、季、六个月、年收益预测话费收益预测。。。短信费收益预测。。。不一样步期的企业收益状况。。。收益收益/欠费比例时间月、季、六个月、年在完毕功能需求后，可以用一种数据搜集汇报把所需的不一样的数据源的属性列出来。此汇报至少包括如下的内容：数据源（内/外部数据源）负责维护此数据的个人/组织设计该数据库的DBA数据使用的存储方式数据中包括的表、字段、记录的数据数据的大小数据的物理存储介质安全需求数据在使用上的限制数据与否波及顾客的隐私问题数据描述汇报中应包括如下内容：字段/列的数据字段是空缺值的数据/比例字段的名字对于每个字段，一般需要记录：数据类型数据定义数据描述计量单位所有不一样值的个数值的列表值的范围空值的比例搜集信息（例如怎么得到、在哪、什么条件下）时间频度（每天、每周、每月）尤其时间数据主键/外键关系第二阶段系统构造和模型设计一．系统构造设计1．数据量的估算2．系统硬件构造/软件构造选择:根据数据量的估算，选择对应的软硬件配制。二．DW模型的设计1．可运用的数据：要确定完毕以上3个主题，需要3部分信息：客户的基本信息表客户的账单客户的呼喊信息表(CDR表)2．粒度确实定：设计DW中，最重要的环节。对于客户基本信息表采用单一的数据粒度即可。对于客户的账务信息也采用单一的数据粒度。不过要增长合适的时间段和合适的导出数据（按季度综合、按年度综合）对于客户的呼喊信息采用双重粒度：对于近3~4个月的细节呼喊/计费数据，保留在DW中，并定期聚合成按月综合表，然后将细节数据导出至磁带设备，为新的细节数据腾出空间。3．定义DW的关系模式：这个过程需要第二阶段形成的数据搜集汇报进行记录系统的定义。所谓记录系统的定义就是指明DW中关系表各个字段来源于哪个业务数据库的哪张表的哪个字段。还需要建立一种数据字典，将问题中波及的关键词语的含义、在字段命名中将采用什么关键字等信息记载在数据字典中。三．OLAP模型设计OLAP模型设计的思绪是先分析问题中也许波及的所有维度，针对每一种主题确定需要的维度和度量变量，然后为每一种主题定义关系模式，从而形成一种星型构造。在这个星型构造的基础上，可以生成多维数据表，建立多维数据库。1．项目设计的维度分析静态维度：指客户详细资料维、状态维、年龄段维、品牌维等不常常发生变化的纬度。静态维度并不一定是完全不变的，只是相对动态维度而言。动态维度：指常常会发生变化的维度，例如客户的呼喊地理维度、呼喊时间维度、客户的费用层次纬度，这些维信息都将伴随时间的变化而变化。目的维度：需要通过数据挖掘分析的目的。根据项目任务书中，我们重要的目的有分析客户的价值、客户的流失概率、客户的挽留价值、客户的信用度等。这些维度在进行DM之前是空缺的，在进行DM之后，运用DM的模型给这几种指标打分，然后在将这些数据补充回OLAP的维表和事实表中，供数据展现使用。2．各个主题的维度设计：以收益分析主体的维度设计阐明书为例：模型名称：收益分析模块功能：用于企业收益构成分析对应的事实表：profit_s度量：收益，每个顾客账单记录产生的总费用金额数据粒度：在事实表中，记录每个顾客每月的费用信息。事实表寄存5年之内的数据，5年以上的数据准时间（月）进行汇总后从事实表中导出。有关的维度：（1）客户详细资料维（2）客户性别维（3）客户年龄段维（4）品牌维（5）收益类别维（6）通话类型维（7）与否大客户维（8）月总呼喊次数层次维（9）平均呼喊时长层次维（10）信用积分维（11）信用度层次维（12）消费层次维（13）离网概率层次维（14）挽留价值层次维（15）价值层次维（16）时间维（17）客户类型维（18）在网时间维注释：以上各维均与客户有关，用于分析不一样客户群体对企业收益的奉献，维的层次和元素与客户数量分析模型中相似。收益分析主题的星型构造如下：第三部分系统装载、数据挖掘和界面设计一．数据装载/数据综合模块设计数据装载模块负责从业务系统的数据表中提取、清洗数据以及转化格式变为DW中的细节表。数据综合模块运用装载模块生成的细节表生成各个综合层次的数据表和导出表。在进行数据装载模块设计时，需要注意如下几种问题：定义良好的数据清洗规则：数据质量的重要保证重视代码的模块化和重用性、可维护性。提高代码的处理效率制定一种调度计划：不一样的装载程序需要在不一样的时间运行，设计人员需要根据实际系统的状况，确定一种合理的数据抽取计划，并在DW管理工具中实行这个调度计划。二．OLAP模型生成程序OLAP模型生成模块运用DW中的数据构建维表和事实表（一般先实现一种主题）。假如需要创立多维数据库，则需要将维表和事实表连接后生成一张详细的多维数据表，然后在这张多维数据表的基础上创立多维数据库。三．数据挖掘宽表设计和生成要进行DM，需要将所有可以搜集的对分析有用的信息组织成一张非常“宽”的数据表，将这张表称为数据挖掘宽表。1．首先确定同目的变量有关的数据：一般需要向该方面的分析专家请教。2．创立新变量：即对细节数据要进行一定程度的综合，比原始细节数据更具有现实意义。3．准备训练集合与验证集合数据质量的检查选择合适的数据抽样措施为目的变量附上初始值：目的是为模型准备训练/验证数据集合，这些初始值并不是最终的成果。根据算法的需要，对宽表中的变量，尤其是目的变量的形式进行转化：常常将目的变量转化成布尔型变量。例如将目的变量“客户流失概率”转化为新的目的变量“与否流失”。确定分析的次序：由于目的变量之间存在有关性，因此需要确定分析的次序。变量选择：在准备好数据训练/验证集后，需要将同目的变量具有强有关性的变量清除。例如：我们要分析客户价值，就需要将计算客户价值公式中出现的变量清除，否则DM工具将直接在这些变量和目的变量间建立关系，而不是我们所但愿的通过划分客户与否高价值客户来发现高价值客户在呼喊行为、消费行为、背景信息上的特性。挖掘建模：将训练/验证集合作为输入数据