研发学生及外来工客户识别模型qc

1、发布人：杜娟精细化营销和管理提升QC小组中国移动福建公司泉州分公司 2009.061选择课题2目标设定3 提出并确定最佳方案4制定对策5对策实施6效果确认7标准化8总结及下一步打算 目录 目录 小组简介 小组简介小组名称精细化营销和管理提升QC小组成立时间2008年3月课题名称研发学生及外来工客户识别模型课题类型创新型组长杜 娟活动时间2008.32008.12活动次数每月2次 成员情况注册号CMFJQZ08054 小组简介 小组简介组内分工：顾问文化程度：硕士职责：活动指导职称：高级工程师叶育文组内分工：组长文化程度：硕士职责：方案制定组织实施职称：高级工程师杜娟组内分工：顾问文化程度：硕士

2、职责：活动指导职称：高级工程师郑一雄组内分工：副组长文化程度：硕士职责：模型构建具体实施职称：中组工程师王东龙组内分工：组员文化程度：硕士职责：方案讨论职称：工程师蔡贵贤组内分工：组员文化程度：硕士职责：方案讨论职称：高级工程师郭华伟组内分工：组员文化程度：本科职责：方案讨论推广应用职称：工程师陈梅蓉组内分工：组员文化程度：本科职责：数据收集资料整理职称：工程师尤永亮组内分工：组员文化程度：本科职责：数据收集资料整理职称：工程师陈敏毅名 词含 义客户识别基于客户消费行为以及通话地理信息等数据，采用数据挖掘技术建立客户识别模型并最终识别目标客户的过程模型识别准确率描述模型性能好坏的指标。模型识别

3、准确率通过模型识别的与真实身份一致的客户数/总识别客户数 名词解释 名词解释 一、选择课题问题提出01问题提出01泉州现有的学生及外来工占到常驻人口的3成以上，是两个非常重要的细分市场营销资源浪费！客户满意度低！活动未达预期效果！。营销方案外呼用户数客户身份识别准确率中学生飞信营销活动12万14.0%大学生网聊套餐活动7万19.0%外来工长话宝优惠活动25万23.0%外来工预存话费送保险30万21.0%中学生学习卡营销活动10万11.0%动感地带音乐套餐营销活动17万13.0%合计：18个营销活动310万18.2% 一、选择课题 一、选择课题30%问题症结02 小组调查发现，系统中客户身份信息

4、登记缺失严重，无法提供准确的目标客户清单，是导致目标客户识别准确率低的主要症结。表2-3 外来工及学生客户身份信息登记率 制表：陈蓉梅 2008年4月6日 一、选择课题 一、选择课题课题方案03 一、选择课题 一、选择课题 针对提升客户身份识别准确率，小组运用“头脑风暴法”提出了一系列解决思路，并绘制了亲和图。经过整理，提出三个可供选择的课题：2-5 外来工及学生客户身份信息登记率 制表：陈蓉梅 2008年4月6日 一、选择课题 一、选择课题课题方案分 析评估综综合合得得分分选选定定课课题题实施难度经济性用户信息安全创新性信息真伪信息完整调查手段收集客户资料1.实施难度较小2.重复性实施,成本

5、高3.用户信息安全非常低, 用户隐私保护难得到保障4.创新性低5.身份鉴定保真及登记信息核准难度大6.无法收集全部用户资料5分3分1分1分3分1分12分分实施入网实名制1.实施难度较大2.增加入网环节成本,成本适中3.用户信息安全不高, 特别是在社会渠道上用户隐私较难得到有效保障4.创新性低5.身份鉴定保真及登记信息核准难度大6.新入客户身份资料可以解决,但是无法解决目前老客户资料登记问题3分3分3分1分3分3分16分分研发学生及外来工客户识别模型1.实施难度较大2.一次实施,相关成本低3.用户信息安全高, 基本不涉及客户隐私4.创新性高5.判断客户身份准确性较高6. 基本可以解决大部分客户身

6、份信息识别3分5分5分5分3分5分26分分课题选定04 一、选择课题 一、选择课题制定计划表05图3-1识别模型目标 （制图人：王东龙 2008年4月10日） 一、选择课题 一、选择课题阶段活动内容活动推进行动2008年3月4月5月6月7月8月9月10月11月12月P计划选择课题杜娟计划王东龙进度设定目标王东龙计划蔡贵贤进度提出并确定最佳方案全员计划进度制定对策表全员计划进度D实施对策实施全员计划进度C检查效果检查蔡贵贤计划郭华伟进度A处理标准化郭华伟计划王东龙进度总结及下一步打算杜娟计划王东龙进度 二、设定目标 二、设定目标大学生：60%中学生：50%外来工：58%现场试验试验 中学生 试验

7、 大学生 试验 外来工 市区某中学1 53% 大学1 53% 陈埭工业区 58% 郊区某中学 44% 大学2 57% 安海工业区 64% 农村某中学 39% 中专1 63% 水头工业区 55% 市区某中学1 40% 中专2 50% 工业区4 56% 市区某中学2 52% 大专 49% 工业区5 50% 目标依据小组建模专家选择局部地区进行了小规模试验1-业务部门要求客户身份识别准确率在50%以上2-选择局部地区进行了小规模试验 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案开始建模工具选择模型评估提供目标数据清单结束数据源准备模型算法选择应用系统开发模型维护模型实施生命期结束不

8、达标达标u 研发学生及外来工客户识别模型涉及七个方面的步骤，用流程图表示如下：图4-1 识别模型研发流程图 制图人：杜娟 2008年 4 月 15 日图4-3 研发设计依据亲和图（制图人：蔡贵贤 2008年4月23日） 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案针对模型研发的七个策略，小组成员运用“头脑风暴法”,明确方案制定依据 三、提出各种方案并确定最佳方案 建模工具选择 数据源选择 模型算法选择 模型评估 模型实施 模型维护 应用系统开发 选择SAS作为建模工具选择SPSS作为建模工具 以数据集市作为主要数据源 选择德尔菲专家法构建模型 选择逻辑回归算法构建模型 选择决

9、策树算法构建模型 抽样外呼验证模型 抽样短信验证模型 自主开发 合作伙伴开发 自动维护 人工维护 半自动维护 转换为数据库规则 建模软件自动更新独立系统作为经分系统子模块独立系统作为经分系统子模块神经网络算法分类算法 以BOSS数据作为主要数据源 以BASS数据作为主要数据源一级方案二级方案 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案建模工具选择策略01统计分析速度数据处理速度数据IO速度运行速度测试环境SASSPSSA922240.50.50.5B1532210111测试环境SASSPSSA511B1835测试环境插入新变量替换变量值排序存盘SASSPSSSASSPSSS

10、ASSPSSSASSPSSA5.7435.574.513.68106.25B10.382010.922521.8498.1365测试环境方差分析SASSPSSA5.59(5.02)33.64(27.28)B8.07(7.3)47.02（46.63）现场对比试验法SPSSSAS统计分析速度数据管理速度数据读入速度功能全面性启动速度操作简易性 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案选择SAS作为建模工具虽然SAS软件掌难度较大,但其在大数据量的处理及I0上具有绝对优势，因此最终选择了SAS作为建模工具。方案方案描述评价标准评价结论最终结论以BOSS数据为主,其它数据源为辅优

11、势特点:数据准确性最高;数据存储于ORACLE数据库,组员对数据库熟悉,取数方便;劣势特点:数据粒度单一且粒度颗粒非常小;数据处理量大,特别是涉及汇总数据数据准确不可行数据获取快捷数据丰富组员熟悉以BASS数据为主,其它数据源为辅优势特点:数据准确性较高;数据粒度多样数据库IO性能好，数据处理快劣势特点:数据处理量大,特别是涉及汇总数据数据存储于TERADATA数据库,组员对数据库不够熟悉,取数相对不方便;缺乏原始生产数据,数据粒度偏大泉州本地个性化数据不足数据准确不可行数据获取快捷数据丰富组员熟悉以DATA MART数据为主,其它数据源为辅优势特点:少部分数据准确性较低;数据存储于ORACL

12、E数据库,组员对数据库熟悉,取数方便;数据粒度多样且泉州本地个性化数据多劣势特点；部分数据准确性较低，需要凭经验加以判断;数据准确可行数据获取快捷数据丰富组员熟悉 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案数据源选择策略02综合评价u从数据准确性、数据获取快捷性、数据丰富程度和组员对数据及其存储数据库四个维度进行综合评估，以DATA MART数据为主，其它数据源为辅作为数据源选择策略。 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案模型算法选择策略03综合评价发送调查表发送调查表选择好专家选择好专家处理、反馈处理、反馈调查意见调查意见写出决策报写出决策报告告

13、德尔菲专家法决策树模型Logistic 回归模型为回归模型为:lnP/(1-P)=b0+1X1+pXp经数学变换可得经数学变换可得: exp(0+1X1+pXp)P= 1+ exp(0+1X1+pXp)Logistic 回归模型模型算法适用条件优点缺点评价标准评价结论最终结论德尔菲专家法无明确的目标变量业务指标反映群体情况、从专家的角度切合当地实际比较容易出现主观因素、讨论中容易出现附和情况结果解释能力符合模型实现难度符合变量关系简单符合准确性不符合逻辑回归有明确的目标变量模型表达式较为简单、将群体识别的概率值连续化模型中变量之间的关系复杂、不利于从业务角度解释结果解释能力不符合模型实现难度符

14、合变量关系简单不符合准确性符合决策树有明确的目标变量解释结果能力强、变量之间的关系较为简单模型规则过于钢化、群体识别概率离散化结果解释能力符合模型实现难度符合变量关系简单符合准确性符合 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案u小组从结果解释能力、模型实现难度、变量关系简单和准确性等四个维度进行了充分的分析后，最终选择了以决策树算法为主、德尔菲专家法为辅作为模型算法。验证方式特点样本量有效反馈量有效占比成本评价标准结果抽样外呼验证成本高200168842小时反馈时长有效反馈成本开支抽样短信验证成本低2005326.55天反馈时长有效反馈成本开支 三、提出各种方案并确定最佳

15、方案 三、提出各种方案并确定最佳方案模型评估选择策略04小规模试验u根据试验结果，我们最终选择外呼验证作为模型评估的手段方案内容方案说明分析评估综 合得分选定方案实施难度实施成本维护操作简易性模型调优效果转化为数据库规则由数据库进行更新将模型转化为规则再将规则转译为数据库语言并固化于数据库系统中，通过定时任务实现模型定时工作，最终实现动态识别学生及外来工客户优势特点:便于客户识别应用系统的开发;模型实施成本低模型实施难度低劣势特点:无法自动使模型性能最优1 8分建模软件自动更新通过建模软件与数据库连接，由建模软件定时运行实现模型动态更新，最终实现动态识别学生及外来工客户优势特点:可以定时自动重

16、构模型，使得模型最优;劣势特点:不利于客户识别应用系统的开发;模型实施成本高模型实施难度高1 2分注: 5分 3分 1分表4.19 模型实施方案比较 制表：郭华伟 2008年5月20日 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案模型实施策略05打分评价u经过小组多次讨论，基于上述几个理由最终选择“转化为数据库规则，由数据库进行更新”策略方案方案描述优势缺陷评价标准结果手工维护定期按照建模过程重新建模，包括数据源准备、数据抽样、数据探索、变量选择、调整、建模、评估和实施等步骤，生成新的规则并更新已有的数据库规则。模型性能好，适应性好依赖人工维护，成本非常大工作量3人天/月自动

17、维护由系统自动进行模型优化，不需要人工干预无需人工干预，节约人力成本模型容易受外部环境影响，适应性较差，系统部署复杂，成本低工作量1人天/月开发成本5万半自动维护模型部分由系统自动运行更新，部分由人工干预，实现模型稳定健康工作模型适应性较好，系统部署简单需要人工干预，成本适中工作量3人天/月开发成本1万 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案模型维护选择策略06综合评价u小组创新性地研发了模型规则参数的阀值进行自适应调整从而实现模型半自动维护的方法。 评估评估分值分值项目评估项目评估（10-8）（7-5）（4-1）费用投入费用投入很少（5万以下）较少（5万-20万）较大

18、（20万以上）使用便捷使用便捷非常便捷（用户基本不用跨系统操作）较为便捷（用户偶尔跨系统操作）不方便（用户经常跨系统操作）开发周期开发周期周期短（一个月以内）周期较长（1个月至3个月）周期长（3个月以上）预计效果预计效果显著（开发规范且数据提供准确）较好（开发不规范且数据提供准确）一般（开发不规范且数据提供不准确） 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案应用系统开发策略07打分评价开发方式开发方式实现方式实现方式可行性分析可行性分析项目评估项目评估杜杜娟娟王王东东龙龙郭郭华华伟伟蔡蔡贵贵贤贤陈陈蓉蓉梅梅陈陈敏敏毅毅尤尤永永亮亮综 合综 合评 价评 价得分得分是是否否采采

19、用用自主开发自主开发自身独立一个系统很少费用投入8999107842否否不方便使用便捷4433324周期较长开发周期6575785较好预计效果7756666自主开发自主开发作为泉州数据集市一个独立模块很少费用投入8999107847是是较为便捷使用便捷7765667周期较长开发周期6575785较好预计效果7756666开发商开开发商开发发自身独立一个系统较大费用投入453252434否否不方便使用便捷4433324周期短开发周期89810968一般预计效果3464535开发商开开发商开发发作为泉州数据集市一个独立模块较大费用投入453252439否否较为便捷使用便捷7765667周期短开发周

20、期89810968一般预计效果3464535 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案u结论：最佳方案确定开始选择建模工具模型评估提供目标数据清单结束数据源选择模型算法选择应用系统开发模型维护模式实施生命期结束不达标达标选择SAS作为建模工具以数据集市为主,其它数据源为辅选择决策树算法作为模型算法自主开发并作为泉州数据集市一个独立模块半自动维护转化为数据库规则并由数据库更新抽样外呼验证图4-26 课题最佳方案（制图人： 王东龙 2008年6月3日） 三、提出各种方案并确定最佳方案 三、提出各种方案并确定最佳方案 四、制定对策表 四、制定对策表 四、制定对策表 四、制定对策

21、表 运用PDPC法制订各种应急方案，对整个研发过程进行动态管理，最大限度地防范研发过程中的风险图6-1 QC小组确保实施学生及外来识别模型研发顺利的PDPC法 2008年6月15日 四、制定对策表 四、制定对策表 五、对策实施 五、对策实施对策实施一：选择软件作为数据分析和模型构建工具选择合适的版本进行安装部署收集小组成员计算机软硬件配置情况举行SAS培训搭建数据处理服务器截至月日100的成员安装了SAS软件100成员参加了SAS培训课程，基本掌握相关技能。对策一目标达成对策实施二：在泉州数据集市进行建模数据取数通过选择建模所需数据及数据提供规范等共5项措施，最终确定建模所需的初始变量5月22

22、日至月日通过对异常值进行剔除，对缺失值进行处理，对连续变量进行离散化等操作，最终得到近500个指标，通过相关分析，最终选择21个模型指标学生群体识别指标外来工群体识别指标 五、对策实施 五、对策实施对策二目标达成依据特征规则提取样本清单外呼验证核实样本初始清单构建大学生、中学生及外来工客户识别模型召开专家会议确定学生模型显著特征对策实施三：建立模型 五、对策实施 五、对策实施 规则2 规则3大学生识别模型ARPU=26短信费用比例30%漫游比例8%40%入网月份6入网月份4month20% 规则1OROR通过客户交往指纹对客户识别模型进行修正 五、对策实施 五、对策实施学生其它交往指纹：用户在

23、使用移动业务过程中产生的交往模式。通过其交往的对象、时间段、频度等特征形成一个交往指纹 五、对策实施 五、对策实施交往对象和初始已识别的客户的相关特征70%,则判断为学生客户，同样也用于外来工客户判断 五、对策实施 五、对策实施u 8月4日通过客户交往圈对客户识别模型进行修正,极大改善了中学生及大学生客户识别模型性能。对策三目标达成对策实施四：抽样外呼验证及模型调优基站准确率必须80计划及目标执行效果检查行动定制中学学校基站收集规则并联合其它部门重新整理收集,对部分模糊基站开展了现场路测基站准确率达到83。重新进行建模后，中学生模型准确率达到了54，达到了预期目标定制学校基站信息维护管理办法,确保及时准确更新学校基站信息经分析，收集到的学校基站信息准确度相对较低，是影响中学生模型命中率的主要原因。PDCA循环 五、对策实施 五、对策实施对策四目标达成对策实施五：转换为数据库规则，由数据库进行更新对策实施六：制定半自动维护流程进行模型维护 五、对策实施 五、