信安部提高短厅高峰时段处理效率1

提升短厅高峰时段处理速率信安部“速度激情”QC小组一、小组概况“短厅性能优化”QC小组成立于2014年8月，由包含湖北移动十大金牌员工在内的5名资深技术专家成员（一名二星技术专家、一名一星技术专家）组成，技术和管理经验丰富。成立时间：2014.7小组注册号：2014-YZ-001活动课题活动时间：2014.9-2015.2提升短厅高峰时段处理速率课题类型：问题解决型小组名称“智能雷达”

QC小组本次活动情况“速度激情”

QC小组序号姓名性别部门组内分工1杜玖男业务支撑中心应用与维护2曹俊男业务支撑中心技术支撑3郝诗魁男IT运维中心系统架构优化4刘琳女业务支撑中心满意度提升5孙思男市场部业务管理6操倩女IT运维中心数据库管理员7黄璐男IT运维中心数据分析8孙诚男信安部制度流程9胡莉女IT运维中心架构支撑小组成员跨领域的融合型专家团队二、选题理由

短信营业厅业务量2012年-2014年业务量成倍增长（年增长率50.5%），占全电子渠道79%，成为我公司最重要的电子渠道。随着短信营业厅承载的业务爆增，导致处理速率存在瓶颈。制图人：杜玖、黄璐三、现状调查由于互联网用户使用行为（如360查流量等），导致每天高峰时段（10-11点）业务量激增，引起业务阻塞与失败，严重影响用户感知

业务高峰时段用户抱怨量达到113件提高短厅高峰时段处理效率迫在眉睫！右纵向线：成功率制图人：杜玖、刘琳横轴线：小时数左纵向线：平均时长四、设定目标结合全国短厅关键时刻受理时长，根据2-5-8原则确定目标：关键时刻处理时长由8.38秒缩短为7S以下;制图人：杜玖、郝诗魁四、设定目标（制定活动计划）课题选择12345678911确定目标原因分析可行性分析制定对策对策实施效果检查巩固措施总结打算要因确认2014年9月2014年9月2014年9月2014年9月2014年9月2014年10月-2014年11月2014年10月-11月2014年11月-12月2015年2月活动计划时间表制表人：曹俊、胡莉五、原因分析团队成员来自运维、市场、投诉、支撑等多方面，决定采取“树型图”方法进行原因分析；从“人员、环境、设备、方法”四个方面探讨，发掘8个末端原因方法原因分析无完善应急措施缺少监控手段软件技术架构落后缺乏足够硬件设备系统垃圾指令过多缺乏数据配置流程人为操作失误维护人员技能不足维护手段不完善软、硬资源不足配置数据管理不合理设备环境人员树型图制图人：操倩六、要因确认1原因确认制表人：杜玖序号末端原因确认内容确认方法标准确认结果确认人是否要因1缺乏监控手段是否有完善的监控手段统计近三个月是否存在没有监控到的短厅故障是否存在存在

郝诗魁是2无完善应急措施是否有高峰期的应急处理措施现场检查高峰期关于短厅应急处理的流程、具体方法，且方法可执行是否具备部分具备黄璐是3缺乏足够硬件设备是否有足够的硬件设备用来扩容查看机器资源分布表，有很多的刀片机可供短厅使用是否充足充足胡莉操倩否4系统垃圾指令过多是否具有无用的短厅配置以及垃圾指令应道机制数据分析：统计系统上线垃圾指令占比;没有引导的无效上线指令占比；>1%8.5%

4.3%杜玖黄璐是六、要因确认2原因确认制表人：杜玖序号末端原因确认内容确认方法标准确认结果确认人是否要因5缺乏数据配置流程是否有短厅配置流程现场检查是否存在存在刘琳孙诚否6软件技术架构落后短厅系统是否可以便捷扩展现场调查，访谈，确认短厅是否能够平滑扩展，扩展的方案是否具有可行性是否具备不具备郝诗魁胡莉是7维护人员技能不足维护人员是否具备相应的业务技术技能访谈，调查，业务技术是否合格是否合格合格曹俊否8人为操作失误查看近三个月是否存在人为操作统计分析故障原因，是否存在人为操作错误引起的故障是否存在不存在黄璐否七、制定对策制定决策制表人：杜玖序号要因对策目标措施负责人完成时间1缺乏监控手段建立完善的监控手段所有的故障点都有完善的监控梳理故障点，建立基于系统和业务级的监控曹俊郝诗魁2014年9-11月2

无完善应急措施建立高峰期短厅应急处级机制确保重点业务成功率1、对短厅指令根据业务等方面进行分层分级2、系统分层分级部署3、根据层级动态调整系统资源郝诗魁胡莉2014年10-11月3系统垃圾指令过多建立业务指令清理机制每月垃圾指令占比4%以下1、建立无效指令下线流程2、对用户的上行垃圾指令进行及时引导孙思杜玖2014年10月上旬4软件技术架构落后优化短厅软件架构软件架构可平滑扩展，具有高可读写性1、实现短厅云化改造2、实现短厅数据读写内存化杜玖胡莉2014年9月上旬根据5W1H原则，小组制定了对策实施表：七、对策实施（一）-建立完善的监控手段梳理故障点，建立基于系统和业务级的监控硬件监控：借助BOMC系统对短厅全环节的网络环境、24台主机进行了全面的基于系统级的监控业务监控：梳理了35个业务监控点，借助BAM系统进行了端到端的业务监控，每个监控点都有对应的告警处理措施七、对策实施（二）-建立应急措施根据业务重要性、业务量、是否集团KPI三个维度制定了短厅指令优先级列表，优先级分为高、中、低，通过调配高性能的设备处理高优先级业务；通过内部调配，将高性能主机给高优先级的业务使用，部署更多的并发程序。建立业务优先级列表2台主机160个进程2台主机120个进程上行中间件2台小型机，能力分配如下70%

30%2台高性能小型机下行4台机器，能力分配如下60%30%10%8个网关4台主机240个进程4个网关高级队列中级队列低级队列根据高峰期指令堵塞的情况实时、动态调整指令的优先级，确保重要指令优先执行七、对策实施（三）-建立数据清理机制制表人：杜玖、孙思1、建立无效指令下线流程，共下线312条无效指令，占比11.54%2、建立短厅智能机器人配置动态调整机制，自活动开展以来，共配置159条智能引导规则，有效降低了20.47%的业务量；智能机器人配置列表智能机器人配置申请单七、对策实施（四）-引入新技术优化架构优化短厅软件架构，引入云化技术实现短厅系统架构可平滑扩展，同时引入高读、写性技术，提高处理效率上行处理进程能力开放平台中间件平台1平台2平台3平台4……瓶颈一、目前只能部署4台措施：引入ZOKEEPER云化技术后，可以任意扩展平台1平台2平台3平台4……瓶颈二、目前使用4台小型机，扩展成本极高措施：引入X86技术，积低的成本便捷扩展数据库引入云化技术瓶颈三、所有数据读写都是靠调用接口；措施：引入缓存读写技术，实现数据的快速响应效率提升90%八、效果确认1根据集团交流网站公布最新数据截止2015年2月底，我省短厅关键时刻业务平均处理时长为6.54秒，低于全国平均成绩7.03秒，达到预定目标。达到目标八、效果确认2经过统计2月平均每天分时段的业务量和受理时长，业务受理时长没有随业务量的波动而明显变长，与预期相符。波动不明显，达到预期八、效果确认3社会效益提升短厅高峰时段业务处理速率，提高用户满意度提供了短厅业务的监测手段，量化客户感知引进云计算技术架构，节约运营成本每年为企业增收1200万元

经济效益增加短厅业务收入1200万/年业务量年增长4亿笔×0.3元/笔收入×10%办理业务占比＝短厅业务年收入增长量九、巩固措施为规范相应工作，小组制定了相应的规范文件《业务支撑网短厅配置上线操作实施细则V1.0》《湖北移动短信营业厅业务管理规范》《湖北移动短信营业厅指令上下线规范》启动2015短厅精品网优化工作活动总结