提高提醒短信发送成功率

提高提醒短信发送成功率第1页，共40页，2023年，2月20日，星期五企业名称

中国移动通信集团上海有限公司

地址

长寿路200号部门

信息系统运营部运行维护部

QC平均培训时间

80小时小组名称

畅通无限QC小组

成立时间2005年4月课题名称

提高提醒短信发送成功率

登记编号

10-SY-JF-16课题类型

现场型

课题起止期2015年4月—12月活动次数8次活动人数10人

出勤率100%·小

组

成

员

概

况序号姓名性别年龄文化程度工种（职称）组内分工QC培训（小时）1严伟男26本科技术支撑组长1202裴力男29硕士技术支持组员1203刘甦晓男26本科技术支撑组员1204邱晓波男32硕士高级技术督导组员965孙乐男30硕士技术督导组员646孙一凯男31硕士技术支持组员647卢迪男37本科技术督导组员648赵晓笛男32本科技术支持组员649

李嘉鼎男25本科技术支撑组员4010顾卿男31本科技术支撑组员40第2页，共40页，2023年，2月20日，星期五提醒短信下发流程10086短信营业厅用户提醒短信发送成功率=成功发送给用户的及时提醒短信数量提醒短信总量×100％大网CRM/BOSS/网营/BOMC/营销管理平台后台流程第3页，共40页，2023年，2月20日，星期五2015年1月-3月提醒短信发送成功率统计情况：2015年1月－3月提醒短信发送成功率统计表统计周期提醒短信发送操作总数（次）提醒短信发送操作成功数（次）提醒短信发送成功率2015年1月份

422394133815908590.34%2015年2月份

354542983226501491.00%2015年3月份

413592053733518290.27%合计

119052916107759281-----月平均3968430535919760.3390.51%XX!!??什么！没提醒就停机了?为什么这个活动没收到短信通知?”朕“日理万机，要的是效率！短信验证码为什么收不到？时间就是金钱，你们拿什么补偿我！！！第4页，共40页，2023年，2月20日，星期五部门要求存在问题选定课题提高短信发送成功率短信发送成功率达到98%短信发送成功率90.51%目标值：98%第5页，共40页，2023年，2月20日，星期五目标

上海移动短信发送成功率提升到98%制图人：邱晓波

制图日期：2015年4月10日第6页，共40页，2023年，2月20日，星期五关键问题的分析1第7页，共40页，2023年，2月20日，星期五症结小组成员对1-3月提醒短信发送失败数据进行分析，结果整理分析如下：通过分析得出：低额欠费类提醒短信发送失败是主要问题所在。关键问题的分析1制表人：裴力日期：2015年4月12日制图人：裴力日期：2015年4月12日序号类型频数（次）百分比（％）累计百分比（%）1低额欠费类提醒1056082593.51%93.51%2资金类提醒3961683.51%97.02%3业务类提醒1753131.55%98.57%4资源类提醒1125791.00%99.57%5其他提醒487500.43%100.00%总计11293635100%---第8页，共40页，2023年，2月20日，星期五=月平均成功率+月平均失败率×低额欠费类提醒发送失败比例×可解决比例×解决程度=90.51%+9.49%×93.51%×98.73%×90%＞98%不可控因素每月系统上线维护所引起的失败占失败总量的1.27%，小组无法解决目标提高短信发送成功率可行性计算估算分析2结论：98%的目标是可以实现的！统计周期维护产生的提醒短信发送失败总数2015年1月468932015年2月456262015年3月41602月平均44707第9页，共40页，2023年，2月20日，星期五接着小组成员针对“低额欠费停复机短信发送成功率低“这个症结问题开展头脑风暴，从多方面进行原因分析，并通过系统图找到了10个末端因素8欠费短信发送通道流量不足5信控及停机流程并行4短信发送接口机速率低6进程缺少自动恢复机制3缺乏失败重发机制7提醒短信内容过长1值班人员缺乏专业上岗培训

2CPU/内存超负荷

小组无法解决第10页，共40页，2023年，2月20日，星期五要因确认计划表序号末端原因确认方法确认标准负责人完成日期1值班人员缺乏专业上岗培训现场检查均具备上岗培训证书，《值班人员考核规范》卢迪2015.4.142CPU/内存负载超负荷统计分析cpu/内存负荷≤70%《短厅系统设计说明书》严伟2015.4.153缺乏失败重发机制调查分析大网在向用户下发提醒短信失败时10分钟内自动重试次数≥1《大网侧短信下发设计规范》孙一凯2015.4.204短信发送接口速率低统计分析短信积压时长≤1分钟《短厅系统设计规范》邱晓波2015.4.245欠费提醒及停机流程并行调查分析停机工单发送需要在欠费提醒短信发送完毕后5分钟内执行《开通系统设计规范》刘甦晓2015.4.236进程缺少自动切换机制调查分析短信接口机进程切换时长≤5分钟《短厅系统设计规范》严伟2015.4.207提醒短信内容过长统计分析提醒短信下发文字长度需小于5条（每条字节为67）《提醒类短信发送规范》裴力2015.4.308欠费短信发送通道流量不足调查分析欠费短信发送通道流量需大于200条/秒《短厅系统设计规范》赵晓笛2015.4.23第11页，共40页，2023年，2月20日，星期五值班人处理换卡告警条数超过15分钟的条数确认告警及时率刘师傅367399.18%林师傅624599.20%赵师傅671599.25%沈师傅594399.49%张师傅601499.33%值班人员处理告警及时率低确认标准≥99%非要因统计1-3月告警处理记录中值班人员处理的时长，分析值班人员处理告警15分钟内的及时率。2检查值班人员上岗培训证书是否完备1对症结的影响第12页，共40页，2023年，2月20日，星期五月份

CPU

内存

数据库

中间件接口机数据库

中间件接口机服务器

服务器

服务器

服务器

2015年1月54.82%16.43%7.21%68.23%42.23%27.24%2015年2月53.67%14.45%7.87%66.22%42.32%28.63%2015年3月55.21%15.32%9.64%67.44%44.02%27.54%平均

54.57%15.40%8.24%67.30%42.86%27.80%CPU/内存超负荷确认标准：

≤

70%非要因对症结的影响第13页，共40页，2023年，2月20日，星期五缺乏失败重发机制序号重试方式描述重试机制0DefaultRetryScheme直接丢弃1RetryScheme15秒第一次重试，10秒第二次重试后丢弃2RetryScheme25分钟第一次重试，15分钟第二次重试后丢弃3RetryScheme320分钟重试后停止4RetryScheme41分钟重试后丢弃5RetryScheme510分钟重试后丢弃6RetryScheme62分钟第一次重试，3分钟第二次重试，3分钟第三次重试后丢弃731test30秒第一次重试，30秒第二次重试，8分钟第三次重试后丢弃890test5分钟第一次重试，25分钟第二次重试，15分钟第三次重试，15分钟第四次重试后丢弃9RetryScheme71分钟第一次重试，3分钟第二次重试，3分钟第三次重试后丢弃10RetryScheme824小时重试后丢弃11RetryScheme924小时第一次重试，16小时第二次重试后丢弃12RetryScheme1030秒第一次重试，30秒第二次重试，15分钟第三次重试后丢弃13RetryScheme1124小时第一次重试，23小时第二次重试后丢弃14RetryScheme125分钟第一次重试，24小时第二次重试后丢弃非要因对症结的影响第14页，共40页，2023年，2月20日，星期五短信发送接口速率低1统计4月1日提醒短信积压情况是要因确认标准≤60秒对症结的影响第15页，共40页，2023年，2月20日，星期五错误回执代码错误原因数量比例5011电信业务不支持teleservicenotprovisioned499949547.34%5055用户忙196008918.56%3022手机存储容量满memorycapacityexceeded9230168.74%3029缺席用户absentsubscriber185553717.57%5001非签约用户unknownsubscriber1320101.25%5020移动台故障errorinmsreceivingmessage3052082.89%5036系统故障systemfailure2428992.30%5048未知原因1425711.35%欠费提醒及停机流程并行分析1～3月欠费提醒短信失败回执记录12针对欠费提醒短信发送及停机各环节时间进行分析号码信控触发时间短信发送时间停机时间1370***08399:47:089:47:239:47:181391***1729512:23:0612:23:5512:23:141478***348212:29:1312:30:0312:29:231361***923115:41:1815:41:5515:41:251347***582319:34:3219:35:4619:34:4413816***71121:45:5521:46:1321:46:031363***612422:46:0822:46:5022:46:20用户短信接收到的的时间晚于停机时间欠费提醒及复机流程并行，无法保证提醒短信在用户停机前送达对症结的影响是要因第16页，共40页，2023年，2月20日，星期五进程缺少自动切换机制非要因对症结的影响第17页，共40页，2023年，2月20日，星期五12对欠费提醒短信发送失败率与短信长度相关性进行分析运用直方图分析欠费提醒短信发送时长能力指数提醒短信内容过长明显正相关是要因小组成员裴力从3月全量换卡记录中随机抽取了5万条数据进行统计分析散布图象限判断法：NI象限+NIII象限=27>NII象限+NIV象限=7总体分布不满足要求对症结的影响第18页，共40页，2023年，2月20日，星期五欠费短信发送通道流量不足1梳理短厅通道并统计4月10日短厅下发耗时是要因大量交互短信集中下发抢占提醒短信下发通道对症结的影响第19页，共40页，2023年，2月20日，星期五2欠费提醒及停机流程并行1短信发送接口速率低3欠费提醒短信内容过长主要原因归结为以下四点：4欠费提醒短信通道流量不足第20页，共40页，2023年，2月20日，星期五方案选优针对“欠费提醒短信通道下发流量不足”,小组召开了头脑风暴，运用亲和图进行整理,得到三个可行的备选方案：12建设专用欠费提醒下发平台1优化欠费提醒下发流程3智能终端应用策略调整

第21页，共40页，2023年，2月20日，星期五方案选优针对三个方案，小组成员分别进行了试验和评估2方案名称成本调整难度调整周期后续产生工作量综合分析结果优化欠费提醒下发流程无硬件成本，软件开发及算法设计价格3.8万需应用改造和集成测试，夜间割接一次可完成20天维护手册和监控脚本调整1、调整难度不大，可一次性完成割接上线

2、后续产生工作量很小

3、无需硬件采购，调整周期短专用欠费提醒下发平台建设无软件成本，服务器采购和专线申请硬件成本预估为60万需集成测试及信控接口梳理，夜间割接一次可完成60天新增一套上线维护系统1、调整难度不大，可一次性完成割接上线

2、后期工作量较少，但信控指向梳理需要大量精力，遗漏则具有一定的提醒缺失风险

3、无需软件开发，专线申请和硬件采购周期较长，成本较高智能终端应用策略调整无软硬件成本需要外部门进行协调和大量沟通工作。90天需要对新增指令和冲击进行分析跟踪1、高度依赖于第三方应用厂商的能力和调整计划

2、后期工作量较大，需要定期跟踪维护，并及时调整下发策略

3、调整周期较长第22页，共40页，2023年，2月20日，星期五对策计划表序号要因对策目标措施地点完成时间负责人1短信发送接口速率低优化短信接口下发参数提速后短信积压时长≤1分钟采用正交试验法调整短信接口发送参数钦州72号运行维护部2015/5/29邱晓波2欠费提醒及停机流程并行调整欠费提醒停机流程停机工单需在欠费短信发送完毕后5分钟内触发调整信控触发欠费提醒和停机流程钦州54号开发部2015/5/23严伟3欠费提醒短信内容过长调整内容减少提醒短信条数提醒短信条数少于四条1、整理短信模板2、调整文字长度3、合并模板，调整拼接方法钦州72号运行维护部2015/6/15刘甦晓4欠费提醒短信通道流量不足优化欠费提醒下发流程欠费提醒短信流量需控制在200条/s以上1、下发通道拆分

2、绿色通道建设3、自平衡算法设计4、增加接口进程钦州56号亚信项目组2015/5/30裴力第23页，共40页，2023年，2月20日，星期五L9(34)正交表因素线程并行度(A)轮询数据量(B)轮询间隔(C)进程内存空间(D)水平11100条1秒1024M22300条2秒1536M33500条3秒2048M1

确认影响低额欠费短信接口发送速率的程序参数，共有并发连接数、轮询数据量、轮询间隔、进程内存空间四个维度。因素水平表：选取L9(34)正交表对策实施一：优化短信接口下发参数5月4日，小组成员针对优化低额欠费短信接口发送速率进行进一步讨论，并设计开展实验低额欠费短信接口发送速率的程序参数进行优化第24页，共40页，2023年，2月20日，星期五正交试验方案及结果因素ABC空缺成功率(%)实验11（单线程）1（100条）3（3秒）2（1536M）126实验22（双线程）11（1秒）1（1024M）46实验33（三线程）12（2秒）3（2048M）38实验412（300条）21115实验5223328实验6321232实验713（500条）13110实验8232234实验93331100均值1351210188260

均值2108175186192均值3170243254177

极差243696884

2确认参数配置范围后，开展正交试验L9(34)第25页，共40页，2023年，2月20日，星期五3分析正交试验结果算一算比较位极、极差和均值，选择方案A2B2C3D3，进行实验经过实验，得出方案A2B2C2D3发速率可以达到27秒/万条，高于初定方案A2B2C3D3最终确定进程并行度为2个进程、轮询数据量300条，轮询间隔2秒，进程内存空间为2048M的方案为最优。第26页，共40页，2023年，2月20日，星期五5月13日～19日5月20日～26日提升比例发送速率105条/秒359条/秒241.9%效果检查

实施后，小组成员统计了5月13日～19日及5月20日～26日两个时间段的低额欠费提醒短信下发速率情况。实施有效第27页，共40页，2023年，2月20日，星期五1针对现有流程，确定开发程序模块对策实施二：调整欠费提醒停机流程小组成员严伟于5月19日开始对现有流程进行确认，通过流程图发现目前发送提醒短信和停机工单生成环节采用并行处理，可能导致用户在未收到短信之前即被停机。2调整逻辑，开发程序代码小组成员严伟与5月20日设计了优化流程图，将停机与欠费提醒短信环节设置为串行模式并设置了接口机发送通道判断和缓冲机制，实施优化上线。第28页，共40页，2023年，2月20日，星期五渠道类型5月21日5月23日下降比例电信业务不支持503232014240.03%效果检查

程序代码于5月22日晚割接上线，小组成员严伟统计了5月21日和5月23日的下发失败回执记录。实施有效不存在因提前停机而导致的失败记录第29页，共40页，2023年，2月20日，星期五15月19日小组成员刘甦晓统计列出所有短信长度大于4条的欠费低额提醒短信模板对策实施三：调整短信模板长度SMS_CODE功能100011110018ABM|低余额提醒|25元|银行绑定B类|授信余额小于037000043ABM|低余额提醒|30元|银行营销37000001ABM|定期提醒|后付费|欠费停提醒短信（第一批）（全部）37100001转账单预付费用户100011099002ABM|低余额提醒|5元|银行绑定B类20000080ABM|低余额提醒|15元|银行绑定B类|授信余额小于037000018ABM|定期提醒|后付费|欠费停提醒短信（停机前）37000041ABM|定期提醒|预付费|27日|最后一天|余额大于0|银行绑定B类37100003ABM|低余额提醒|新入网|低额提醒|普通37200005用户停机后复机提醒37000022ABM|定期提醒|预付费|27日|最后一天|余额大于020000082营业厅发送-宽带业务停机100011110016ABM|定期提醒|预付费|27日|最后一天|余额大于0|银行绑定A类20000057ABM|低余额提醒|免催免停低额提醒20000101新入网额度关联监控号码2小组成员列出每一种超长欠费提醒短信模板对应的短信长度，对短信文字内容进行精简SMS_CODE功能修改后短信内容100011110018ABM|低余额提醒|25元|银行绑定B类|授信余额小于0上海移动提醒服务:亲爱的客户，您的当前余额为%元，复机后，将立即扣除您本月月租费%元。因此您复机后的余额为%元，为避免余额不足造成欠费停机，请关注您的余额并及时充值，以免影响您的正常通信，谢谢。37000001ABM|低余额提醒|30元|银行营销上海移动提醒服务：至<5003>年<5004>月<5005>日<5006>时,您余额已少于30元,为<5002>,请及时充值。10086现已开通自助充值服务！您可通过拨打10086，选择2号键手机充值进行办理。………….第30页，共40页，2023年，2月20日，星期五SMS_CODE功能参数措施100011110018ABM|低余额提醒|25元|银行绑定B类|授信余额小于0产品生失效时间简化37000043ABM|低余额提醒|30元|银行营销产品生失效时间简化37000001ABM|定期提醒|后付费|欠费停提醒短信（第一批）（全部）提醒触发时间模糊化37100001转账单预付费用户用户套餐类型合并缩减100011099002ABM|低余额提醒|5元|银行绑定B类用户订购详情去除……………………SMS_CODE功能短信原始模板长度优化后短信模板长度100011110018ABM|低余额提醒|25元|银行绑定B类|授信余额小于08337000043ABM|低余额提醒|30元|银行营销8337000001ABM|定期提醒|后付费|欠费停提醒短信（第一批）（全部）8437100001转账单预付费用户72100011099002ABM|低余额提醒|5元|银行绑定B类73……………………3确定合并短信模板，调整拼接方法对策实施三：调整短信模板长度4优化前后各提醒短信文字条数对比5小组成员于5月18日安排短信模板上线

将指令模板修改并计入至短信数据库中，并重新修改了信控和短信模板拼接代码的逻辑。第31页，共40页，2023年，2月20日，星期五效果检查小组成员从6月份的欠费低额提醒短信中随机抽取了5万条短信发送时长记录，并制成了直方图。1数据分布情况显著好转实施有效第32页，共40页，2023年，2月20日，星期五对策实施四：优化欠费提醒下发流程

优化过程涉及步骤包括下发通道拆分、短信绿色通道建设、自平衡算法设计及接口进程扩容

小组成员通过箭条图对整个优化工作进行了时间评估，依此合理安排优化工作第33页，共40页，2023年，2月20日，星期五1对策实施四：优化欠费提醒下发流程23短信冲击预案设定下发通道拆分监控图自平衡算法设计下发通道拆分、增加接口进程绿色通道建设4

小组成员裴力于5月8日-5月13日期间仿照充值系统的负载均衡算法进行改写，并结合目前短信系统实际的发送流速和执行策略进行优化。

为了避免欠费低额提醒短信与交互式短信互占通道，形成抢占联合开发人员对现有的接口机实例进行扩容，将原本1个通道拆分成2各通道。

为了应对突发性大批量的短信冲击，小组成员设置了欠费短信备用流程和短信绿色通道，当系统能力无法满足下发需求的情况下，通过备用流程或绿色通道提升欠费短信优先级提高处理效率。

为了应对短信冲击和月初批量信控引发的欠费提醒短信不受影响，小组绘制了PDPC图，针对各种冲击制定了应急预案。第34页，共40页，2023年，2月20日，星期五效果检查小组成员随机选取了6.2-6.18不同时段的欠费提醒短信流速共25组，选用“平均值-极差”控制图对欠费低额提醒短信下发流量进行校验。1X1X2X3X4X5∑XXBARR2612202362192541191238.1422632382672542581280256.0292482602142642381224244.8492432212652652651258251.6452202472632582701257251.5502242142472272431155231.0332422252302432651205241.1402182212212532411153230.5352572692622512281267253.4412162432452692541227245.4542222642342652581242248.4432512272192202251142228.4322352222592272271170234.0372452582292232611216243.2392572402202462171181236.1402202562252582271187237.4382182662462252571212242.4482582572632172411237247.4462552162272702321200240.0542482502172582481221244.2412372632222542391215243.1412392252382362331170234.1142312262302332381158231.7122432662512252321217243.4412672572702192381251250.150累计6047.2995平均▁▁▔x=241.89R=39.80实施有效第35页，共40页，2023年，2月20日，星期五统计周期活动前活动中活动后201501201502201503201504201505201506201507201508201509提醒短信发送总数（次）422394133545429841359205426535874135558640525275394798553977970238438779失败总数（次）40803273190887402425135530442146355330562314302314541311206成功率90.34%91.00%90.27%91.67%94.81%99.18%99.20%99.21%99.19%全面分析检验1效果一达到了提高提醒短信发送成功率的预计目标成功率活动前活动中活动后确认标准：≥98%第36页，共40页，2023年，2月20日，星期五2效果二低额欠费类提醒发送失败占比从93.51％降低至21.91％。序号项

目频数（条）百分比（％）累计百分比（%）