业务流均衡策略的研究和实践

知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 中国移动通信业务服务创新 奖励申报书 项目名称：业务量均衡策略的研究和实践 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 一、项目基本情况 项目 名称 中文 业务流均衡策略的研究和实践 英文 主要完成人 主要完成单位 主 题 词 任务来源 项目起止时间 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 二、项目简介 (不超过 800个汉字 ) 随着中国移动业务和用户数的快速发展，业务支撑系统工单量也在快速增长。 为了解决业务快速发展、用户数和业务量不断增加，业务 流不均衡所带来的月末月初业务高峰对业务支撑系统造成的巨大压力，浙江公司信息技术部从 2006 年底到 2007 年上半年对业务发展现状、月末月初业务量、用户行为、系统实现流程等方面进行了深入细致的分析，找出了产生问题的主要原因：批量作业，并针对性的采取了一系列的优化举措。 具体的优化举措主要包括： 预缴返充优化消除月初帐务（充值）高峰， 包月费补足优化消除月末营业停机高峰， SP批扣优化消除月末营业停机高峰， 后台批量作业错峰调度缓解系统压力。 这些优化的措施在 2007 年上半年分别进行实施并投入运行，取得了非常好的 效果。 通过实施一系列的优化机制，建立批量作业集中调度控制机制和管理平台，基本削平了主要的月末月初业务高峰，大大减少了用户投诉，使得原来月末的客服系统来话高峰也被基本削平，真正实现了业务流均衡，保证了系统的稳定运行。 业务流不均衡、月末月初的业务高峰，以及因此带来的系统压力和客户投诉，是每个省公司已经存在或即将面临的普遍问题，本项目通过从业务入手、对批量作业进行优化改造的方法，有效解决了业务高峰的问题，实现了业务量均衡，因此应用性较强，具有较好的推广价值。因此本项目 在集团公司业务通报 19 期 2007 年 6 月中 国移动业务支撑网业务运营质量考核情况通报 中通报各省交流，并且获得了 2007 年集团公司业务支撑系统部组织评选的最佳业务流均衡奖。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 三、项目详细内容 1、 立项背景（不超过 800 个汉字） 随着中国移动业务和用户数的快速发展，业务支撑系统工单量也在快速增长， 分析 2004年 1月以来的业务工单，发现： （ 1）主要业务量逐月快速增长，如营业工单从 2004年初的 1700万增长到目前的 6800万。 （ 2）工单增长速度快于用户数增长，户均工单呈现增长趋势，从 2004 年初 1张 /用户月增长到目前的 2张。 分析 2006年 1-12 月每月业务工单工单的时间分布情况，发现： （ 1）营业工单平均 160 万笔 /日，而月末为平均的 2 倍，在每月的 6 日、 15 日有局部的业务小高峰； （ 2）月初各类帐务充值工单是平时的 4-5倍，在每月上旬均为帐务工单的业务忙时； 月末月初的业务高峰对系统造成了巨大的峰值压力，带来的主要问题如下： （ 1）系统压力大，故障增多 营业和帐务共用一个数据库，月末营业高峰和月初帐务高峰相互叠加，常常引发营业数据库 CPU 负荷达到 100%。因此在月末月初的业务高峰期间，系统压力非常大，导致系统处于不稳定状态，极易诱发系统故障。 （ 2）用户投诉多，客服来话量大 11 月预缴返充的投诉达 900 多个。月底月初用户因月末大批量停机后引发大批量的咨询、充值、复机，造成客服来话高峰，如 11 月 30 日达到人工来话的历史峰值，达 86.99万，接通率仅为 65.67%。 为了解决业务不均衡、月末月初业务高峰带来的各种问题，我们投入了大量的人力物力，进行系统扩容、加大维护人员的投入、不断进行程序优化等，但这些措施都无法从根本上避免问题的发生，因此效果也不是很理想。 在这种情况下，我们扩大思路，对业务流分布特性、业务和用户行为、系统实现流程进行深入地分析，创新性地 通过 从业务入手、对批量作业进行优化改造的方法，有效解决了业务高峰的问题，实现了业务流均衡。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 2、详细业务服务内容（不超过 1000 个汉字） 通过对业务流分布特性、业务和用户行为、系统实现流程进行深入地分析，我们发现：引发月末月初业务量高峰的主要是在月末月初特定时间段执行的批量作业引发的，特别是与费用相关的批量作业会造成连锁反应。因此化解月末月初业务高峰，解决业务高峰带来的问题，主要思路在于：优化批量作业，均衡月末月初业务量。具体的优化举措如下： （ 1）预缴返充优化 2006 年为了 “粘住 ”客户，大量发展预缴 返充业务，各分公司返充时间基本确定在每月月初，随着预缴返充业务量的快速膨胀，月初帐务高峰异常突出，造成系统压力很大，且返充不及时造成大量用户投诉。 考虑到大量的预缴返充业务集中在月初，为将月初的业务峰值比较均匀地调整到月中，我们采用了按照手机号码尾号返充的方案，将返充时间均匀分摊到月中，（号码尾数为 0 的用户在每月 7-8 日，尾数为 9 的用户在 25-26 日返充）。 （ 2）包月费日扣补足优化 根据原来的业务规则，用户月费在平时按日扣除，但用户在停机等情况下，扣不到或不扣月费，到月底一次性补足该用户当月应扣 月费。包月费补足导致用户在月末最后一天 “突然 ”被扣一笔费用，导致用户咨询和投诉量大增，用户停机量大增，用户批量被停机后，引发批量充值和批量复机，引发其他子系统业务高峰，造成营业数据库各类峰值叠加。 如何把月末最后一天集中补扣的费用分散到平时，同时对用户层面的影响要降低到最小。经过多次的讨论和分析，我们制定了优化方案：改包月费在月末最后一天补足为在复机状态下补足，分散月末停机工单过度集中的压力。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 （ 3） SP包月费批扣优化 为了加深用户的感知，减少投诉和咨询，设定了固定的 SP 包月费扣费时段。原来业务规定： SP包月费集中在每月 15日和月末最后一天 15:00开始集中扣费。在 2006 年 SP 月费主要集中在月末最后一天下午集中批扣，产生批量停机工单和大量客户咨询。 考虑到最小的用户层面感知和减少宣传压力，采取了缓解月末最后一天压力的做法，优化方案是：扩充月末 SP 扣月费的窗口期，分散月末集中停机压力。该优化方案：成功缓解月末 SP 包月费扣款造成的系统峰值；用户层面和业务影响最小，对外宣传改为 “SP 扣月费在 15日和月末两日”。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 （ 4） 批量作业集中调度和优化 业务支撑后台存在大量的批量作业，由于这些作业在后台运行，前台 无法控制且不容易掌握众多批量作业的执行情况，而这些后台批量作业的执行往往是在短时间内完成大批量的业务操作，影响大批量的用户，且消耗大量的系统性能。为了有效集中管理批量作业，实现动态（错时、错峰、错业务量）的调度，我们引入了作业调度管理服务器，主动管理和调度批量作业。 作业调度管理服务器的主要功能包括三大块： 系统管理：包括代理维护、用户字典、报警维护、用户管理、登陆日志、操作日志、密码策略维护和用户解锁等功能。 调度维护：包括任务维护、命令维护、脚本维护和数据源维护功能。主要实现针对后台运行的基础数据进行管 理。 调度监控：包括任务监控、报警监控、命令查询、流程查询、报警查询和运行分析功能。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 3、主要业务服务创新点（不超过 800 个汉字） 为了解决业务不均衡、月末月初业务高峰带来的各种问题， 我们扩大思路，对业务流分布特性、业务和用户行为、系统实现流程进行深入地分析，创新性地通过 从业务入手、对批量作业进行优化改造的方法，有效解决了业务高峰的问题，实现了业务流均衡。 主要业务服务创新点包括： （ 1）首次通过将用户行为、业务流分布特性及系统实现流程三者结合起来进行综合分析，发现了引起业务量高峰的根本原因。 通过对业务流分布特性、业务和用户行为、系统实现流程进行深入地分析，我们发现：引发月末月初业务量高峰的主要是在月末月初特定时间段执行的批量作业引发的， （ 2）采用三大分流策略，有效均衡月末月初业务高峰。 考虑到大量的预缴返充业务集中在月初，为将月初的业务峰值比较均匀地调整到月中，我们采用了按照手机号码尾号返充的机制，将返充时间均匀分摊到月中，（号码尾数为 0 的用户在每月 7-8 日，尾数为 9 的用户在 25-26 日返充）。 如何把月末最后一天包月费日扣集中补扣的业务分散到平时，同时对用户层面的影响要降低到最小。我 们实现了包月费日扣分散补足的机制：改包月费在月末最后一天补足为在复机状态下补足，分散月末停机工单过度集中的压力。 考虑到对用户层面的感知影响减少到最小和减轻宣传压力，同时缓解月末最后一天集中扣款给系统带来的业务高峰和系统压力，我们采取了扩充月末 SP 包月费扣款窗口期的方案，有效分散了月末集中扣款引发的停机充值等业务高峰和压力。 （ 3） 建立批量作业集中调度管理平台，实现批量业务的错时错峰调度 为了有效集中管理批量作业，实现动态（错时、错峰、错业务量）的调度，我们建立了批量作业集中调度管理平台，主动管理和调度批量 作业。通过合理的调度和控制，有效分流了批量业务带来的业务高峰，解决了批量作业对前台业务和用户的影响。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 4、应用情况（不超过 800 个汉字） （ 1）在 2006年底、 2007年初对预缴返充批量作业进行了方案讨论和系统优化改造，并于 2007年 1月份实施了按手机尾号进行预缴返充的方案。方案实施后，月初帐务工单峰值从 4-5倍下降到 1.5倍，业务最高峰从 500万笔 /天下降到 300万笔以内，系统处理能力从2000万笔 /月提高到 4000万笔 /月以上。 图： 06 年 12 月和 07 年预缴返充业务量日分布比较 （ 2）在 2007 年初对包月费补足 进行了方案讨论和系统优化改造，并于 07 年 3 月份实施了改包月费日扣在月末最后一天补足为在复机后补足的方案。方案实施后，月末最后一天的停机业务量从 300万下降到 180万一下，高峰比值从 3倍下降到 1.2倍，分散了月末停机工单过度集中的压力。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 （ 3）在 2007年初对 SP包月费批扣作业进行了方案讨论 和系统优化改造，并于 2007年5月实施了扩充月末 SP扣月费的窗口期、改 SP包月费在月末最后一天批扣为月中和月末最后两天批扣。优化方案实施后，每月 15日和月末最后两天的扣费量和扣费金额比较平均。 5月份 SP包月费扣费方式调整后，原来 4月底因 SP包月费集中扣费产生 120万的停机工单峰值，在 5月份成功被削平。 （ 4）在 2007年 3 月份建立了批量作业集中调度平台，并于 4 6 月对主要的批量作业进行性能优化和 错时错峰错业务量的优化调整。优化后，大大提高了批量作业的执行下率，缩短了执行时间，减轻了系统压力。 a. 通过欠费外包数据生成作业的优化和调度，全省由 4月份的 3天缩短到 5月份 5个小时内完成。 b. 通过对帐单确认作业的的优化和调度，全省 5月份帐单确认时间控制在 30分钟以内（原需要 5个小时）。 c. 通过对号码回收作业的 优化和调度，使得作业效率提高了 15以上。 经过一系列的批量作业优化， 基本削平主要的月末月初业务高峰，减少客户的投诉和缓解了客服中心的话务压力，各主要系统运行平稳，没有高峰，实现业务流均衡。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 5、经济效益（单位：人民币万元） 项目总投资额 896 回收期（年） 0.2 栏目 年份 新增利润 新增税收 创收外汇（美元） 节支总额 降低系统退服时间 4311 节约人力成本 160 各栏目的计算依据： 从项目实施的效果看，有效降低了系统退服时间，并且节 约了人力成本。从这两方面估算经济效益如下： 1、 降低系统退服时间 项目实施前三个月，系统平均退服时间为 8.63 小时 /月，项目实施后，近三个月的系统平均退服时间为 3.64 小时 /月，约降低 4.99小时 /月。 按国际评估公司估算的电信运营商每小时退服 72万的经济损失计算，降低系统退服时间带来的节支额 =4.99 12 72=4311.36万 /年。 2、 节约人力成本 项目实施前，配备的维护人员数量为 12人，项目实施后，由于处理效率的提高，仅配备8个维护人员就可以达到服务水平的要求，计节约人力 4人。 按人力资源部提供的每人 40万 /年的成本估算，节约人力成本带来的节支额 =40*4=160万/年。 项目总投资 896万，以每年 4471万的节支总额计算，回收年限为 896/4471=0.2，即 2.4个月即可回收全部投资成本。 知识水坝（豆丁网 pologoogle）为您倾 心整理（下载后双击删除） 百度一下 知识水坝 6、社会效益 移动通信已经成为广大用户商务沟通和生活交流的必要手段，业务支撑网的稳定可靠直接影响着用户的通话质量和计费的准确性。通过解决业务流不均衡、业务高峰造成的业务支撑系统不稳定性，可以有效减少了业务支撑网的退服时间，减少了对用户投诉的处理时间，从