腾讯游戏产品运营事故

腾讯大讲堂第五十一期研发管理部大讲堂主页：http:///class与讲师互动：http:///group/classWalker游戏产品运营事故案例介绍讲述事故背后的故事，从案例了解网游运营目录凯旋游戏产品MiniBoss活动事故白装备事故QQ堂游戏产品欢乐幸运星活动事故QQ幻想游戏产品售卖系统道具复制游戏事故“绛紫宝箱”道具复制事故QQMiniGame平台DirServer雪崩腾讯游戏发布轨迹2004年2005年2006年2003年2007年2008年2009年从2003年到2008年，腾讯游戏的发展已经走过了5年多的历程。2003-08QQ游戏大厅发布凯旋公测《凯旋》产品

《凯旋》是腾讯代理IMAZIC的一款3D大型网游，也是我们试水网络游戏市场的第一款产品。为此腾讯在上海专门组建了网络游戏事业部来负责该产品的运营工作，该游戏从2003年8月1日正式公测上市。《凯旋》产品《凯旋》在当时是一款非常高端的产品，3D画面效果优秀出色，采用了无缝地图技术，真实装备Avatar，任务链设计，宠物系统等等，设计理念新颖，市场影响力大。网游运营事业部组织图部门总经理市场部策划部客服部技术部海外部渠道部市场策划组网站设计组翻译测试策略

网络游戏事业部的组织架构图

《凯旋》公测之后，为了迎接十一长假，策划希望策划一些线上活动，继续冲高在线，MiniBoss活动就此出炉。《凯旋》产品Mi鸟ni仅B灯os半s事故蒜记录由策恼划部岛提出伪希望财在国得庆节呀期间公开展统一个间在线身活动垒，营伍造游骗戏中甩的节炊日气盈氛，盼并提辅高节及日期气间在难线；活动懒策划粒案需揉求转执交韩伪方后篮，韩驱方回阵复他绝们正鉴好新漏开发苏了一箱个类愉似的找活动管包，残可供浇我们肉使用会；这个半活动妈包的黄内容简主要计是将游停戏内督地底幼深处遭的超闹级BO监SS缩小羊后随巴机放遵到地便面刷阔出，门供普扇通玩尖家挑盆战，英并且誉还有冈机会荒获得腹珍贵锅宝石；策划块部门滚同意雨采用继该活雁动包喝，作奴为国擦庆期译间节识日活滔动的危一部生份，井并相钩应准屡备了当相关请的网状站宣票传内分容；活动龄包由甜韩方剥提供啦给海绞外部唐，同则时策贵划部化之前华提供兆了测冷试需压求给尊海外茄部，海外摆部测劈燕试后狠认为自符合耍需求，因它此交衰给了贝技术彩部，知然后详技术鬼部安调排了稿自动缎更新摆的脚拖本，雄在10月1日凌蝇晨自殿动启荣动。Mi农ni孙B否os霉s事故扫记录10呢.1期间见，部具门放中假，伪活动训自动武执行咐，结酱果因润为一些斑细节林设计牺问题牙和宝轿石产燃出几佛率过禽高，导予致活敬动期谢间珍曲贵宝徐石大享量产腔出，冬玩家燃采用鼠自动振化方耗法大津量获岔取珍童贵宝顺石后判对整琴个经截济系饰统产千生巨畜大影言响；流通宜道具须的大盟量产侵生导柜致了生一系固列问旧题，测游戏请体验庄被迅篮速透红支，耕流失言玩家猛数量净惊人掌；假期遣结束啦后，戏整个搬游戏裳在线稀由4W多下奇跌到饮不足2W，游矿戏内品经济拼崩溃姐，物爹价异犁常变险动，扇大量童忠实福玩家植离开谈，流域失玩踏家数队量巨漏大。献因此事故赶时间直太久绣，无拼法回拍档，巴官方奇已经蚁没有碑任何等办法萝消除漆事故攀影响露；经此哗打击纸之后扎，凯标旋的近游戏罚在线鼓一直督未能您得到什恢复牧，之躲后再潜未突棉破过4W水平倍，在蛾线持车续下杏跌至巷目前港水平风。《凯旋》产品部门总经理市场部策划部客服部技术部海外部市场策划组网站设计组翻译测试策略韩方IM能AZ蝴IC《凯旋》产品在Mi经ni田B伪os怒s事件姐中，伞错误船究竟愈发生条在哪服里呢惧？似乎纹每个繁部门扯都有这错，铅但是礼每个羡部门某却又果没有旦能力堤去发凤现和细制止劣错误验，似费乎大绕家一投起努甲力的盾结果足就是录朝错良误的开方向租越跑享越远悔；在错踪蝶误产朴生之站后，挎却很潮难找猜到责欺任人怎，甚荒至没旧有一尼个直炊接责塘任人止出现记。事裂故之是后，约团队薪没有狂收获屿任何必经验例教训避，只尿能继蠢续这闻样运形转。《凯旋》产品白装莲备事忌件记膜录20好04年1月15日凯挑旋发将布一追个新圆的版证本的注时候叼出现谷的一傲个BU谨G，导致供部分戒玩家同背包闷中的夺带属碍性的像绿色增蓝色奔等高踏级装磁备变失成没木有属柜性的勾白色底装备，同饲时还平出现捏部分训玩家奶角色葛消失播问题咸；在我尚方测惨试时埋，未逮及时姑发现伙此问宏题。升更新猎后，宰开始懒陆续誓接到寺玩家删投诉透，技烦术部琴检查秀后确毅认是隔游戏BU酸G造成翼，于偷是通生过商晋务部单向韩茂方提降出紧道急修忆复的却需求席，同霜时开拘始逐碰个手缠工处骆理玩饺家投速诉；当天记下午私的时良候，及玩家肤投诉糊量达斯到40帝0单，松技术箱部门芹开始棋通宵辫处理鼻，到次日故凌晨为投诉岗量已及经上饮升到15贫00单，手柿工处秧理已酸经无趋法承顾担。拼这时慎候因坡为北萝京的佩展会叮缘故书，相熟关领姓导均疮不在柄公司贩，一述直无视人拍摊板最片终处吴理方也案，懂只能区继续孕手工沃处理妄。白装礼备事执件记只录等到妥下午吩，韩朋方发睁来一灰个统匹计工昆具，面用于毯统计地受损订的账案户数户量；经过璃统计述后发龟现受畜影响佩账号惨竟然涌在10万以赚上，唤于是逐又经长过漫航长讨穷论，最终适决定蹈回档。此时租距离跟发现委问题悠已经插过了30多个么小时驴，需妻回档饭时间严近2天，旨受影谣响活规跃玩款家几暮十万踏人；回档升过程秋中，慎再次厉发现逼数据呀异常脂，无白法启昌动服肠务器件，游唱戏停匆机时从间一杀再延耀长，莫在18个多秒小时纳后才优恢复尸了服洪务；经此夫打击痛，更辣多的袖活跃堤玩家碧离开筛了凯校旋，稠游戏杆在线垒下跌真到1万余勤。对于自回档楚游戏铃数据肿，团笨队既盯没有疲成熟芒的运敲营处筹理预帜案，点也没点有进箱行过下任何坊演练涂，迟蔑钝的薯反应铅和生阁硬的古处理纯手法巩显现抽出了趴运营姻团队青的稚孙嫩。《凯旋》产品在白蔽装备荒事件累中，锄我们酱得到怨了哪屯些教懂训呢搬？对于身网游故产品护，测烦试部爆门是成一定音需要慎专业推重点体建设剥的；对于酷紧急牌事故牲必须趁有完亮备的浆处理章预案赤和责动任人绕制度耗；对于所重大债的备骄份恢惕复操绣作，旦平时粉要经打常演罢习熟给悉；对于桌风险面评估聪和具梳体应保对，州我们都还需糖要更奇多的火经验请；对于伞用户教管理牵和运乞营维处护方缘瑞面的象经验奴缺乏萄，舆萄论导弓向控渠制不破力，拦用户催反馈预收集装缓慢枯，信脉息不流全，秤用户驰体验录很差桑；最重逼要的呢是，身我们充需要默一个离符合蚀网游宿产品腰运营挨特点劲的团阔队管壁理结棋构。只有仿合理攻的将误一个俭整体印任务也的结爱果责猛任赋场予某石人，盏才能傻让其迁拥有闯与这丑个责猎任对搜等的菌权力习来制榜约和残控制砌整个库事情庭。经验友必须霜是沉包积在漠每个梅人身姻上，脾而不猜是整愈个团葬队，启富有亦经验锈的的缘瑞产品旦经理址是一役个团汁队的刻重要零财富涉。现在延的运忌营团童队工汪作模扑型一个湖运营治团队激的三简层工闪作模祸型客服市场运维渠道网站研发用户……现在加的运林营团尊队工墓作模得型涉及来的资艘源关姨系策划客服运维市场网站渠道信息商务品牌用户外包程序美术公关法务广告战略安全其他锡内部克团队运营凳团队项目若组现在宣的运仓营团会队内茄部工峡作模佩型运营泽项目A运营两项目B运营给项目C《凯旋》产品堵后续《凯旋》之后贡，公则司在果很长孝时间冷一直探没有姿再代晨理海驴外的假游戏雄产品罚；QQ芽G绵am统e的崛荡起让伤公司弦决策幕方面合决定温加强订自研饺网游妇产品妻的投气入，赌上海辜团队撤主要摊力量赞被拆守散，语大部牌分骨镜干人连员流做失，泻腾讯期在大马型网计游市寨场的复第一牧步就研摔了薄一个骑不小均的跟铸头；自研QQ贺G过am满e产品检获得伐成功售后，舒公司达决定易继续撇研发侦更加铸高端嫁的游弃戏产尖品，义第一阻款AC惭G产品《Q蹈Q堂》2笛00赌4年中状正式皂立项佛了。腾讯稍游戏组发布写轨迹20满04年20穗05年20奇06年20梳03年20隔07年20据08年2003-08QQ游戏大厅发布凯旋公测20押09年2004-12QQ堂公测《Q瘦Q堂》产品《Q郊Q堂》从20蚕04年6月开岔始开保发，12月30日正势式公直测上竿市，20诸05年7月1日发天布正紧式版单本，草游戏辅最高极在线谁一度摄达到22万最退高同汗时在草线，桂注册干用户嘴数多申达数议千万芬玩家棕。《Q骨Q堂》产品QQ堂产叙品第愈一次锄建立粗了产限品运匀营团括队，坏虽然谎才3个产的品人择员，拍但是社已经赚开始厕建立型项目静和产旅品的殖负责坟制。毯同时龟，部篮门也皆逐渐躁开始中尝试脆将技风术主搅导型桃的工亮作模梢式转惑变产舱品运托营主旨导型何的工涉作模愧式；QQ堂如隙果诞极生在诱别的禽公司胳，注飘定将卫成为苦一个蚁没有泼任何誉市场当反应眼就会亦迅速疼失败赠的产量品，半但是茅我们饼的平怕台给深这个印产品后源源扶不断磨的送仗去了档用户雪，让粗产品蛾研发滩运营娱团队雾得以羽生存跪，得玩以学锈习和滨提高第。在厦运营窜了7个月肆后，国产品抄运营僵团队现开始漠逐渐文找到病了感细觉，执终于须开始秃学会幻玉如何田掌控术这个咱产品忆，7月的车正式呆版本盈之后耳，QQ堂慢俯慢发娇力，饥在线搜开始威节节对上升押；产品负团队遭信心逆十足慨，甚甩至开惜始变歼得有咐点急洞功近伯利了《Q介Q堂》产品QQ堂“闲欢乐关幸运胳星”卸抽奖20捕05年8~料9月间激，因旗为互冤娱BU另外排一款拒重量塘级产看品《Q牵Q幻想》的跳苦票，娱互娱湖系统悬的月虚度考为核指勺标遇齐到了搭极大碰的挑热战，详领导当层号锯召各低个产扮品设警法拉煤高收粥入，艳严守KP咽I底线浊；QQ堂产货品当疑时在虫线状宏况发死展良籍好，塘如何梢转换宵成为观收入择的问缠题于构是变漂得更粉加重垂要，县大家累开始巷群策芬群力虾的贡救献点战子，姿力求股帮系侮统更鼻多承抽担一嘱些收并入；在几哭次风丑暴会排议后套，多暮个营果销性绣质项说目开锅始启社动。辩其中捎，有撑一个壶博彩颜类的悼项目贸非常坝被大葛家看还好，尖这个莫项目授叫做QQ堂“侦欢乐太幸运召星”抽奖擦活动新。《Q很Q堂》产品20飞05年9月29日晚8点，被在经抓过研由发测拉试等姥同事随加班肥加点拆的紧尊张开红发之近后，巷“涨欢乐给幸运守星”亚活动技如期军开发醉完毕女，并陈按照帽版本喊计划婚，铲更新肾到了遇外网愈环境完；8点半渣钟，烤运营机团队劳接客苦服报朱告，耍声称凳有两滤名玩息家已源经中勺到一桂千万虹游戏杰币的珍大奖邪。运绢营团废队按房诚照紧循急预乔案召垄集所饲有相爪关人鲜员赶深回公嘱司处杀理；9点多吐，客厌服方绒面再传次汇摸报，亿已经最确认BU屋G存在碗，有现大量群玩家鸡重复歉中奖贼。运子营负已责人如要求谢立即怖关闭遗道具猾售卖补系统滴；10点前狮，运旨维同钩事关顷闭了特道具静售卖距服务植器，铸产品辽，研碑发，找运维陶，测圈试等舱各线塔人员魂赶到宝，马找上召论开了捡事故巡寿分析洗处理辉会议迁，并栏通知匀平台替线方著面同寻事协悲助；11点，赌事故欣原因爱查明芹，得涝到事烘故初脚步损世失统萝计，志参与光得利倦玩家臭第一舍批名输单也繁已经攻获得割，运冈营团固队开变始要硬求各滋方面粗协助婶拦截邀非法凭游戏嗽币。《Q份Q堂》产品事故充过程皇原因在抽争奖活燃动的吴设置研中，忽集齐苦一套屿道具(7块多Q币)，可愿能中周奖10侨00万游柳戏币(相当峡于10修00按Q币)，一宿般情甘况概喷率应观该是哥万分弯之零幸点六驼，但置是策偶划文拔档几惠经修挑改后毫中奖有表格目已经扯出现翻了很残多错愚误。定而策半划评战审，凡运营雄评审藏，程贤序实辱现各班个环洋节中诉居然忧都没扣有发苗现中液奖列首表的雪机率呀加起跳来已速经不罩是10肉0%了；程序幕实现驰后提超交测举试组姑测试镜两轮布，在示测试景中因仍为没朽有使山用大职量QB来进牙行真主实的绑模拟壮测试弓，所止以居臣然没睛有发晚现概岔率方章面存济在异种常；种种掀错误罚累加枣起来广使26市%概率庙的特单等奖桥终于分出现盗在了狗外网躲环境构中；从当镜晚8点多社发布冻活动战到10点之革前关简闭这汤个活亩动,仅一据个多篇小时陷共产蹄生游粮戏币21个亿逝，有70仁0多名草用户槐参与款了刷星取游糠戏币所；由于躬钱的某数量密巨大正，玩密家四雾处转斥移游迅戏币侮。而砍冻结挪账户雕方面湖没有颠预案裹，虽抽然紧事急处设理及姻时，幕但冻刷结不烂彻底筋，扣美款程颠序又涂出问新题等,最终工损失量还是胸构成这了一曲级事哀故；事故疯发生先后对船员工粗和相痕关领棵导都葵受到拔了处达罚。事后浴总结需求波文档馅需要送更仔秘细ch滥ec蜜k，评减审环朴节的来疏漏冈非常肺严重沙；任何啦概率材类设饲计都界需要听设置笑总量吉控制准，设蕉置多骡级阀土门控因制，床不要魔把能盲广泛的流通惑的货共币或桑者道耀具直具接及逐时的聚交到皂玩家逼手上股，不僵要奖糟励；紧急题预案购不够暖完善颠，只鬼考虑洁到产杠品范辫围内川的各例种处哄理方暂案，虏没有窝考虑冬如果则在部懒门或亮者公鱼司级蹈平台竭上出碍现问肌题后不的处摧理措晋施。在处帜理过银程中燥，产跳品人瞧员才都惊奇膨的发质现我搜们原厨来还器有游神戏币甘银行愤这样让的东械西。在要碧求各储个方嗽面协梦助冻去结相漆关账隐户的岁时候夜，各返系统脖才开省始编妙写相肤关的生程序岂进行竞扫描颤和回胜扣，震这其幕中又露发生资新的BU和G，但谁是多捉次扣彼款失跃败，任使损锣失额聋度没叛有能脆得到娱很好酬的控脏制。《Q覆Q堂》产品雪后续“欢乐旺幸运亮星”事件珠之后弦，互千娱停转止了垄所有邻涉及移抽奖Q币，唐游戏隐币的乔活动赠，再最不涉辣及任居何通曲过平维台渠帅道发捏放Q币的跳活动谋，以野避免样风险发；QQ堂团租队也液停止吩了这编种直来接通糠过抽牧奖获桐利的饺营销撑活动铅，开粒始继理续专浙注于确游戏喂内容炊的设雅计和梢付费助挖掘朽；20砍06年2月份绢，QQ堂一瓜系列云游戏捆活动功获得矩成功群，同弹时在迷线达偿到22万高任点，绢收入踩也实怀现了妨连续偏翻番破，QQ堂道热具营膝销方益面经悦验让抵很多惠产品假学习阔得益挨。腾讯诉游戏疾发布兆轨迹20甩04年20津05年20吐06年20横03年20卫07年20更08年2003-08QQ游戏大厅发布凯旋公测20筝09年2005-06QQ宠物发布2005-10QQ幻想公测2004-12QQ堂公测QQ幻想剩产品《Q爷Q幻想》是腾茶讯的愿一款小战略棍级产驴品，祖是互岁娱自得主研挎发了停三年瓜多的抓首款MM系OG产品顶。这亦款产塘品也性是互独娱在议凯旋免项目煌失利缎之后朴，再陈次尝夏试运邪营的MM死OG产品陆。该晶款产去品20亦05年10月25日公丝式测，凤最高滚同时稼在线宵用户缎数一浙度达灭到66万，完是互饮娱重校要的罩收入邻产品朋。QQ幻想饲产品《Q序Q幻想》产品吊是一勤款探还索获赏取经藏验的启产品警，虽鄙然我殊们投未入了构大量澡的人蔽力和惕时间弦在这旦款产生品上牵，但傍是也趋毕竟健暴露亚出了赏我们记的很糟多经命验不鸣足之治处；虽然盲借助北腾讯另平台高的强停大力漂量，《Q塌Q幻想》获得尽了公淹测的弯良好克效果湾，但拜是游索戏设痒计，图运营索理念粉方面驾的一裤些不积足还衰是让禽产品垮在线脖不断曲下挫主。在戚收费准后，贸产品舍在线觉已经叫不足僚公测俊时的骂一半着；在一坛年多柔运营旨过程累中，哪这个貌项目雀也不旱断出染现过拆一些睛不同究程度洪的事串故，秘在线写活动臭的投膀诉率或一直胶居高绸不下访。QQ幻想拾道具受复制裤漏洞墨事故点记录20担06年11月12日下暗午3点，摆客服折方面淋报告玩，在庸游戏往中出裕现一冲个开承店售期卖的BU信G，会姜导致违开店僚商人桨显示夺的物花品列贩表和筝实际维不符栏。有缝玩家主利用馒此漏科洞进殊行欺同诈，贴导致福大量苦用户旬投诉不，已粥经构辩成一叼级突惰发事验故，偶事故丽已经率分派态到三谈线；接报美后，承产品握经理鄙和PM（兼娘服务茫端主范程）全赶到太公司勿处理伞。经袋过分闷析，乖发现恩是因遭为客乖户端BU计G导致净看到彩的要睁买的贸宠物想和实柄际要俱买的旁宠物齐不一容致，枪从而衔被玩富家利廉用进洽行欺躲诈。射产品吓方面仓分析蛇了具裹体过矛程和血投诉佳单据鼠后认异为该烟问题诵比较挎严重罪必须适尽快洒解决愁，因在此打葬电话翠通知汪测试曲组运课维组增，准大备进唇行紧减急更扭新；因为玻客户勾端方涌面人龟员一洲时联野系不膜到，霜因此PM决定候从服坛务端涂解决踏该问界题。PM提出臭两个党临时隆解决差方案桑，一序个是向带宠催物商互品交传易会风直接潜失败周，一洒个是四带宠您物商直品交艰易，委宠物帖商品巷会自机动回横到玩馆家背刘包。茅产品劲方面勤建议撒采用秒后者涛方案球，比傻如不帆容易受引起无玩家茧困惑压。QQ幻想货产品下午5点，钥临时列修改巷完毕存，程既序在咱内网侄更新莲，测计试组旁进行脏了测货试。6点，舅更新沈到外板网一帽台服陷务器与，经捎过一铺个小极时观蛮察感起觉正盆常，7点半喝进行绑了全号服更注新，亩产品电方面丹在官广网和离论坛逐发布亚了暂番停交坟易公捉告；再继驶续观娃察了雀半小丹时无歪异常器，产扫品方拿面和辨客服疾方面户沟通唯之后杨，大务家回莲家吃吩晚饭关。其实刘这时拥一个增严重徐的B贵UG除已经迎被引用入到邻整个蕉游戏笛世界杯中问题股开始闷蔓延一个宁游戏眨道具处复制杰漏洞典实际肥上已逼经被豪部分索玩家聪发现咐，玩鹿家在饮不断须利用津这个BU窃G复制遗道具林的同云时，睁开始兵通过叼各种例途径运传播扁这个惊问题孤：游哨戏内/各种渡论坛/Q贱Q群越来贱越多郑的用辜户开挥始利征用这尘个BU浮G复制否道具发，而科且用披户开辣始意印识到梨大量筐非法站道具乞一定司会被对官方鹿查处殖，因下此开奇始设蔬法用胡各种谣各样烫的方轻式转超移复梢制出控来的协非法雹道具聪。QQ幻想荷道具望复制梅漏洞雅事故脉记录晚上8点多佩，客永服报丸告，即开店察售卖树可能截还是笼存在妹问题栽。程缝序组倾测试皂组赶基回公溪司处煎理，娇分析叛后认束为下足午的嚷修改铺，有违极低假概率叮可能巾导致溉道具酱复制搏，并痛且及脆时修旧改了府这个师问题浅；晚上9点半湾，程胞序方缺面回亚报问窄题已羡经解虹决完徒毕，棚按问旺题出陆现概岔率来瓣看，超带来带影响骡应该防不大参。因社此产锈品方为面就同没有藏将此虚问题脆升级仓到事渡故处古理流橡程进亦行分袍析处渣理；处理厕问题洋最有后价值勉的黄承金时视段就纯这样迁过去奥了QQ幻想尼道具描复制帖漏洞重事故昂记录次日干上午布，产送品方饼面发肤现用展户反播馈意咱见很诵多，蚊问题雹比较蛇严重场，于浇是要耽求程谢序组尘重新趋分析献原因课，要挽求运制维组镰统计放道具宅复制棵问题云的程活度。测试靠组重据现BU但G后发甜现还参有更绞简单沈的重殿现办呀法，余复制吊门槛单很低估。运查维统慨计的欣初步争结果瓣也表套现涉之及复绸制玩咐家多击达千巴名，策于是楚召集费事故梁处理董会议般进行修讨论奶；事故怨处理旱会议久决定公先对斑嫌疑祝最大旁的96抬3个账们号进册行查海封处鹅理，狱以防雀止复夜制道灯具进溜一步般流传我，同辰时开午始进掌行扫归描分猫析；因为练事故厚发生夺已经糖过去10多个撑小时计，复武制物惭品游挨戏内建流向朗已经假非常辩复杂枕，但洪是最剪近的末数据遵备份狱时间境却是便在凌改晨四鸽点，姻在事称故发晋生之锅后，粪再近烤一次蚊的备非份时搬间是男前天角的凌西晨四纷点。零运营晶方面伴陷入托两难仁境地捧，无稠论是梨否回拢档都雾面临才重大追损失偶。QQ幻想虽道具哄复制造漏洞鬼事故拨记录事故鹅处理亭小组押无法还迅速食做出牧回档猎决定叔，于汪是一么方面秤向BU层面唤报告腐，一供方面规决定份采用两保守穴方案夸，扫柴描全煎服务很器数魄据，隆以查扑找并钟冻结苗复制版装备爷；到中与午时姑间，弓数千胁个拥堂有复稼制装部备的畅账号获已经醋被冻之结，冈但是被游戏凑内仍尤然有帅大量显复制蛛道具她仍然鸣还在厦流通讯，整劫个游辰戏的睬物价屈受到稠剧烈慕影响旗，经抖济系稿统陷违入混来乱之闪中；为了旅稳定隶玩家补情绪问，运压营团黄队通竟过官附网发眠布公太告，旗道歉沟并宣排称不须会回钓档处脱理，些官方忠有能兆力收演回非罪法装翅备，久希望椅大家娘给与晕支持滩；到下泊午时特间，包扫描滔数据海的工趣作已亿很难胜取得财成效怖，大厌量无但意购腊买复阶制装杠备被蜘封号剂的玩压家也失开始桶激烈江投诉侦。各久渠道宣的一数线客仍服压待力剧缩慧增，唯大量套人力衬被调吧派来坏协助城处理鞠，数伞以千婶计的征投诉傅单据雹给产骄品方攀面增匪加了颤巨大全压力杜；在这葬样巨拳大的托压力隶下，斥运营叹组决炭定先座停止步服务克器，核然后州再决丧定具减体处喊理方层案。11月13日幻肺想玩脆家在柿游戏按内各膨大城营市聚壤集，呀示威苗游行盐，强句烈要鼓求官狼方回景档。QQ幻想备道具怖复制弊漏洞充事故寒记录一边姥是运期营方伙已经壶做出稿的不察回档豪保证米、超离越48小时超的回韵档带凑来的讯损失乘、回慨档全呜部57组服河务大屋区数欢据的浴难度概和风端险、骄回档庭后会硬产生比的各宝种用渠户的糠海量康投诉骂；另一启边是言玩家括越来巷越激跳烈的极抗议延情绪谦、游败戏内法混乱梁的经鞭济系斧统、朝接近续崩溃陕的物走价和宰无数庭根本悄就无殖法处锈理的驾投诉愚；系统栽和部未门领内导都舅参加沟了第饥二轮苗的事霞故处析理讨蛮论会疑议，休会议期到晚幅上1点钟陡做出压决定经，最粘终决给定不株惜一照切损存失和析风险己进行马回档渐；接着侵运维龟组开练始连乘夜准稻备回衫档方忽案，延程序嗽组开限始制摧作各姜种工饮具，坚产品出组开循始准戚备相蹦关公砍告和夏补偿嘴方案毫；那天她深夜眼，回超档的足公告是在经德过了忙无数慈人的沿反复鹊的，锄斟字脸酌句烤的修诉改后扶，最控后终役于在第向玩零家承锁诺公宋布处腥理方有案时脾限的蜘最后爽半小贫时放由到了符官方香网站祖上；早晨8点，衫回档晒成功蚊，服坐务器胞分批叔开始攻重新辩开放售。QQ幻想趋产品QQ幻想蔽道具弊复制花漏洞蚂事故狼记录回档庆公告托告诉肥玩家饺：整个QQ幻想密世界饭全部57组服俱务器痰将在耗此次忽停机助维护剃结束禽之后羊恢复石到11月12日凌撞晨4：00左右劳的状毕态，办所有钟玩家沃的游既戏数另据也凉将全妖部回蹲档到紫同一菠时间依，所刮有玩江家都穴需要婶回档48小时有；我们纤需要蒸补偿幕玩家株大量第的经灶验值祸，道散具，谁金币教，宠填物，巴游戏摩点卡并，玩煎家寄破售卡从等等事；我们疑赠送粒给玩全家两酷天免就费游魂戏，宇两天伟双倍洗经验粒双倍岁掉率嚷等等辉；对于寺用户惧的一烈切概笋率事傻件，轿我们研均无庆法复学原。之后传数千株单的苍各种净投诉献还困与扰了著项目竟组将笋近一递个月符的时仁间，纲此次欺事故危流失郊的玩知家难仅以估旦量，茶直接梯经济防损失惭数百缎万计的。在纹幻想梁游戏净本来字进入棵衰退虫期之欲前，增此次躁事故努无疑烈是起兴到了毒加速蚕产品携老化搜的效乓果。在线己损失收入拉损失南方煮都市劲报11月16日弯刊登锋题为拦“腾讯争付费甜游戏距停摆亩玩家罪讨伐倾如潮”的烂负面安报道会，其史后被乔很多绝媒体百竞相蝴转载惯。舆论呢危机工作乡丰影响事故坐善后旬历经2周，庙打乱辣原定伞的资铁料片凶开发估计划愉；程序汁、策搂划、文测试雨、运克维、首客服排，全土体团壤队成帽员都爽超负毫荷运野转；客服湖一线攀从其慕他各乘个产桐品抽乖调人大力组厉织力起量突楚击消级灭海装量的惭投诉彩单据宪，一漏个多巴月后榴所有击积单歇才基箱本被锈清理也完毕税；事后汇，此楚次事洒故被球确定红为一掠级重吹大运累营事理故，晌相关胃责任抢人都低受到帐了处挂罚。QQ幻想吩产品事故透总结对于麻道具踢复制袜类型捧问题陈不够两敏感蜘，游独戏内含缺乏受自动窗监测仅报警叶机制季，导剪致事译故之障初没助有得冠到足拣够重踩视；事故察分析屠速度宴较慢叔，对献于道棉具复梦制问萝题需牵要进建行长租达数处小时胃的全宁库扫保描才糊能得夹到结六论，局过慢语的分眠析能位力影嫩响了端对事每故的首定性隶和处如理决身策速梨度；游戏静内严娇重缺扁乏防桌止物旅品复钞制的激机制淡，缺绵乏各兆种有涉效的悟安全握开关蜡，缺须乏各脖种不失同的餐运行牺模式促，使浪运营搂决策掘上处信处为扣难；游戏肾数据蜘的备辉份回懒退机且制不马够灵泪活，酸无法粮实现结根据忌账单汪回滚谦，游紧戏数颜据备留份周得期过船长，厌回档以过程拴缺乏虚演练赢，很返多必粘备工库具缺俊乏；游戏西测试苗机制德不够简完善号，紧逝急发吩布流络程存揪在很惕多隐逐患。事故天总结需要倚在游宵戏产早品设墨计之到初就唐考虑墨到未辞来的旱可运叫营性可监刚控性单纯禽通过悦用户临反馈仗来发墨现问歉题并束不足短够迅伞速，证还是爬要系西统本条身对扒于各隶种异娇常现史象有埋自动劝监控圆和报尽警的袍机制煤，比仪如关缎键道田具的土产生币量，攀异常忠交易殿量等井等可管包理性在产汪品开夫发设爱计中寻需要僚加入罚设置监可由折产品帐运营痕人员不进行拢配置惩操作环的开鸡关量怪，如翠允许/禁止龙某类敬物品盗买卖杠的开煌关。誉在游喝戏中竖出现米某些积问题神时，帽可以乐直接林由运急营人撒员通雾过配斤置操乒作来隆解决苏，而薯不需遭通过晴修改惠程序寨来解推决。可恢姑复性在产甘品设那计中市就需夸要考现虑灵打活的剥备份沟机制施，针匆对单控用户评，用静户群绑的部晨分数吉据回片退机妙制，寨单系票统的瘦复原酬机制逐等等QQ幻想口产品赏后续QQ幻想睁游戏没在经君历了醋这次忙波折究之后狂，游湖戏衰仇退速到度明养显加玩快，欢到次垄年3月份钳在线崭人气沿已经切跌破10万，察游戏响产品腥生命刻周期衬临近广。这对之后允，QQ幻想姓还经厨历了暂一次72运7宠物巴捕捉摄系统彼事故纯，幻趋想产雾品正瓦式进缓入快偶速衰青退期牲；项目捡组从07年初疗开始京探索狮免费疾网游晓运营煤模式凝，制毯定了辱幻想减“突芒围”鉴研发禾计划党，利碗用幻跑想已晚有资唯源在3个月污内制症作出鼓一款拍采用玩免费坏运营融模式抛的《Q包Q自由辨幻想》产品治迅速头推出粱；《Q生Q自由连幻想》取得苦了不挥错的孙运营光成绩召，将河流失敏的幻溜想用俯户挽届留了坑回来庆，到08年，QQ自由膨幻想哪重回10万在抱线，跟并创衣造收午入新蓬高。4月3日，QQ自由际幻想花承载描了团舍队的创希望肚，将未正式肃上市版公测尺，以扇期重财续QQ幻想淘的昔追日辉浮煌。QQ幻想岔产品MM汪OG产品阔有其判独特坑的复冻杂性头，在也各种帖复杂逗因素阶的作赞用下失，有绍其无缘瑞法避去免的脏风险板，一邮点点去人为而因素盘就有办可能胸立即畜造成茧重大谋损失球，所购以只汇能让传每位荐运营障人员爬都要村学会表如履授薄冰皆，随世时提镰高警挽惕；我们臭在技亿术上峡也不就断的层加强眨防范年，现盛在的纺游戏瞧安全子机制院已经窃比一硬年前荡要更支加完适善，不各种击安全苏开关轮，自栋动监袍测机柜制，笑防复载制设逮置，毫更快梅的客鹅服反盐馈制笋度，锡玩家柳的预莫警组炼织等煤等能析帮助遵我们辜更早卧更快甲的发窜现问浩题，缎分析尝问题涨，更赠及时连正确疑的作踢出处渡理决古定。但是腐，只蜡要网呈游运粉营一掩天，肆事故液风险浇就会最如影商随行欣，总中会有集各种BU另G逃过架我们监的重为重拦片截，慰随时壶等待驾爆发塔。回顾腐我们置的经良验在管洒理层泛面上合理险的运半营组童织架胆构，自确保姑产品见责任/项目煤责任/设计饰责任/资源罪责任/日常宋工作堆责任巩等等君都明师确到纠人，造工作泡流程冻清晰花条理滴，关身键环陆节多灵人审碑批，豆多人国监督锅；建立蠢完善党的事贵故预竖警/升级/处理瞧机制令，事状先准舱备各傅级事栽故处壶理预屿案，阴指定甘各级脖事故绑召集萍人，保建立滩事故班召集气处理孕会议佛制度质；加强离用户娘管理始，增兴加玩置家层钞面预台警能术力，鼓建立惹多种晚用户妄组织疫，加谎强舆贯论控此制和局引导秆能力乒，加据强危莲机公纷关应纠对能偷力；重视啄测试暗环节烤，保趁证充拜分的六测试脉时间部和规荐范的慢测试侮过程寸，测垄试用效例需予要各办方面它共同翻制定拉，高静风险薄项目日一定觉经过钻充分严的外筛部测肉试。回顾简我们华的经竭验在技哗术层盖面上在产倍品设添计之洞初就际应该题考虑烟产品虏的“可运篮营性”，预秃知未集来可示能的街运营指需求片和风完险，曾在架戚构设语计上惰留有倡足够羽考虑留；完善诊灵活珍的备根份机龟制，糊各种途记录绍完善坚细致悉，各犁种统抓计和斥还原赞类工氏具齐矩备；对于恶重大腹风险脊事故荷需要售定期唉演练套，各果种处够理手仰段机禾制制府定详柔细的欣技术雪预案竹，做落到有姐备无物患。在策羡划层疫面上在任毙何产售品设疾计和坏活动趴设计病的评眨审环盲节加璃入运包营风圆险评谣估部毕分，惯重视涝安全押性设狠计，短共同肾回避汉可能秃发生交的问贤题。自由视幻想“绛紫知宝箱”事故1月10日早纠上8点，《Q程Q自由残幻想》停机朋更新售版本池；10点多文开机登后，阁玩家蚂研究际院玩容家首促先报旧告，斧发现刺连续廉开启警付费因道具违“绛崖紫宝该箱”会产旨生复航制道饥具。喷用户背管理驴客服确初步门验证扫后迅芹速通老知了曲产品馅负责饮人；产品蛾方面怪评估击后认使为应慕按重屑大事枕故处予理，败通知辉运维寇组立略即关吃闭所滩有服辈务器口，同铁时召位集研根发，嫂测试胀，客纸服等谦方面厌参加透的事辈故分驰析处攀理会亭议，炒组成访事故谅处理绍小组捧；10点30分左抚右，永所有挤自由乐幻想司服务华器关严闭，垄运维讲组按铁照预午案开润始使筒用工秋具扫员描全妻区产成生的针复制金道具除，并杜统计钳影响河用户库总量殖，产途品组械发布掠紧急驼停机鱼公告煮，客射服组垄通知科一线驻相应酸口径严话术表，同徐时通区知所硬有玩典家组镇织，尼准备迁舆论煤引导汁方案搂；11点，题程序油方面BU叙G原因剩查明钩，运紫维第亮一次始扫描钥结束无，复贪制道阻具用清户被远定位继，根滴据实崖际情庭况，木事故杯处理串会议盟决定毯采用子不回柴档，问采用己删除衔复制害道具霸的方提案来餐进行鹿处理触；12点，钞程序BU材G修复叉完毕文，启等动紧翼急发辨布流存程，帐测试穿组开牧始进秤行发底布前内测试1点，姓运维灾全服头扫描翠完毕党，所巧有复响制道敬具及械相关繁账号掉被定姐位；2点，清事故午处理奏会议多确定园最终哈处理段方案颗，开俩始删弦除复殃制道拥具，迹还原修对等设交易卫；3点，料新的圾脚本走测试蒙完毕异并完成成更飘新发娇布；4点，娇所有耍用户孙数据胃处理键完毕男，产打品发掘布开帐服公疮告；4点半咏，所疯有服皱务器材恢复善运营碍，产竹品组掏开始晶协助吧处理趴后续呆疑难搁投诉客，外顷部玩酷家舆封论持鬼续监采测。自由子幻想“绛紫耍宝箱”事故充分倦信息展监测恨收集鞭，事怎故分酸级，酱指定曲召集渣协调脂人和恰事故吸处理掠会议雄的机无制保问证了群我们判能在怀最短咽时间伐和获援知问百题，浪并有尝效分涝析，喘快速滴应对协各种较意外再事故跑，随己着经复验累裕积，胞事故钞的处武理速浮度和帖方法蚕也能演得以轨不断利改善客服用户运营测试研发运维运营丧事故惑处理堪会议停机/扫描通报分析/测试分析/解决召集解决开方案事故雄召集杯人信息晨源QQ芝M手in赖i够Ga淡me平台QQ慢M欣in厨i计Ga拢me平台班（QQ游戏剃平台兽）是龙互娱庸最大男的休泉闲游捏戏平厦台，委最高币在线慈已经孤接近45漆0万，酿注册恨用户3亿，脏日活双跃用件户数垦近23织00万，分包含60多款考休闲址游戏纱；QQ游戏涨平台掩是以析休闲岩游戏湾为主序，无害用户当交易本系统秀，道顶具物忌品不狂流通伍，因柳此运糕营事扫故的庭发生次风险匹与大钞型MM隆OG相比善大大钉降低缸；QQ游戏返平台出的运如营事茶故主何要与挑提供岛海量纪用户教服务留产生谷的压蕉力相答关。Di偶r雪崩衬事件给记录纷：1月14日中荐午13：40分，免接到di阵r把co借re陷du乓mp告警论。登王陆发今现大饭部分di背r抄se悦rv虽er已经co托re读du亿mp。简撒单查幼看了姜下发惊现问俩题很伶难定坛位。票同时痛从运历营同谣事侧专了解劲到中铺午12点左想右增阳加了偿目录捧树的涂节点纤，于言是让剖运营虚同事婚回退所配置耳文件吉，然奋后拉省起所腰有co赌re掉的di弦r服务慌器。大约蹈在2：30左右记所有情服务狸器被产拉起顷，由苹于大蛇量用泉户不粉断登栋陆，霞使得武网卡连流量捆到达臭极限仓。查饼看di祥r日志狭发现翅工作亲是正午常的讲。但股是用庙户就习是无磨法登出陆。3：00查看di钓r的负树载正素常，魔每分粮钟处书理7万个