用户体验监控实现IT服务的管理创新--oracle

用户体验监控管理 助力中国移动 NG CRM系统 实现 IT服务的管理创新 (Services Behind Services Behind Services) 冯葵 Kevin Feng 大中国区 产品战略部 解决方案总监 2010年 6月 10日 /webmoney 议程 NG用户体验的重要意义 客户体验管理的目标和主要技术手段 RUEI的技术特点 案例分析 总结 问与答 /webmoney 客户体验的经济趋势 1. 大众化产品服务的同质化，使得市场 竞争门槛 再次提升。 2. 用户对产品服务的认同，是 客户体验 的过程所决定的。 3. 体验成为了竞争 差异化 的终极武器。这种新的经济模式，叫做体验经济。 4. 客户互动的过程决定成败，不再单纯是产品功能。 5. 以 IT为主要支撑的业务 服务的 客户体验管理是 重点 /webmoney 常见 IT系统的用户体验和满意度问题 /webmoney 原有 IT管理技术并不有效 6%14%28%23%24%52%60%85%其它数据丢失了页面被关闭不进入新的页面应用导航困难应用死掉或不可用收到错误信息响应时间慢怎样知道问题的发生 ? IT用户遭遇的主要困难 ? 满意度达到不了用户的期望 但往往我们并不能及时知道 源自 : 压力下的性能（ Performance Under Pressure）， 2009 OAUG ResearchLine Survey 5%32%36%50%80%4%22%24%50%72%10%16%17%25%71%其它管理团队告警服务水平管理告警维护管理告警客户或用户告警/webmoney IT系统的客户服务现实 74% 的问题是由用户通过呼叫中心的客服报告的，而非系统管理工具 系统产生错误报告 用户通过客服投诉 平均 6个客服电话至少有一次需要确定问题根源 典型的 SLA: 95%的 L1 （一级服务问题响应）需要在 2小时解决 /webmoney 什么原因导致的呢？ IT服务管理 资源管理 : 应用 数据库 中间件 服务器 存储 网络 安全 系统监控 值守 供电 机房管理 制度流程 人员培训 . SLA服务水平管理 = 用户体验管理 + IT服务管理 用户体验管理 满意度管理： 功能 性能 可用性 问题响应 问题解决 体验改善 . ? 争执区 /webmoney 营业厅 客服人员 生产监控 开发测试 IT规划 项目管理 业务用户 IT运维 业务支撑 ? 当用户抱怨系统慢的时候，我们后端监控往往无法体现，监控显示系统资源并没有满负荷。 当系统出现问题，我们能否 快速定位问题 ，并解决问题？ 用户投诉中约有 75%的场景无法复现，因而无从解决。 遇到什么问题？ 如何触发的问题？ 以前是否遇到过类似问题？ 为什么别人没有问题？ 如何建立有效的管理视图？ 怎样才能快速定位问题？ 如何能改变问题解决的被动局面？ 如何提高用户满意度？ 如何能改善客户体验？ 难以理清的 IT服务责任界面？ /webmoney 为什么 IT用户体验是系统运行好坏的 KPI？ 客户体验管理 CEM Customer Experience Mgmt 谁来自哪里？谁关心什么？都做了哪些动作？ 他们是如何与产品、价格、服务和品牌互动的？哪些是热点或冷点？ 体验到什么挫折（ ie. 困难或错误）？ 交易漏斗管理与业务 流程如何优化？访客 满意度趋势？ 哪些业务造成系统瓶颈 ? 促销计划过程评估？ 完整的 IT业务管理 = 业务应用 + CEM 满 意 度 过 程 分 析 售 前 客户关系管理 CRM Customer Relationship Mgmt 什么人在购买什么？谁是高价值客户？客户忠诚度如何？ 还应该购买什么 ? 哪些产品较受欢迎？ 哪些是活跃客户？促销计划结果评估？ 忠 诚 度 售 后 结 果 分 析 服务功能 服务体验 /webmoney 为什么 IT用户体验管理难度大？ Services Cloud ERP 其它 CRM 中间件 业务伙伴 或联盟 虚拟机 存储器 服务器 数据库 Web Portal NG CRM WSS Apps1 Apps2 Business Services and Activities 数据中心 Business Transaction Other Services 1. NG系统层次架构复杂 2. J2EE应用问题诊断困难 3. 客户端环境难于监控 4. 应用开发商管理困难 5. 传统 CEM技术存在不安全因素 /webmoney 议程 NG用户体验的重要意义 客户体验管理的目标和主要技术手段 RUEI的技术特点 案例分析 总结 问与答 /webmoney 管理不是从“管理”开始的 人们永远管理不了不可衡量的事情。 Peter Drucker, 管理学大师 /webmoney 建立 衡量用户体验的标准 。 通过行业特定领域里广泛认同的最佳实践，制定一系列用户体验有关的 KPI维度 ，主要包括 效率、效益和整体满意度 和 服务质量预期 的对比，来评估 web系统性能。 用户体验监控应提供 web系统的综合 满意度快照 ，帮助实时了解系统服务所处的 用户满意度水平 。 用户体验管理做什么？ /webmoney 哪些是用户体验管理的基本维度？ 谁 Who 如何 How 什么 What 哪里 Where 何时 When 完整的会话 sessions？ IP地址？ 用户名？所属群组？或匿名？ 哪些是最不满意的用户？ 哪些是最勤奋的用户？ 哪些人关闭窗口？ 哪些人违规 (IP、时间 )？ 满意度问题通知谁？ 如何快速准确定位错误？ 如何知道哪些用户受到不良影响？ 如何提升访客转换率？ 如何改善优化业务效率？ 如何优化应用减少 bug？ 访问什么业务？调用什么服务或页面？ 什么服务访问最多？ 什么服务 /页面最慢？资源开销最大？ 系统发生了什么错误？因为什么触发错误？错误提示给用户什么？ 用户使用的设备 /版本？ 人工与系统时间开销多少？ 用户主要来自哪里？ 哪里导致满意度问题？ 用户在哪里离开业务？ 哪里出错 (网络、服务器 )？ 哪些地方流量大？ 哪些地方用户多？ 不同时间尺度的访问曲线？ 什么时间出的错误？ 什么时间做的动作？ 历史完整回溯？ /webmoney 满意度的 基本维度 基本 KPI 管理视图 技术试图 可访问性 Accessibility 可用性 Availability 性能 Performance 如何衡量 IT用户的满意度？ 网络 vs.服务器耗时 系统 vs. 用户耗时 应用性能杀手排名 最慢的页面排名 系统资源开销排名 实时系统整体满意度 区域 /用户组满意度 实时用户个体满意度 实时满意度排名 实时 /预测 /回放满意度 用户页面打开时间 满意，忍耐，愤怒 下载时间 用户数 通讯量 用户终止数 错误的精确定位；哪个服务器、哪个页面、哪个应用、哪个服务、哪个调用 用户遭遇的系统性错误 网络，应用，系统，自定义 (content error) 出错数 实时系统整体出错率 实时用户个体出错 实时错误的影响面 用户错误页面的回放 用户遭遇的可用性错误 系统不响应错 服务不能提供错 未获得认证错 实时系统异常访问视图 实时负载均衡和系统压力 实时页面爬虫或攻击 实时监控有风险的用户访问 错误的精确定位；哪个服务器、哪个页面、哪个应用、哪个服务、哪个调用 /webmoney 真实客户体验监控管理必须做到的点 用户终端 网络 Web 服务器 服务器 URL / Objects 加载 执行 负载均衡 实时地量化地集中监控所有关键生产业务系统 1. 跟踪 所有用户，在所有时间里的、所有应用操作的、所有体验障碍（如系统错误、性能差等） 2. 解析 导致不良用户体验的主要系统资源或应用服务瓶颈的根源 3. 回朔 任何时间点的任何用户的任何操作，甚至是用户屏幕错误重放 4. 评估 用户体验的满意度和趋势 5. 配合改进 交易漏斗所代表的业务流程，提高业务效率 达到管理用户满意度和提高 SLA的目标，实现以用户为中心的转变 快速定位问题，理清生产安全的责任界面 提升 IT系统的用户合规管理能力 /webmoney 各类监控技术的特点和局限 插件或代理 有多种专业的 IT资源管理工具 插件技术导致系统资源有开销 缺少端到端的客户体验管理 /webmoney CEM的主要技术手段 网 站 分析 (web analytics) 通过标记 tagging（ 插装解析）每个网页 进行分析 定期下载 web日志到专用分析服务器 日志越详细，系统开销越大 主要用于 对 网页使用 的 分析 没有用户和会话的概念 Web Log JavaScript Tags JavaScript和监测探头 用户应用 中被嵌入 JavaScript代码 或 Web服务器上安装监测所有网络服务器 的 探针 定期下载 log进行分析 需要应用开发商的配合，变更维护困难 对系统有比较大的性能开销 活动代理 (beacon) 活动代理 （称为机器人或beacon） 模拟最终用户 按 预定时间间隔发送模拟交易 来测量响应时间 主要用于监测网站定制的服务水平 给系统带来压力和不是真实客户体验监控 Web Beacons 非侵入 (嗅探 sniffer)式 通过专用服务器嗅探 网络流量 监视 HTTP / HTTPS/Web Service自动解析报文 实时做出真实用户体验的管理视图和满意度评估 部署简单，对系统安全生产完全没有干扰 Packet Sniffing X X X /webmoney 议程 NG用户体验的重要意义 客户体验管理的目标和主要技术手段 RUEI的技术特点 案例分析 总结 问与答 /webmoney 什么是 RUEI（中文名：如意）？ REUI全称是 Real User Experience Insight，即真实客户体验洞察力 RUEI是新一代的电信级客户体验管理技术，是目前业界最为先进客户体验管理工具 RUEI通过实时监视 用户真实活动 ，自动解析被监控的网络报文，做出对用户行为的智能分析，提供 主动的 通报和 用户驱动式的 趋势分析 /webmoney 客户体验监管的两个维度 帮助你监控最终用户的真实体验 技术视图 业务视图 服务性能管理 服务影响管理 各类 B/S应用 (PC, 手机浏览器都适用 ) 主管仪表盘（ Executive Dashboard） 业务交易分析（ Business Transaction Analysis） 真实用户监控（ Real User Monitoring） 使用分析（ Usage Analysis） 趋势分析（ Trend Analysis） 全面报告（ Comprehensive Reporting） 重现执行问题（ Replay Performance Issues） 服务级管理（ Service Level Management） /webmoney 用户发出请求 Client-ip, Server-ip, Gateway-ip Requested URL (Page,Object) Cookie/Session-id Referrer GET & POST requests User agents (phone, browser type) 1 系统响应与服务质量 Response? Server error, web site error, Hit OK Content of page (i.e order details, functional errors) 2 是否送达用户 Delivered? Aborted? Network timeout? 3 RUEI的 工作原理 ：旁路监听 RUEI嗅探分析 服务器响应时间 网络响应时间 /webmoney RUEI的技术 特点 企业级的性能 旁路侦听 (TAP)/端口拷贝 (SPAN) 实时性强 ， 100%精确的方法 RUEI做到了特有的 五不 不干扰生产 不影响性能 不使用探针（ adapters）或插件 不修改应用（与开发框架、数据库、中间件和底层平台无关） 不需人工介入 /webmoney 议程 NG用户体验的重要意义 客户体验管理的目标和主要技术手段 RUEI的技术特点 案例分析 总结 问与答 /webmoney RUEI的主要功能 实时监测用户的 “真实的”活动，优化 业务响应率和转化率 Executive dashboard Business Reporting Transaction Performance SLA管理与行政驾驶舱 实时错误报告与分析 KPI实时监控与报警 定制业务服务实时监控 实时交易漏斗监控 整体页面浏览性能 -绿色 = 满意 -橙色 = 容忍 -蓝色 = 失望 客户满意度实时趋势分析 实时客户体验跟踪 客户出错页面重放 实时系统性能分析 /webmoney RUEI仪表盘 （管理驾驶仓 -实时全面展现客户满意度） 发生错误的页面的错误分类及比例 用户访问区域公布 前 5分钟的平均 KPI: 1.并发用户数（个） 2. 发生错误的页面数量（个） 3. 平均页面响应时间（秒） 4. 流量（兆） 访问规模 1.页面访问量 2.按时间尺度的 用户满意度 3. 未来 5分钟的满意度评估 系统加载时间和用户主动离网分析 哪些是最勤奋的用户 ? 最近 12小时并发用户数和页面访问量 出问题最多的 应用和页面 /webmoney 关键服务指标 KPI和 SLA监控 关键事件及时按定制的预案发出报警通知 1.建立客户满意度的评估体系 2.设置 KP反映客户体验满意度的 “红绿灯”指标 3.设置基于客户体验的SLA，使得年、月、周、日的服务水平评估 4.不同满意度问题的严重程度通知不同的责任人 /webmoney 日时间尺度的用户访问量和满意度回放 4月 5日情况 分析举例： 1. 4月 1日 9点半左右，系统业务量达到最大值！系统满意度下降到最大。不满意的页面占据 28.5% 2. 平时不满意的页面占11%。 3. 业务量最大时，系统满意度比平时显著下降。 /webmoney 用户满意度分析与问题预警 3服务器在 10点期间发生了什么 分析举例： 1.用户访问量从 10:15起持续下降 2.到 10:30几乎所有的用户都是不满意的 3.用户访问量在正常工作时间几乎下降为零 4.其它系统监控工具，没有任何警示！ /webmoney 严重 客户体验的问题报警 分析举例： 1.RUEI报警提示后端的服务器对用户的请求不响应了。 2.问题并不是硬件故障导致，而是中间件挂住(hang up)死了。因此传统 IT资源管理工具解决不了这样的问题。 /webmoney 导致用户体验问题的系统性故障分析 4月 7日到 5月 5日 业务高峰期 4月 7日和 5月 4日当天比平时错误页面数量增加近一半。 而且增加的部分基本都是 no server response及 404错误。 说明系统高峰期服务器负载加重，造成很多请求没有响应。 /webmoney 通过流程漏斗将业务完成情况可视化 多少访客没完成交易，用户在哪里离开了 /webmoney 从用户体验角度最耗系统资源的服务 分析举例： 1.前 2个业务页面共计消耗服务器资源 56%！ 2.如果能优化这 2个业务页面，就能有效的提升系统最繁忙时期的系统性能！ /webmoney 各地区的用户页面响应时间分析 分析举例： 1.业务高峰期， 5月 4日沧州的响应时间最长：平均 2.8秒。 2.其中网络时间都稳定在 0.8秒内，但服务器时间从平时的0.8秒延长到 2.1秒！说明应用在压力情况下性能急剧下降。 3.从 74访问的用户平均响应的时间达到了 300秒，该用户访问了一些特殊应用，或者是该用户访问时服务器出现问题。 /webmoney 各地区用户的页面访问量 分析举例： 1.业务最高峰时， 4月 1日成都地区的页面访问量排在第 7位！只有资阳、宜宾页面访问量的 60%左右？ 2.业务平均时，例如 4月 5日的成都地区的页面访问量排在第 2位。 3.为何资阳的业务量这么大？ 4月 5日情况 4月 1日情况 /webmoney 任何用户的满意度评估和问题回放 追踪导致用户出错的访问轨迹，和回放用户的出错页面，从而知道用户的确切状况。也帮助开发商准确判断问题。 /webmoney 用户性能体验度最差的页面 端到端时间到超过 4.5秒，最长的达到 33秒！这里看到的页面 4月 15日调用超过 6800次。 /webmoney 用户访问量大且响应最差的页面 这几个页面，调用次数都上千次，尤其是srvpaycashcmt调用次数更是达到 3.6万次，重点优化后能提高系统性能。 /webmoney 用户访问遭遇的大对象分析 这个 cab文件大小最大，约 140K 这个 jsp文件代码如果能够优化，应该可以提高系统性能。 /webmoney 用户体验严重程度的错误明细列表 login/register.css为无效链接，但被大量引用， 1天有1.4万多次引用。修正该问题应该可以优化系统性能。 Billpay/paycash.jsp，js/getstaffpay.jsp都 有 1.5千次系统报错（ internal 500），需要重视！ /webmoney 用户访问页面的出错问题比例 1.主要的出错页面为billpay/paycash，js/getstaffpay 2. 主要的出错类型为internal 500错、 no server response错。 /webmoney 都有哪些用户受到了影响？ Oracle Confidential 42 员工号 客户端 IP /webmoney 页面响应时间和用户终止操作的比例 分析举例： 1. 系统高峰期，qrycombprodresult的终止率达到 2