千亿级实时日志分析平台

1、袋鼠云日志千亿级实时日志分析平台1千亿级实时日志分析平台云日志 是一款企业级高性能日志集中管理、搜索、分析和监控产品，可帮助用户快速排查系统问题、分析和监控业务数据。简单高性能、秒级实时追踪、可视化大屏幕、丰富的应用场景是其优势特色。2袋鼠云日志应用场景 安全审计 业务数据分析 智能运维 数据库审计数据脱敏数据源权限管理网站统计移动APP统计分析交易链路分析分布式调用链路分析Metricbeat Log 全透析GC LOG 全透析3袋鼠云日志能够做什么？4日志实时同步到大数据平台用户只需简单配置即可把已解析好的日志数据同步到MaxCompute（原ODPS）、Hadoop等大数据平台进一步进行

2、个性化BI分析及数据挖掘15帮助用户构建属于自己的大数据分析应用平台查询搜索实时追踪仪表盘可视化大屏监控告警应用高性能采集分布式消息订阅袋鼠云日志实时数据中台大数据离线分析平台（MaxCompute/Hadoop）应用前台WebAPP服务器网络设备应用程序物联设备SNMPSCADA数据源实时规则解析高性能检索结构化数据存储6数据采集，决不抢占业务系统资源2资源占用率低严格控制采集资源占用率CPU占用率不到 1%不影响业务业务高峰期不抢占资源不影响业务稳定运行插件智能自刎采集进程自监控，一旦占用率提高进程自动终止7袋鼠云日志rsyslogjLogstashNxlogSNMPJS SDKHTTP

3、API文件上传采集方式集群2服务器应用程序数据库网络设备集群1集群N数据源8敏感信息过滤，保障数据安全3脱敏规则定制可视化界面管理敏感信息过滤保障用户隐私防范数据泄露构建风控体系9数据脱敏应用举例一条日志：2017-05-16 01:00:00 413 / - INFO WS - 4d577afd-eea2-4977messageid:4d577afd,type :5315 , name : lily , idNumber : 2910926098 ,source:P0001 敏感信息 name : * , idNumber : 291092*6098 ,10精细粒度访问权限控制根据用户企业当

4、前的业务结构关联对应资源模块，通过角色系统，将用户和资源进行分离，用户只能访问自己被授予的资源提高对资源的监管411用户A用户B用户C租户A日志角色用户租户B日志角色用户12数据库审计599.99%事前、事中、事后安全风控安全防护能力防止非法人员操作防止外部攻击破坏防止内部超级权限非法用户“进不来”安全防护“绕不过”敏感数据“拿不走”非法操作“做不了”131415网站、APP统计6流量统计分析企业自己的网站流量分析工具清晰呈现网站访问趋势用户来源、访问路径数据驱动业务帮助站长了解访客行为、属性改善访客在网站上的使用体验提高转化率营销智能决策通过网站、APP采集数据分析用户访问行为辅助企业营销分

5、析决策16网站、APP统计应用举例页面数据采集控件数据采集性能数据采集213手机型号，品牌，分辨率，设备id,页面名称，来源页面，页面访问时长等浏览器，cookie,refer,url，时长等等袋鼠云日志来自客户：轻松筹17流量运营产品体验项目运营成交分析分享数据仓库客单价成交金额退款金额支付失败订单支付时长支付转化率复购率投诉买家评价消息到达分享人数分享金额新增项目在筹项目成功项目失败项目等对应的数量和金额等客户端/页面的 pv、uv新增用户、注册用户留存率、页面漏斗、转化率、页面访问时长网站、APP统计应用举例来自客户：轻松筹1819最终，助力客户实现数据化运营20交易链路分析采集应用系统

6、的日志，将用户的业务ID与唯一的交易码进行关联按交易路径进行聚合、集中展示，根据日志中的交易码，交易执行结果返回确定交易成功与否，展示交易量、交易时长、交易成功率、交易失败率等交易相关指标快速进行业务定位及分析621分布式调用链路分析7应用系统 端到端 性能可视化应用拓扑关系全链路跟踪根源问题定位快速故障告警22在调用链上，直观地定位到问题瓶颈点、故障点调用参数业务关键字事件调用耗时异常日志调用结果23Metricbeat Log 全透析Metribeat Log记录了每一个操作系统的信息云日志能够帮助用户透过这些日志来分析和展示服务器或应用服务内部运行指标数据如cpu、内存、磁盘、线程使用情

7、况、系统加载时间等统计信息提供实时性能监测824GC LOG 全透析GC日志反应了jvm运行情况、应用运行的健康程度云日志不单能够对于GC日志进行拆解，还能对于日志进行多维度统计如GC回收前后的对比、GC回收时间、大小指标、内存使用情况等帮助用户快速检测内存泄漏、长时间GC等问题，并给出针对性的建议92526感谢选择并信任我们的客户2728关于袋鼠云29袋鼠云产品服务全览图30陈吉平 CEO业界知名顶级技术专家，国内最早的Oracle ACE Director之一2004年加入淘宝，花名拖雷，曾担任阿里云事业群总裁助理2008年出版构建Oracle高可用环境宁海元 CTO徐进挺 服务总经理翟强 业务总经理2007年加入淘宝，花名江枫。天猫双十一大促技术指挥部核心成员，“去IOE”数据库负责人，阿里云数加平台技术负责人高性能MySQL第三版和Learning ELK Stack中文版译者2007年加入淘宝，花名丁原。经历过淘宝“去IOE”和天猫双十一余额宝项目数据库负责人离职前带领阿里云服务团队，负责过“云上贵州”等多个大型政企专有云项目2005年加入神州数码，互联网事业部总经理，互联网事业部价值贡献稳居全集团首位先后获得神州数码杰出营销奖