缓存技术简介ppt.ppt

缓存技术简介 wangyh 缓存概述 不同硬件的读取速度 同时大部分的业务场景下 80 的访问量都集中在20 的热数据上 适用二八原则 缓存概述 缓存就是存储使用频繁的数据的临时的地方 因为获取原始数据的代价太大了 所以将中间结果或最终结果临时保存下来使用 基本属性 命中率 成本 缓存容量 效率 新鲜度缓存的典型应用 CPU的一级缓存 64K 二级缓存 1M 文件系统的缓存 磁盘的缓存 WEB服务器端的本地缓存 单机缓存 分布式缓存等 缓存的优点 减轻服务器负载 降低网络拥塞 减少客户访问延迟 提高反应速度 性能 减少磁盘IO 缓存分类 按类型 客户端侧 服务端侧按资源 动态缓存 静态缓存按位置 本地缓存 分布式缓存 客户端侧缓存 浏览器缓存 目的 body体太大 缓存之1 使用html代码 2 基于http协议2 1http1 0协议服务端响应头中的Expires表示资源过期时间 客户端侧缓存 浏览器缓存 2 1http1 1协议响应头的cache control节点 主要使用max age参数2 1 1Last Modified If Modified SinceEtag If None Match 客户端侧缓存 浏览器缓存 服务端侧缓存 服务端侧缓存分类 1 网关 代理服务器缓存 如CDN 2 反向代理缓存 apache nginx 3 数据库缓存4 数据缓存 本地缓存 分布式缓存 第三方缓存 服务端侧缓存 数据库缓存 mysql的缓存机制 1 启用缓存机制 会把结果缓存在内存中2 当查询sql完全一致 原表数据未改动 则不解析sql 直接返回结果 缓存命中3 key是用select语句算出hash值 所以mysql对大小写敏感 服务端侧缓存 数据库缓存 4 查询方式 缓存开启 设置缓存大小 set global query cache size 100000 约1Mselectid contentfromgionee app table 使用缓存机制 selectsql no cacheid contentfromgionee app table 强制不使用缓存 5 如果使用了mysql函数 不使用缓存 服务端侧缓存 数据缓存 1 本地缓存 接入层 应用层缓存 将缓存的数据放在应用服务的内存中1 1优点 高性能 无数据库查询 无网络调用 1 2缺点 占用内存较多 有重复1 3适用场景 数据量较小的情况 服务端侧缓存 数据缓存 2 分布式缓存 将缓存的数据放在专门的缓存服务器的内存中2 1优点 可分片缓存 无需状态同步2 2缺点 多一次网络调用2 3适用场景 数据量较大的情况 服务端侧缓存 数据缓存 3 第三方缓存 第三方云服务的redis ocs等缓存服务3 1优点 无需自己维护缓存服务3 2缺点 多一次网络调用 接入层逻辑变复杂 常见缓存算法 缓存算法要解决的问题 1 缓存什么内容2 何时进行缓存3 当缓存空间已满时如何进行替换 即缓存替换算法 常见缓存算法 1 基于访问时间的缓存策略 1 1LeastFrequentlyUsed LFU 其核心思想是 如果数据过去被访问多次 那么将来被访问的频率也更高 为每个缓存对象计算他们被使用的频率 会把最不常用的缓存对象踢走 2 基于访问频率的缓存策略 2 1LeastRecentlyUser LRU 算法根据数据的历史访问记录来进行淘汰数据 其核心思想是 如果数据最近被访问过 那么将来被访问的几率也更高 把最近最少使用的缓存对象给踢走2 2 MostRecentlyUsed MRU 与LRU相对应 会移除最近最多被使用的对象 常见缓存算法 3 访问时间与频率兼顾 如FBR LRFU ALRFU 多数此类算法具有一个可调或自适应参数 通过该参数的调节使缓存策略在基于访问时间与频率间取得一定平衡 4 其他 4 1FirstinFirstout FIFO 通过一个队列去跟踪所有的缓存对象 最近最常用的缓存对象放在后面 而更早的缓存对象放在前面 当缓存容量满时 排在前面的缓存对象会被踢走 然后把新的缓存对象加进去 很快 但是并不适用 4 2 TwoQueues 2Q 把访问的数据放到LRU