第二部分、redis实战案例及总回顾大数据教程大纲

1、大数据高并发系统架构实战方案(LVS 负载均衡、Nginx、共享缓存)、海量数据、队列课程讲师：tom5课程分类：Java涉及项目：大数据高并发系统架构用到技术：LVS 负载均衡、Nginx、共享、海量数据其他特性：队列缓存、缓存涵盖内容：、代码、ppt数量：21、主从随着互联网的发展，高并发、大数据量的要求越来越高。而这些高要求都是基础的技术和细节组合而成的。本课程就从实际案例出发给大家原景重现高并发架构常用详细演练。及通过该课程的学习，普通的技术就可以快速搭建起千万级的高并发大数据平台。亮点一：真实环境还原，课程采用了 VM 环境重现大现。集群服务器环境，真实环境还原再亮点二：基础实用，细

2、节决定成败，课程内容在演练过程中重点介绍各种细节，保证初级人员快速入门及高级进阶。亮点三：讲师丰富的海量经验第一章 概述（1）简要介绍该系列课程的内容，本章内容如下：主流高并发大数据应对技术介绍CDN 镜像技术介绍静态化技术介绍库表水平及垂直拆分技术介绍虚拟化云计算体系介绍高并发系统架构规划高并发大型高可靠架构图课程安排简介高并发大型高可靠架构网络IP 规划搭建实战环境的准备工作SFTP 客户端Filezilla 使用简介SSH 客户端SecureCRT 使用简介Centos 关闭图形界面启动及开启 sshd 实战虚拟机clone 后网卡重新初始化演练 VMware 使用技巧演练第二章 LVS

3、 实现负载均衡软交换实战（5）本章演练的是负载均衡技术的，主要包括 LVS 的类型特点适用场景介绍，使用Piranha 安装快速搭建 LVS 负载均衡集群及配置，LVS 负载均衡DR 模式深入安装调试，LVS 调度策略及负载均衡原理详细演练，LVS 深入实践 NAT 模式集群调试。详细内容如下：LVS 服务器配置准备关闭centos 网卡自动管理实践上网网卡手动配置yum 镜像加速 yum 安装Piranha piranha-gui 启动配置开通 3306 口pulse 启动piranha 安装效果验证 nginx 服务器配置安装主机名配置添加nginx 的yum 安装源yum 安装 ngin

4、x nginx 安装效果验证配置打开 80 口配置虚 IP 包转发规则支持 LVS 的 DR 模式Piranha 配置DR 模式详解演练global settings 公网IP 配置Primary servredundancy 配置 lvs 服务器的冗余，ublic ipvirtual servers 配置 Virtual IP Address 和real server主从配置 scp LVS 安装效果验证 ipvsadm 演练热备切换LVS 自服务配置启动Piranha 相关轮询配置参数讲解及效果演示Round robin：轮转调度 轮询 （最简单的轮询）Weighted least-con

5、nections：最少连接（考虑负载、服务器性能）Weighted round robin：最少连接（考虑服务器性能）Least-connection：最少连接（考虑负载） 等/etc/sysconfig/ha/lvs.cf 文件配置内容详细讲解LVS 调度策略深入及效果演示服务器集群负载均衡简化的整体结构讲解基于DNS 的请求调度基于前端调度器的请求调度四层交换-通过DR 实现报文转发四层交换-通过IP 隧道实现报文转发四层交换-通过NAT 实现报文转发四层交换-三种报文转发技术比较应用层交换-协议支持Http 重定向应用层交换-其他技术基于后端服务器的请求调度LVS 三种模式比较LVS 典

6、型 NAT 模式网络拓扑图Clone 服务器配置安装nginx2 及lvs2 Piranha 配置 NET 模式NAT 模式效果演示centos 配置centos 主备 LVS关闭，开启转发配置文件验证LVSNAT 安装效果第三章 Nginx 高级配置实战（3）本章演练的是静态内容与动态内容服务器分离，主要包括 Nginx 基础安装配置，Nginx 反向实战进阶，Nginx 动静分离URL 转发实战，详细内容如下：Hadoop，Tomcat 的安装环境采用debian 的tomcat 最小安装版虚拟机并初始化tomcat 服务端口修改主机名修改增加首页 jsp 服务器识别标志 tomcat 安

7、装效果测试 nginx 安装默认目录讲解 nginx 配置文件详细讲解nginx 配置server 先后顺序演练hosts 文件修改本地 dns 配置模拟Nginx 调度策略演练：nginx 的upstream 目前支持 4 种方式的分配：轮询（默认）、weight、ip_hash、fair、url_hashNginx 调度策略-小技巧演练等：backup，down 等演练proxy_pass 后的url 加不加/的区别演练Nginx 对URL 进行匹配语则讲解Nginx 对URL 进行匹配演练实践Nginx 对URL 进行匹配-常用规则讲解Nginx 一些可用的全局变量详解Nginx后，服务

8、端收到参数通过tomcat 上编写info.jsp 详细查看Nginx 对URL 重写语法详解：标记，判断文件或目录正则表达式语法讲解Nginx 对URL 重写例子技巧演练1.简单例子： rewrite /zixun/(0-9+)(/*).html$ /zixun/$1/ last;多目录转成参数目录对换设定 nginx 在用户使用 ie 的使用重定向到/nginx-ie 目录下目录自动加“/”6.7.htac多个目录s8.文件反盗链并设置过期时间9.跳转10.多转向11.三级跳转12.镜向13.某个子目录作镜向第四章 基于共享实现动态内容静态化加速实战（2）本章演练的是基于共享实现动态内容静

9、态化加速，主要包括 NFS 共享文件系统基础安装配置，tomcat 动态内容静态化加速实战演练。详细内容如下：nginx 负载均衡双机配置文件同步检查 LVS 及整套集群环境运行状态（LVS+nginx+tomcat），停掉 tomcat 检查clone 生成服务器安装配置 nfs 服务端centos64 位 yum 安装服务端 nfs-utilsbind修改nfs 配置文件/etc/exports 服务端开放共享目录，启动nfs 相关服务端服务关闭nginx 服务器，tomcat 服务器上nfs 客户端安装配置并验证共享效果配置各nfs 相关服务开机自启动通过详细 jsp 讲解演练将动态内容

10、静态化，提高整体系统性能。tomcat 服务器上目录权限开放保证tomcat，nginx 服务动态内容静态化效果验证限读写第五章 缓存安装配置使用（2）本章演练的主流缓存的搭建，主要包括基于 memcached 搭建缓存编程实战演练。详细内容如下：安装配置,基于缓存Clone 生成服务器 mem 配置网卡及主机名memcached 的 rpmfyum 安装memcachede 的yum 源 rpm 安装包memcached 安装效果验证，服务自启动配置验证centos、win7 上安装net 客户端net 命令帮助检查端口 11211 是否可关掉 11211 口限制memcached 服务器运

11、行状态参数详解memcached 启动命令详解并演练Memcached java 客户端 jar 包memcache 客户端测试代码 memtest.jsp 详解演练ss items 命令查看memcache 中每个 slab 中的 item 的一些详细信息ss slabs 命令查看memcache 中slab 中内存分配的情况memcache 的增删改读效果演练计数器代码count.jsp 讲解实战部署到tomcat1 和tomcat2，不同服务器 jsp 增加服务器识别标识，并验证效果第六章主从安装配置实战（2）本章演练数据关键主流数据库高可靠的搭建，主要包括主从基础安装配置，主从安装配置

12、进阶及结合缓存编程实战演练。详细内容如下：Clone 生成服务器1 配置网卡及主机名yum 安装修改配置服务配置字符集 utf8d 自启动服务并启动验证安装效果设置root遗忘如何重置关键使用技巧Clone 生成服务器2 修改主从配置开启binlog在主服务器上建立帐户并slave 同步权限，查询 master 的状态确定 binlog 文件名及登录主服务器的偏移值配置从服务器Slave 指定上述主服务器 binlog 文件名及偏移值启动从同步服务并检查从服务器功能状态详细状态实际讲解Slave_IO_Running: Yes Slave_SQL_Running: Yes/此状态必须 YES十

13、分关键外部3306 口验证/此状态必须 YES打开 3306 口配置高级配置解决主从服务器验证主从主服务器中建库建表，问题效果数据从服务器中查看同步效果若主服务器有老数据的情况初始化步骤详解dump，source 等命令使用解决memcahe 持久化问题jdbc 驱动jar 包利用test.jsp 代码讲解小陷阱问题解决计数器表建立，计数器 jsp 代码修改并在原有 memcache 基础上增加部分代码，间隔超过 10 秒存一次 db，并重启 memcached 检查代码效果测试持久化第七章 海量数据安装配置实战（2）本章演练主流 NoSql 分布式数据引擎及MapReducehadoop 的

14、搭建，主要包括 hadoop分布计算基础安装配置，hadoop 高级管理，HDFS 分布式文件使用深入演练。详细内容如下：HDFS 和MapReduce 共同组成了 Hadoop 分布式系统体系结构的MapReduce 分布式计算、Hadoop 分布式集群运行图详解Clone 出hadoop 服务器 nameNode 配置 ip 及hostname修改hosts 增加nameNode，dataNode 的 ip nameNode 增加hadoop 用户及用户组并设置 nameNode 配置ssh 自动登录Clone 出hadoop 服务器 dataNode1、2 配置 ip 及hostname

15、修改hosts 增加nameNode，dataNode 的 ip dataNode 增加hadoop 用户及用户组并设置 dataNode1、2 配置ssh 自动登录 Namenode 服务端同步 ssh 公钥文件到各 dataNode1、2ssh 验证ssh 自动登录Hadoop 安装，并上传解压缩建立文件目录tmpHadoop 配置conf/core-site.xml 详解演练 Hadoop 配置conf/hdfs-site.xml 详解演练 Hadoop 配置conf/mapred-site.xml 详解演练 Hadoop 配置conf/mastersHadoop 配置conf/slav

16、es Hadoop 到slaves 服务器启动Hadoop首次执行，格式化HDFS 文件系统hadoop namenode format验证Hadoop 启动java 自带的小工具 jps 查看进程hadoop dfsadmin -report 查看服务状态Web 管理：jobtracker、tasktracker、DFS 状态查看。HDFS 集群、Hadoop 无法启动可能的原因：管理HDFS 中的文件详细演练等第八章 简单队列缓存安装配置实战（2）本章演练热门的 redis 搭建简单的队列及缓存编程详细演练。详细内容如下：，主要包括redis 安装配置实战，redis 实用Redis 是当

17、前最热门的高级 key-value 数据库。它跟memcached 类似，不过数据可以持久化，而且支持的数据类型很丰富。基于redis 搭建简单的队列及缓存clone 服务器 redis 配置 ip 及修改主机名安装redis-2.6.11.tar.gz编译原代码编译问题编译环境上网yum 安装Redis 编译安装，在src 目录下生成 5 个可执行文件，redis-server、redis-cli、redis-benark、redis-check-aof、redis-check-dump设置内存分配策略设置/etc/sysctl.conf 中mit_memory = 1，允许分配所有的物理内

18、存，而不管当前的内存状态如何Redis 启动并验证Redis配置连接 6379 口打开 6379 端口配置指定 log 及db 文件配置自启动服务:/etc/init.d/redis增限。配置自启动服务 redisRedis 配置文件redis.conf 修改，其中 daemonize: 默认情况下，redis 不是在运行的，需要在运行，把该项的值更改为 yes。Redis 常用命令：del name，exists namng，save，redis-cli -p 6379 saveRedis 支持String 类型，能二进制安全的字符串，最大长度为 1GB。也可用来数字，并支持对数字加减操作。还支持对其部分的修改和获取操作。List 类型操作演练集合（Sets）类型操作演练有序集合（Sort