大数据应用案例 大数据时代案例 01.大数据高并发架构实战案例分享-概述.

1、概述 讲师：tom5（北风网版权所有) QQ：754026446 大数据高并发架构实战案例分享 受众：受众：想了解大数据高并发架构及实战的技术人员 目的：目的： 了解主流的高并发架构。 掌握高并发架构的基本安装配置过程。 本系列以完整架构实战串讲各技术点。 时长：时长：21课时 内容难度：内容难度：中 随着互联网的发展，高并发、大数据量的网站要求越来越重要。 从系统架构角度主要有如下这些点： CDN镜像（实战案例中未包含） 负载均衡 静态化 静态内容（图片）与动态内容服务器分离 缓存 数据队列 数据库集群 库表水平及垂直拆分（实战案例中未包含） NoSql分布式数据引擎及MapReduce 虚

2、拟化云计算体系（实战案例中未包含） 1、本地、本地Cache加速加速 提高了站点（尤其含有大量图片和静态页面站 点）的访问速度，并大大提高以上性质站点的稳定性 2、镜像服务、镜像服务 消除了不同运营商之间互联的瓶颈造成的影响，实现了 跨运营商的网络加速，保证不同网络中的用户都能得到良好的访问 质量。 3、远程加速、远程加速 远程访问用户根据DNS负载均衡技术智能自动选择 Cache服务器，选择最快的Cache服务器，加快远程访问的速度 4、带宽优化、带宽优化 自动生成服务器的远程Mirror（镜像）cache服务器， 远程用户访问时从cache服务器上读取数据，减少远程访问的带宽、 分担网络流

3、量、减轻原站点WEB服务器负载等功能。 5、集群抗攻击、集群抗攻击 广泛分布的CDN节点加上节点之间的智能冗于机制， 可以有效地预防黑客入侵以及降低各种D.D.o.S攻击对网站的影响， 同时保证较好的服务质量。 以某移动应用服务端架构为例（暂不包括cdn镜像，静态化， 库表水平及垂直拆分）： 负载均衡：采用的LVS 静态内容（图片）与动态内容服务器分离：采用的nginx 缓存：采用的memcached 数据队列：采用的redis 数据库集群：采用的Mysql主从集群 NoSql分布式数据引擎及MapReduce：采用的hadoop CSS,图 片，js等 静态文件 LVS（负载均衡）5课时 L

4、VS的类型特点适用场景介绍 案例中的使用配置说明（案例中只演示了DR和NAT模式） 配置安装过程演示 Nginx（动静分离，动态URL转发）3课时 Nginx安装演示 配置动态url转发规则说明及演示 动静分离说明及配置演示 NFS共享文件系统实战2课时 NFS安装配置及使用 动态内容静态化加速实战样例代码 Memcached安装配置及使用2课时 Memcached安装配置及使用 样例代码 Mysql集群安装配置及使用2课时 本案例的主从复制模式介绍 程序代码注意事项 进阶：海量数据处理hadoop2课时 概念，安装及配置 redis安装配置及使用实战4课时 redis安装配置及使用实战 高级

5、进阶 样例代码 CSS,图 片，js等 静态文件 39 43 48 redis 44 42 41 40 37 36 52 51 hadoop 50 38 45 采用vmware软件在桌面pc上搭建虚拟机集群演示环境： 演示所用版本为VM

6、ware Workstation 9.0.2 build-1031769 操作系统均采用 Centos6 x86_64 vm vm下载地址：/centos-6-x86_64- 64bit-vmware-image-download 用户root，tom，密码都是：tomtom Hadoop，Tomcat的安装环境采用debian的tomcat最小 安装版vm vm下载地址： /tomcat 首次启动需初始设置：密码均初始化为123456 1.CentOS设置开机自动启动sshd服务。 查看ss

7、hd是否启动：/etc/init.d/sshdstatus 查看sshd是否已是系统服务：chkconfig-list|grepsshd 使用如下命令设置sshd服务自动启动：chkconfig-level3sshd on 2.关闭图形界面启动 vim/etc/inittab文件中： :id:5:initdefault:(默认的runlevel等级为5,即图形界面) 5修改为3即可 找回网卡 eth0，虚拟机每clone一次，网卡mac地址更新，centos 自动新增一个eth网卡 rm -f /etc/udev/rules.d/70-persistent-net.rules reboot 关闭服务NetworkManager chkconfig NetworkManager off service NetworkManager stop vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 #网卡设备名称 ONBOOT=yes #启动时是否激活 yes|no BOOTPROTO=static #协议类型 dhcp bootp none IPADDR=36 #网络IP地址 NETMASK= #网络子网地址 GATEWAY= #网关地