scp 使用备份多服务器的日志.doc

SCP 使用同一个密钥拷贝多台服务器的日志SCP是secure copy的简写，基于SSH安全协议，用于在Linux下进行远程拷贝文件的命令，和它类似的命令有cp，不过cp只是在本机进行拷贝不能跨服务器，而且SCP传输是加密的。可能会稍微影响一下速度。通常情况下，如果我们需要获得远程服务器上的某个文件，远程服务器既没有配置ftp服务器、没有开启web服务器、也没有做共享，无法通过常规途径获得文件时，只需要通过scp命令便可轻松的达到目的；或者我们需要将本机上的文件上传到远程服务器上，远程服务器没有开启ftp服务器或共享，无法通过常规途径上传时，也可以通过scp命令轻松的达到目的。附：SCP简单使用方法相信做到这儿的都对于ssh安全协议不陌生了，因此这里也就不啰嗦了！配置信任关系使用SCP来做日志备份，前提是业务服务器与日志服务器之间相互信任，也即是当使用SCP命令拷贝的时候，不需要额外的操作（如输入密码）。首先，在所有的服务器（这里假定为三台ServerA、ServerB、ServerC，其中ServerA为存放日志的服务器）上都执行如下的命令，生成密钥对：#ssh-keygen -t rsa/三次回车#ssh-keygen -t dsa/三次回车其次，在ServerA、ServerB、ServerC上都执行如下命令，生成公钥key：#cat /.ssh/id_rsa.pub /.ssh/authorized_keys#cat /.ssh/id_dsa.pub /.ssh/authorized_keys在ServerA上执行命令：#ssh HOST_B cat /.ssh/authorized_keys /.ssh/authorized_keys#ssh HOST_C cat /.ssh/authorized_keys /.ssh/authorized_keys此时，ServerB、ServerC服务器上分别存在了一个authorized_keys文件，其中分别存放了ServerB、ServerC自己的公钥，而日志服务器ServerA上的authorized_keys文件中，则存放了ServerA、ServerB、ServerC三台服务器的公钥。到此，使用SCP拷贝ServerB、ServerC服务器上的日志到ServerA上时，就不再需要输入密码了。配置计划任务脚本前期的配置完成，接下来就是制作定时归档日志的任务脚本。假定ServerA中的/log/ServerB/与/log/ServerC/路径分别用于存放ServerB和ServerC的日志，而ServerB的日志是/usr/local/coship/iepg/server/default/log/iepg.logn，ServerC的日志为/usr/local/b03/sm/logs/runlog4sm.logn。（n代表业务系统日志写满之后所归档的老日志，n的值为0-9，也即是说，当业务系统写满了从1-9的日志文件之后，就会将新的日志重新归档为1，那么就必须在业务系统将日志覆盖之前完成备份任务；这里假定在业务系统的最大负载下半小时才能写满9个日志文件）计划任务也并不复杂，在ServerB，与ServerA上分别创建如下的任务：#crontab e*/30 * * * * scp /log_path/*.log ServerA:/log_save_dir/计划任务配置完成后，保存退出。SCP是使用SSH协议进行主机之间数据传输的常用命令，但有时候如果主机不在同一个机房，那么这个数据拷贝占用的带宽就是要好好考虑的问题了，SCP提 供了-l参数来限制带宽的占用，但限制带宽的同时却增加了拷贝需要的时间。一个比较好的办法就是在主机端先进行数据压缩，然后SCP过去后再解压。好在 SSH和SCP已经为我们准备好了这些解决问题的办法。默认情况下的SSH是不支持压缩的数据传输的（不同版本的默认值可能不一样，可以通过man sshd_config来查找文档进行确认），要支持压缩的数据传输，那么首先要修改SSH的配置文件（一般位于/etc/ssh/sshd_config），修改Compression选项为yes，然后重启SSHD服务。Compression提供了三个选项，分别是delayed/no/yes，第一个表示用户验证的时候不压缩，只是在数据传输过程中进行压缩；第二个表示不压缩；第三个表示从头到尾都压缩。修改完这些后，在进行SCP的时候需要添加-C参数来开启压缩功能。来看下测试的结果：首先DD建立一个文件，然后分别使用普通和压缩来进行传输，网络上的流量分别如下（因为是本机SCP本机的测试，所以流量在lo口上）：05:11:33 PM IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s05:11:34 PM lo 3360.40 3360.40 26106605.94 26106605.94 0.00 0.00 0.00和05:12:33 PM IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s05:12:34 PM lo 427.27 427.27 190298.99 190298.99 0.00 0.00 0.00从上面可以看到明显的不使用压缩的时候，传输的速度就是网卡上显示的