fastDFS安装部署文档

1、fastDFS 安装部署文档fastDFS下载地址：libevent官网: /系统环境：fastdfs_tracker       centos6.5_64 ip:0fastdfs_storage_s1 centos6.5_64 ip:1fastdfs_storage_s2 centos6.5_64 ip:2fastdfs_client           centos6.5_64 ip:4s

2、elinux关闭，iptables关闭。配置tracker：先装libevent，后fastdfs12345678rootcentos-6.5-x64 #yum install -y gcc gcc-c+rootcentos-6.5-x64 #tar zxvf libevent-2.0.21-stablerootcentos-6.5-x64 #tar zxvf FastDFS_v4.06.tar.gzrootcentos-6.5-x64 #cd libevent-2.0.21-stablerootcentos-6.5-x64 libevent-2.0.21-stable#./configure

3、 && make && make installrootcentos-6.5-x64 libevent-2.0.21-stable# cdrootcentos-6.5-x64 #cd FastDFSrootcentos-6.5-x64 FastDFS#sh make.sh && sh make.sh installfastdfs的配置文件路径默认在 /etc/fdfs/rootcentos-6.5-x64 #cd /etc/fdfs/rootcentos-6.5-x64 fdfs#ll总用量 56-rw-rr 1 root root 1463 4

4、月 23 04:10 client.conf-rw-rr 1 root root 858 4月 23 04:10 http.conf-rw-rr 1 root root 31172 4月 23 04:10 mime.types-rw-rr 1 root root 7460 4月 23 04:10 storage.conf-rw-rr 1 root root 6621 4月 23 04:10 tracker.confclient.conf 客户端上传配置文件storage.conf 文件存储服务器配置文件tracker.conf 负责均衡调度服务器配置文件http.conf http服务器配置文

5、件(可忽略不用)跟fastdfs相关的命令都在 /usr/local/bin/ 下编辑tracker配置文件：rootcentos-6.5-x64 fdfs#grep -v “#” tracker.conf | grep -v “$”#tracker.conf 配置文件是否生效,false是生效，true是屏蔽。disabled=false#程序的监听地址，如果不设定则监听所有地址bind_addr=#tracker监听的端口port=22122#连接超时时间connect_timeout=30#tracker在通过网络发送接收数据的超时时间network_timeout=60#数据和日志的存

6、放地点base_path=/home/yuqing/fastdfs#最大连接数max_connections=256#工作线程数一般为cpu个数work_threads=4#在存储文件时选择group的策略，0:轮训策略 1:指定某一个组 2:负载均衡，选择空闲空间最大的group.store_lookup=2#如果上面的store_lookup选择了1，则这里需要指定一个groupstore_group=group2#在group中的哪台storage做主storage，当一个文件上传到主storage后，就由这台机器同步文件到group内的其他storage上，0：轮训策略 1：根据ip地

7、址排序，第一个 2:根据优先级排序，第一个store_server=0#选择文件上传到storage中的哪个(目录/挂载点),storage可以有多个存放文件的base path 0:轮训策略 2:负载均衡，选择空闲空间最大的store_path=0#选择那个storage作为主下载服务器，0:轮训策略 1:主上传storage作为主下载服务器download_server=0#系统预留空间，当一个group中的任何storage的剩余空间小于定义的值，整个group就不能上传文件了reserved_storage_space = 10%#日志信息级别log_level=info#进程以那个用

8、户/用户组运行，不指定默认是当前用户run_by_group=run_by_user=#允许那些机器连接tracker默认是所有机器allow_hosts=*#设置日志信息刷新到disk的频率，默认10ssync_log_buff_interval = 10#检测storage服务器的间隔时间，storage定期主动向tracker发送心跳，如果在指定的时间没收到信号，tracker人为storage故障，默认120scheck_active_interval = 120#线程栈的大小，最小64Kthread_stack_size = 64KB#storage的ip改变后服务端是否自动调整，s

9、torage进程重启时才自动调整storage_ip_changed_auto_adjust = true#storage之间同步文件的最大延迟，默认1天storage_sync_file_max_delay = 86400#同步一个文件所花费的最大时间storage_sync_file_max_time = 300#是否用一个trunk文件存储多个小文件use_trunk_file = false#最小的solt大小，应该小于4KB，默认256bytesslot_min_size = 256#最大的solt大小，如果上传的文件小于默认值，则上传文件被放入trunk文件中slot_max_si

10、ze = 16MB#trunk文件的默认大小，应该大于4Mtrunk_file_size = 64MBtrunk_create_file_advance = falsetrunk_create_file_time_base = 02:00trunk_create_file_interval = 86400trunk_create_file_space_threshold = 20Gtrunk_init_check_occupying = falsetrunk_init_reload_from_binlog = falseuse_storage_id = falsestorage_ids_fil

11、ename = storage_ids.confid_type_in_filename = ipstore_slave_file_use_link = falserotate_error_log = falseerror_log_rotate_time=00:00rotate_error_log_size = 0use_connection_pool = falseconnection_pool_max_idle_time = 3600#http服务是否生效，默认不生效，此项可能在4.0版本后剔除。不起作用且没有此行。http.disabled=false#http服务端口http.serve

12、r_port=8080#检测storage上http服务的时间间隔，<=0表示不检测http.check_alive_interval=30#检测storage上http服务时所用请求的类型，tcp只检测是否可以连接，http必须返回200http.check_alive_type=tcp#通过url检测storage http服务状态http.check_alive_uri=/status.html#用include包含进http的其他设置，此项可能在4.0版本后剔除。不起作用。#include http.conf需要修改的地方是 base_path 改为自己的路径，这里改为：base

13、_path=/mnt/fastdfs_trackerrootcentos-6.5-x64 fdfs#mkdir /mnt/fastdfs_tracker启动tracker：rootcentos-6.5-x64 fdfs#/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf/usr/local/bin/fdfs_trackerd: error while loading shared libraries: libevent-2.0.so.5: cannot open shared object file: No such file or dire

14、ctoryrootcentos-6.5-x64 #find / -name libevent-2.0.so.5/root/libevent-2.0.21-stable/.libs/libevent-2.0.so.5/usr/local/lib/libevent-2.0.so.5rootcentos-6.5-x64 #ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5 #找不到库文件，搜索一下软链接过去即可。rootcentos-6.5-x64 #/usr/local/bin/fdfs_trackerd /etc

15、/fdfs/tracker.confrootcentos-6.5-x64 #rootcentos-6.5-x64 #lsof -i:22122 #端口启动COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEfdfs_trac 8287 root 5u IPv4 40633 0t0 TCP *:22122 (LISTEN)配置storage_s1：123456789101112131415rootcentos-6.5-x64 #tar zxvf libevent-2.0.21-stablerootcentos-6.5-x64 #tar zxvf F

16、astDFS_v4.06.tar.gzrootcentos-6.5-x64 #cd libevent-2.0.21-stablerootcentos-6.5-x64 libevent-2.0.21-stable#./configure && make && make installrootcentos-6.5-x64 libevent-2.0.21-stable#cdrootcentos-6.5-x64 #cd FastDFSrootcentos-6.5-x64 FastDFS#sh make.sh && sh make.sh installro

17、otcentos-6.5-x64 FastDFS#cd /etc/fdfs/rootcentos-6.5-x64 fdfs#ll总用量 56-rw-r-r- 1 root root 1463 4月 23 04:52 client.conf-rw-r-r- 1 root root 858 4月 23 04:52 http.conf-rw-r-r- 1 root root 31172 4月 23 04:52 mime.types-rw-r-r- 1 root root 7460 4月 23 04:52 storage.conf-rw-r-r- 1 root root 6621 4月 23 04:5

18、2 tracker.confrootcentos-6.5-x64 fdfs#grep -v “#” storage.conf | grep -v “$”#是否启用配置文件disabled=false#这个storage服务器属于那个groupgroup_name=group1#监听地址，不写，监听全部bind_addr=#连接其他服务器时是否绑定地址，bind_addr配置时本参数才有效client_bind=true#storage默认端口port=23000#连接超时时间connect_timeout=30#storage在通过网络发送接收数据的超时时间network_timeout=60

19、#主动向tracker发送心跳检测的时间间隔heart_beat_interval=30#主动向tracker发送磁盘使用率的时间间隔stat_report_interval=60#数据存储路径base_path=/home/yuqing/fastdfs#最大连接数max_connections=256#接收/发送数据的buff大小，必须大于8KBbuff_size = 256KB#工作线程数一般为cpu个数work_threads=4#磁盘IO是否读写分离disk_rw_separated = true#混合读写时的读写线程数disk_reader_threads = 1disk_write

20、r_threads = 1#同步文件时如果binlog没有要同步的文件，则延迟多少毫秒后重新读取，0表示不延迟sync_wait_msec=50#同步完一个文件后间隔多少毫秒同步下一个文件，0表示不休息直接同步sync_interval=0#表示这段时间内同步文件sync_start_time=00:00sync_end_time=23:59#同步完多少文件后写mark标记write_mark_file_freq=500#storage在存储文件时支持多路径，默认只设置一个store_path_count=1#配置多个store_path路径，从0开始，如果store_path0不存在，则ba

21、se_path必须存在store_path0=/home/yuqing/fastdfs#subdir_count * subdir_count个目录会在store_path下创建，采用两级存储subdir_count_per_path=256#设置fastdfs trackertracker_server=21:22122#日志级别log_level=info#运行时的用户和组，为空，为当前用户run_by_group=run_by_user=#允许访问网段allow_hosts=*#文件在数据目录下的存放策略，0:轮训 1:随机file_distribute_pat

22、h_mode=0#当问及是轮训存放时，一个目录下可存放的文件数目file_distribute_rotate_count=100#写入多少字节后就开始同步，0表示不同步fsync_after_written_bytes=0#刷新日志信息到disk的间隔sync_log_buff_interval=10sync_binlog_buff_interval=10#同步storage的状态信息到disk的间隔sync_stat_file_interval=300#线程栈大小thread_stack_size=512KB#设置文件上传服务器的优先级，值越小越高upload_priority=10if_a

23、lias_prefix=#是否检测文件重复存在，1:检测 0:不检测check_file_duplicate=0file_signature_method=hash#当check_file_duplicate设置为1时，次值必须设置key_namespace=FastDFS#与FastDHT建立连接的方式 0:短连接 1:长连接keep_alive=0use_access_log = falserotate_access_log = falseaccess_log_rotate_time=00:00rotate_error_log = falseerror_log_rotate_time=00

24、:00rotate_access_log_size = 0rotate_error_log_size = 0file_sync_skip_invalid_record=falseuse_connection_pool = falseconnection_pool_max_idle_time = 3600http.domain_name=http.server_port=8888其中主要修改的地方为 base_path (用于存储storage相关的log、group内的相关信息) 和 store_path0 (文件的存储位置)这里改为：base_path=/mnt/fastdfs_storag

25、e_infostore_path0=/mnt/fastdfs_storage_datatracker_server=0:22122 #tracker服务器地址rootcentos-6.5-x64 fdfs#mkdir /mnt/fastdfs_storage_info #创建文件夹rootcentos-6.5-x64 fdfs#mkdir /mnt/fastdfs_storage_data启动服务：rootcentos-6.5-x64 #/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf/usr/local/bin/fd

26、fs_storaged: error while loading shared libraries: libevent-2.0.so.5: cannot open shared object file: No such file or directoryrootcentos-6.5-x64 #ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5rootcentos-6.5-x64 #/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf会看到好多提示：mkdir d

27、ata path: FA mkdir data path: FB mkdir data path: FC mkdir data path: FD mkdir data path: FE mkdir data path: FF data path: /mnt/fastdfs_storage_data/data, mkdir sub dir done.rootcentos-6.5-x64 #lsof -i:23000 #默认占用23000端口COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEfdfs_stor 10922 root 5u IPv4

28、86805 0t0 TCP *:inovaport1 (LISTEN)配置storage_s2：rootcentos-6.5-x64 #tar zxvf libevent-2.0.21-stablerootcentos-6.5-x64 #tar zxvf FastDFS_v4.06.tar.gzrootcentos-6.5-x64 #cd libevent-2.0.21-stablerootcentos-6.5-x64 libevent-2.0.21-stable#./configure && make && make installrootcentos-6.5

29、-x64 libevent-2.0.21-stable#cdrootcentos-6.5-x64 #cd FastDFSrootcentos-6.5-x64 FastDFS#sh make.sh && sh make.sh installrootcentos-6.5-x64 FastDFS#cd /etc/fdfs/rootcentos-6.5-x64 fdfs#mkdir /mnt/fastdfs_storage_inforootcentos-6.5-x64 fdfs#mkdir /mnt/fastdfs_storage_datarootcentos-6.5-x64 fdfs

30、#vi storage.conf修改：base_path=/mnt/fastdfs_storage_infostore_path0=/mnt/fastdfs_storage_datatracker_server=0:22122rootcentos-6.5-x64 fdfs#ln -s /usr/local/lib/libevent-2.0.so.5 /usr/lib64/libevent-2.0.so.5rootcentos-6.5-x64 fdfs#/usr/local/bin/fdfs_storaged /etc/fdfs/storage.confrootcentos

31、-6.5-x64 fdfs#lsof -i:23000COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAMEfdfs_stor 8277 root 5u IPv4 83248 0t0 TCP *:inovaport1 (LISTEN)服务已经启动。rootcentos-6.5-x64 fdfs#netstat -anlp | grep ESTABLISHEDtcp 0 0 2:37220 0:22122 ESTABLISHED 8277/fdfs_storagedtcp 0 0 2:

32、23000 1:40161 ESTABLISHED 8277/fdfs_storaged可以看到storage服务器和tracker服务器（端口22122，管理）建立了会话，与另一台storage（端口23000，数据同步）建立了会话。安装fastdfs_client：12345rootcentos-6.5-x64 #tar zxvf libevent-2.0.21-stable.tar.gzrootcentos-6.5-x64 libevent-2.0.21-stable#./configure -prefix=/usr && make &&am

33、p; make installrootcentos-6.5-x64 #tar zxvf FastDFS_v4.06.tar.gzrootcentos-6.5-x64 #cd FastDFSrootcentos-6.5-x64 FastDFS#sh make.sh && sh make.sh install编辑fastdfs_client的配置文件：rootcentos-6.5-x64 #vi /etc/fdfs/client.conf修改：base_path=/mnt/fastdfs_clienttracker_server=0:22122rootcent

34、os-6.5-x64 #mkdir /mnt/fastdfs_client在fastdfs_client上上传文件测试：rootcentos-6.5-x64 #echo “thats fastdfs_client” > index.htmlrootcentos-6.5-x64 #/usr/local/bin/fdfs_upload_file /etc/fdfs/client.conf index.htmlgroup1/M00/00/00/wKgBM1NW5JmAO_BCAAAAFhSwOfU49.html这个是在storage服务器下的物理路径。在storage_s1服务器查看：root

35、centos-6.5-x64 #cd /mnt/fastdfs_storage_data/data/00/00rootcentos-6.5-x64 00#ll总用量 20-rw-rr 1 root root 22 4月 23 05:52 wKgBM1NW5JmAO_BCAAAAFhSwOfU49.html在storage_s2服务器此目录下也会有这个文件，表明上传文件没问题。现在我们需要通过web方式去访问这个文件。在每台storage server上部署web server，直接对外提供HTTP服务，tracker server上不需要部署web server。如果请求文件在当前storag

36、e上不存在，通过文件ID反解出源storage，直接请求源storage。我这里用apache来实现访问fastdfs的文件，并且apache为yum安装。想达到访问目的需要在apache中加载fastdfs-apache-module模块。fastdfs-apache-module模块默认不在apache中，需要自己手动编译，加载。在storage_s1和storage_s2中都进行如下配置：12345678910111213141516171819rootcentos-6.5-x64 #wget -c 在编译fastdfs-apache-module时需要apache的某些源文件，需要安装

37、httpd-devel开发工具包。rootcentos-6.5-x64 #yum install -y httpd-develrootcentos-6.5-x64 #tar zxvf fastdfs-apache-module_v1.15.tar.gzrootcentos-6.5-x64 #cd fastdfs-apache-modulerootcentos-6.5-x64 fastdfs-apache-module#ll总用量 12-rw-rw-r- 1 root root 1726 1月 13 2013 HISTORY-rw-rw-r- 1 root root 1725 5月 22 201

38、1 INSTALLdrwxrwxr-x 2 root root 4096 2月 19 2013 srcrootcentos-6.5-x64 fastdfs-apache-module#cd src/rootcentos-6.5-x64 src#ll总用量 56-rw-rw-r- 1 root root 32266 1月 13 2013 common.c-rw-rw-r- 1 root root 3479 1月 3 2012 common.h-rw-rw-r- 1 root root 1350 11月 4 2010 Makefile-rw-rw-r- 1 root root 5039 1月 3

39、2012 mod_fastdfs.c-rw-rw-r- 1 root root 3869 1月 13 2013 mod_fastdfs.conf-rw-rw-r- 1 root root 160 9月 5 2010 modules.mk这里需要修改Makefile文件：APACHE_BASE_PATH=/usr/local/apache2include $(APACHE_BASE_PATH)/build/special.mkAPXS=$(APACHE_BASE_PATH)/bin/apxsAPACHECTL=$(APACHE_BASE_PATH)/bin/apachectl改为：APACHE_

40、BASE_PATH=/etc/httpd #apache安装根目录，根据实际情况修改include /usr/lib64/httpd/build/special.mkAPXS=/usr/sbin/apxsAPACHECTL=/usr/sbin/apachectlspecial.mk文件路径可以通过find查找，apxs和apachectl可通过whereis查找。rootcentos-6.5-x64 src#make/usr/lib64/httpd/build/special.mk:27: /etc/httpd/build/rules.mk: 没有那个文件或目录make: * 没有规则可以创建

41、目标“/etc/httpd/build/rules.mk”。 停止。rootcentos-6.5-x64 src#报错解决方法：rootcentos-6.5-x64 src#mkdir /etc/httpd/buildrootcentos-6.5-x64 src#cp /usr/lib64/httpd/build/*.mk /etc/httpd/build/rootcentos-6.5-x64 src#make/usr/lib64/apr-1/build/libtool silent mode=compile gcc -pthread -Wall -D_FILE_OFFSET_BITS=64

42、-DFDFS_OUTPUT_CHUNK_SIZE=256*1024 -DFDFS_MOD_CONF_FILENAME=”/etc/fdfs/mod_fastdfs.conf” -DLINUX=2 -D_REENTRANT -D_GNU_SOURCE -I/usr/local/include/fastdfs -I/usr/local/include/fastcommon/ -I/usr/include/httpd -I. -I/usr/include/apr-1 -prefer-pic -c mod_fastdfs.c && touch mod_fastdfs.slo/usr/l

43、ib64/apr-1/build/libtool silent mode=link gcc -pthread -Wall -Wl,-z,relro -lfastcommon -lfdfsclient -o mod_fastdfs.la -rpath /usr/lib64/httpd/modules -module -avoid-version mod_fastdfs.lomake通过，然后make installrootcentos-6.5-x64 src#make install/bin/sh: line 1: /etc/httpd/build/instdso.sh: 没有那个文件或目录ma

44、ke: * install-modules-yes 错误 127rootcentos-6.5-x64 src#报错解决方法：rootcentos-6.5-x64 src#cp /usr/lib64/httpd/build/instdso.sh /etc/httpd/build/rootcentos-6.5-x64 src#make install通过。rootcentos-6.5-x64 src#cd /etc/httpd/modules/rootcentos-6.5-x64 modules#ll mod_fastdfs.so-rwxr-xr-x 1 root root 37564 4月 22

45、 21:34 mod_fastdfs.somod_fastdfs.so模块编译完成。编辑mod_fastdfs模块的配置文件:rootcentos-6.5-x64 #vi /etc/fdfs/mod_fastdfs.conftracker_server=0:22122 #修改为tracker server信息url_have_group_name = true #改为truestore_path0=/mnt/fastdfs_storage_data #改为数据存储路径，和storage.conf一样。编辑apache主配置文件：rootcentos-6.5-x64 #vi

46、 /etc/httpd/conf/httpd.conf添加两行：LoadModule fastdfs_module modules/mod_fastdfs.so #加载模块alias /group1/M00 /mnt/fastdfs_storage_data/data #虚拟目录映射<Location /group1/M00>    #访问/group1/M00时交给fastdfs模块处理sethandler fastdfs</Location>重启httpd服务加到开机启动。现在通过浏览器去访问storage服务器：http:/192.168.1.

47、51/group1/M00/00/00/wKgBM1NW5JmAO_BCAAAAFhSwOfU49.html会看到通过echo重定向的内容。再去配置storage_s2，过程跟s1一样，完成后把ip改为2，后面内容不变，一样可以访问到文件。现在我们停掉storage_s2的storaged服务，删掉此文件 再去访问2/group1/M00/00/00/wKgBM1NW5JmAO_BCAAAAFhSwOfU49.html发现依旧可以访问到文件，这就是fastdfs模块起到了作用。这个功能就是防止因为数据同步延迟导致无法访问。而去源

48、storage服务器查找文件。到这里配置接近尾声，now，我把fastdfs的tracker和storage管理脚本加到系统中，方便用service管理。进入fastdfs源码包：rootcentos-6.5-x64 #cd FastDFS/init.d/rootcentos-6.5-x64 init.d#ll总用量 8-rwxrwxr-x 1 500 500 1186 8月 15 2010 fdfs_storaged-rwxrwxr-x 1 500 500 1186 8月 15 2010 fdfs_trackerd不用说也能看明白。一个storaged脚本一个trackerd脚本。无需修改即

49、可使用。把各自脚本拷贝到/etc/init.d/下即可。然后就可以通过service fdfs_storaged/fdfs_trackerd start/stop/status管理了。再回到我们的fastdfs_client客户端，为php添加模块：因为fastdfs是基于应用的分布式存储，不像moosefs可以挂载为本地磁盘。fastdfs提供一个api接口实现文件操作。所以要安装php扩展让Fastdfs支持php，在FastDFS的源码包解压后里面有个php_client目录，进入此目录，参照README进行安装:安装此模块需要phpize命令，此命令由php-devel包提供，没有的话

50、安装即可。rootcentos-6.5-x64 php_client#phpizeConfiguring for:PHP Api Version: 20090626Zend Module Api No: 20090626Zend Extension Api No: 220090626rootcentos-6.5-x64 php_client#./configure && make && make installInstalling shared extensions: /usr/lib64/php/modules/ #提示模块安装到的路径。重定向配置文件到/et

51、c/php.ini:rootcentos-6.5-x64 php_client#cat fastdfs_client.ini >> /etc/php.ini重启apache。rootcentos-6.5-x64 #php -m | grep fastfastdfs_client看到php加载模块成功。测试：创建一个php文件，代码如下：12345rootcentos-6.5-x64 html#cat test.php<?php$file_info=fastdfs_get_file_info1('group1/M00/00/00/wKgBM1NW5JmAO_BCAAAA

52、FhSwOfU49.html');var_dump($file_info);?>然后执行：12345678910111213rootcentos-6.5-x64 html#php test.phparray(5)  "source_id"=> int(0) "create_timestamp"=> int(1398203545) "file_size"=> int(22) "source_ip_addr"=>

53、 string(12) "1" "crc32"=> int(347093493)得到文件信息。完成！接着上次的配置环境，现在将apache改为nginx。在两台storage服务器上配置nginx和fastdfs-nginx模块：storage_s1:下载pcre、nginx、fastdfs的nginx模块，编译：12345678910111213rootcentos-6.5-x64 #wget -c rootcentos-6.5-x64 #tar zxvf fastdfs-nginx-module_v1.15.tar.gzrootcentos-6.5-x64 #tar zxvf pcre-8.12.tar.gzrootcentos-6.5-x64 #tar zxvf nginx-1.5.10.tar.gzrootcentos-6.5-x64 #cd pcre-8.12rootcentos-6.5-x64 pcre-8.12#./configure -prefix=/usr/rootcentos-6.5-x64 pcre-8.12#make && make installrootcentos-6.5-x64 pcre-8.12#cd .rootcento