企业级自动化运维工具应用实战-ansible

马哥教育IT人的高薪职业学院学高端IT

·

赚取高薪

·就到马哥教育马哥教育二阶段实战课程Linux云计算运维工程师互联网企业的基石，实操类高薪人才，拥有服务集群、虚拟化、Web应用、自动化、云计算等核心技术Linux管理和服务Linux企业级应用10+高级模块模块均为互联网公司常用工具20+实战演练每个模块都结合企业级应用进行演练面试技巧模拟真实面试场景，全方面掌握面试各个环节企业级项目通过企业级项目，深刻掌握运维工程师工作要领马哥Linux马哥教育二阶段入门项目马哥教育二阶段最终项目逐步实现大型互联网运维架构方案掌握互联网运维架构模型实现单台服务器Web架构实现多台服务器集群架构实现Web缓存、存储多级高级架构实现监控体系、安全体系实现运维自动化方案实现虚拟化、云计算架构企业项目全面操练Linux运维工程师职能划分Linux云计算工程师三大核心职能平台架构组建负责参与并审核架构设计的合理性和可运维性，搭建运维平台技术架构，通过开源解决方案，以确保在产品发布之后能高效稳定的运行，保障并不断提升服务的可用性，确保用户数据安全，提升用户体验。负责用运维技术或者运维平台确保产品可以高效的发布上线，负责保障产品7*24H稳定运行，在此期间对出现的各种问题可以快速定位并解决；在日常工作中不断优化系统架构和部署的合理性，以提升系统服务的稳定性。日常运营保障性能、效率优化用自动化的工具/平台提升软件在研发生命周期中的工程效率。不断优化系统架构、提升部署效率、优化资源利用率支持产品的不断迭代，需要不断的进行架构优化调整。以确保整个产品能够在功能不断丰富和复杂的条件下，同时保持高可用性。企业级自动化运维工具应用实战-ansibleABCD项目介绍模块讲解实战演练企业级应用1项目介绍企业级自动化运维工具应用实战-ansible公司计划在年底做一次大型市场促销活动，全面冲刺下交易额，为明年的上市做准备。公司要求各业务组对年底大促做准备，运维部要求所有业务容量进行三倍的扩容，并搭建出多套环境可以共开发和测试人员做测试，运维老大为了在年底有所表现，要求运维部门同学尽快实现，当你接到这个任务时，有没有更快的解决方式？实战项目十Linux运维工程师职能划分项目上线过程

随着信息时代的持续发展，IT运维已经成为IT服务内涵中重要的组成部分。面对越来越复杂的业务，面对越来越多样化的用户需求，不断扩展的IT应用需要越来越合理的模式来保障IT服务能灵活便捷、安全稳定地持续保障，这种模式中的保障因素就是IT运维（其他因素是更加优越的IT架构等）。从初期的几台服务器发展到庞大的数据中心，单靠人工已经无法满足在技术、业务、管理等方面的要求，那么标准化、自动化、架构优化、过程优化等降低IT服务成本的因素越来越被人们所重视。其中，自动化最开始作为代替人工操作为出发点的诉求被广泛研究和应用。IT运维从诞生发展至今，自动化作为其重要属性之一已经不仅仅只是代替人工操作，更重要的是深层探知和全局分析，关注的是在当前条件下如何实现性能与服务最优化，同时保障投资收益最大化。自动化对IT运维的影响，已经不仅仅是人与设备之间的关系，已经发展到了面向客户服务驱动IT运维决策的层面，IT运维团队的构成，也从各级技术人员占大多数发展到业务人员甚至用户占大多数的局面。因此，IT运维自动化是一组将静态的设备结构转化为根据IT服务需求动态弹性响应的策略，目的就是实现IT运维的质量，降低成本。可以说自动化运维一定是IT运维高层面的重要属性之一。技术说明目前多数公司遇到的运维问题现状：1、硬件选型多样化2、系统多版本并存3、目录结构混乱4、运维人员水平参差不齐5、历史遗留问题多6、同一软件出现多个版本7、无法批量化操作8、工作效率低，故障率高9、项目上线操作繁琐场景说明理想状态下的运维部门：1、只有少数类型的硬件，便于管理2、系统版本统一3、目录结构规范4、运维工程师水平层次高5、无历史包袱6、同一软件只有单一版本7、同一类操作可自动化批量执行8、工作效率高，无大量重复机械化操作9、开发自己上线，运维比较轻松场景说明Linux云计算工程师三大核心职能平台架构组建负责参与并审核架构设计的合理性和可运维性，搭建运维平台技术架构，通过开源解决方案，以确保在产品发布之后能高效稳定的运行，保障并不断提升服务的可用性，确保用户数据安全，提升用户体验。负责用运维技术或者运维平台确保产品可以高效的发布上线，负责保障产品7*24H稳定运行，在此期间对出现的各种问题可以快速定位并解决；在日常工作中不断优化系统架构和部署的合理性，以提升系统服务的稳定性。日常运营保障性能、效率优化用自动化的工具/平台提升软件在研发生命周期中的工程效率。不断优化系统架构、提升部署效率、优化资源利用率支持产品的不断迭代，需要不断的进行架构优化调整。以确保整个产品能够在功能不断丰富和复杂的条件下，同时保持高可用性。日常运维工作中的重要事件：1、添加监控，收集系统指标2、对日志进行归档以及管理3、数据备份于恢复4、对计划任务进行管理5、对软件包进行部署和管理6、对脚本进行批量执行7、对文件进行批量复制和移动8、设置文件或者目录对应的权限9、关闭和启动服务10、对代码程序进行上下线场景说明所谓的运维自动化实际上就是某些运维过程的自动化，比如初始化自动化、测试/部署自动化，加监控自动化，简单报警处理自动化，业务降级/恢复自动化....集腋成裘，慢慢的让系统可以承担更多的重复劳动，减少人力投入和学习成本。技术说明自动化运维常用工具ansible聚集以上功能于一身，能够完整轻易的实现应用部署和批量命令功能，适用于主机数量不太多，再大的用puppet。企业服务架构图马哥教育二阶段最终项目分析完需求后对项目进行分解，分解后分阶段去逐步完成各个环节需求分析针对硬件、CPU、内存、硬盘进行选型，对操作系统，软件版本年进行选型技术选型项目分解充分了解项目中所提出的需求，针对需求暂定出初步计划可行性方案探究架构方案设计针对业务场景，设计出对应的运维架构，从各个层面多维度保证业务方案对设计的方案进行可行性研究，验证架构的可行性，从业务的质

量、维护成本、可行性、可扩展性等多维度进行多角度衡量

项目准备下载最新稳定版本的安装包软件，并了解各软件包的组成结构模块掌握软件部署服务启动修改软件配置文件，并实现目标功能和效果将下载的软件包进行安装部署，并按照规范添加需要的功能掌握项目中各个模块功能的原理、角色、以及实现方式启动相关服务，并检查服务日志内容，保证服务进程、端口、状态正常软件准备配置修改项目实践效果检验2模块讲解：企业级自动化运维工具应用实战-ansibleansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于paramiko开发的,并且基于模块化工作，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。ansible不需要在远程主机上安装client/agents，因为它们是基于ssh来和远程主机通讯的。ansible目前已经已经被红帽官方收购，是自动化运维工具中大家认可度最高的，并且上手容易，学习简单。是每位运维工程师必须掌握的技能之一。ansible是什么ansible特点1、部署简单，只需在主控端部署Ansible环境，被控端无需做任何操作；2、默认使用SSH协议对设备进行管理；3、有大量常规运维操作模块，可实现日常绝大部分操作。4、配置简单、功能强大、扩展性强；5、支持API及自定义模块，可通过Python轻松扩展；6、通过Playbooks来定制强大的配置、状态管理；7、轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；8、提供一个功能强大、操作性强的Web管理界面和RESTAPI接口——AWX平台。ansible架构图ansible架构图Ansible：Ansible核心程序。HostInventory：记录由Ansible管理的主机信息，包括端口、密码、ip等。Playbooks：“剧本”YAML格式文件，多个任务定义在一个文件中，定义主机需要调用哪些模块来完成的功能。CoreModules：核心模块，来完成管理任务。先调用此中的模块，再指定HostLnventory中的主机来完成管理任务。CustomModules：自定义模块，完成核心模块无法完成的功能，支持多种语言。ConnectionPlugins：连接插件，做通信使用。ansible架构图2mogileFS主要由三部分构成：tracker节点，database节点，storage节点1、Tracker(MogileFSd进程)：这个是MogileFS的核心部分，他是一个调度器，MogileFSd进程就是trackers进程程序，trackers做了很多工作：Replication,Deletion,Query,Reaper,Monitor等等，这个是基于事件的(event-based)父进程/消息总线来管理所有来之于客户端应用的交互(requestingoperationstobeperformed),，包括将请求负载平衡到多个“queryworkers”中，然后让MogileFSd的子进程去处理；2、MySQL：用来存放MogileFS的元数据(命名空间,和文件在哪里)，是Trackers来操作和管理它，可以用mogdbsetup程序来初始化数据库，因为数据库保存了MogileFS的所有元数据，建议做成HA架构；3、StorageNodes：这个是MogileFS存储文件存放在这些机器上,也是mogstored节点,也叫StorageServer,一台存储主要都要启动一个mogstored服务.扩容就是增加这些机器，实际文件存放的地方。mogilefs的架构mogileFS的架构magedu123.jpg在哪里？client-->trackershostdev路径fidmogileFS的架构每次文件的上传和读取，都经过前端TrackerServer服务器，trackerServer服务器受到client端的请求，查询数据库，返回一个上传或者是读取的可用的后端StorageServer的地址，然后由client端直接操作后端StorageServer服务器。upload操作返回就是成功或者失败的结果，read操作就是返回对应的查询数据。MogileFS管理的几个概念：1、Domain：一个MogileFS可以有多个Domain，用来存放不同文件（大小，类型），同一个Domain内key必须唯一，不同Domain内，key可以相同；2、每一个存储节点称为一个主机host，一个主机上可以有多个存储设备dev(单独的硬盘)，每个设备都有ID号，Domain+Fid用来定位文件。3、Class：文件属性管理，定位文件存储在不同设备上的份数；mogileFS的术语host1dev1host2dev1mogilefs安装方式mogilefs安装常用两种方式，yum安装和perl程序安装yum安装：通常是在线安装，好处是安装方式简单，不易出错；常用的安装yum源为epelyuminstallperl-Net-Netmaskperl-IO-Stringperl-Sys-Syslogperl-IO-AIO本地安装的rpm包：MogileFS-Server-2.46-2.el6.noarch.rpm#核心服务perl-Danga-Socket-1.61-1.el6.rf.noarch.rpm#socketMogileFS-Server-mogilefsd-2.46-2.el6.noarch.rpm#tracker节点perl-MogileFS-Client-1.14-1.el6.noarch.rpm#客户端MogileFS-Server-mogstored-2.46-2.el6.noarch.rpm#Storage存储节点MogileFS-Utils-2.19-1.el6.noarch.rpm#主要是MogileFS的一些管理工具，例如mogadm等。mogilefs安装方式mogilefs安装常用两种方式，yum安装和perl程序安装perl程序源码包安装：通过perl的包管理命令cpanm进行安装yum-yinstallmakegccunzipperl-DBD-MySQLperlperl-CPANperl-YAMLperl-Time-HiRescpanm安装wgethttp://xrl.us/cpanm-O/usr/bin/cpanm;sudochmod+x/usr/bin/cpanm#cpanmDBD::mysql#cpanmMogileFS::Server#cpanmMogileFS::Utils#cpanmMogileFS::Client#cpanmIO::AIOmogilefs程序路径主程序：/usr/bin/mogilefsd命令行管理工具程序：/usr/bin/mogadm主配置文件（Tracker）：/etc/mogilefs/mogilefsd.conf主配置文件（StorageNodes）：/etc/mogilefs/mogstored.confmogilefs配置文件讲解mogilefs程序功能的配置文件介绍daemonize=1设置为1表示启动为守护进程db_dsn=DBI:mysql:mogilefs:host=db_user=usernamedb_pass=password

#配置数据库连接相关信息listen=:7001mogilefs监听地址，监听在表示只允许从本机登录进行管理query_jobs=10

启动多少个查询工作线程delete_jobs=1启动多少个删除工作线程

replicate_jobs=5

启动多少个复制工作线程reaper_jobs=1启动多少个用于回收资源的线程

mogilefs配置文件讲解mogilefs程序功能的配置文件介绍maxconns=10000存储系统的最大连接数.httplisten=:7500可通过http访问的服务端口mgmtlisten=:7501mogilefs的管理端口docroot=/var/mogdata该项决定了数据的在storage上存储的实际位置,建议使用的是一个单独挂载使用的磁盘mogilefs服务初始化1、数据库授权GRANTALLPRIVILEGESON*.*TO'mogile'@''IDENTIFIEDBY'mogile'WITHGRANTOPTION;2、设定数据库：mogdbsetup--helpmogdbsetup--dbhost=--dbpass=mogpass用户名默认为：mogile3、添加运行用户useradd-rmogilefsmkdir/var/run/mogilefsd/chown-Rmogilefs.mogilefs/var/run/mogilefsd#yum安装的话已经完成4、修改主配置文件：/etc/mogilefs/mogilefsd.conf5、启动服务（tracker服务为mogilefsd）

（storage服务为mogstored）MogileFS的管理mogstored程序的启动将使主机本身成为一个存储的节点,mogstored的启动后,还需要使用mogadm来让当前的这个主机加入到MogileFS的系统中.这就是一个存储节点.注意存储节点中还需要添加设备,每个设备有一个uniq的ID号.同样也要使用mogadm来加入到MogileFS的系统中.MogileFS中的存储主机(节点)管理现在加入“存储节点”到trackers中.告诉注册自己到trackers.相当于为每个主机加入MogileFS的存储系统mogadmhostadd<storage_node_name>--ip=--port=7500--status=alive添加主机，将主机信息注册到数据库中mogadmhostlist检查这个主机是否加入到MogileFS的系统中.MogileFS的管理mogstored程序的启动将使主机本身成为一个存储的节点,mogstored的启动后,还需要使用mogadm来让当前的这个主机加入到MogileFS的系统中.这就是一个存储节点.注意存储节点中还需要添加设备,每个设备有一个uniq的ID号.同样也要使用mogadm来加入到MogileFS的系统中.MogileFS中的存储主机(节点)管理现在加入“存储节点”到trackers中.告诉注册自己到trackers.相当于为每个主机加入MogileFS的存储系统mogadmhostadd<storage_node_name>--ip=--port=7500--status=alive添加主机，将主机信息注册到数据库中mogadmhostlist检查这个主机是否加入到MogileFS的系统中.mogadmhostmodifynode1--ip=123.xxx.xxx.70--status=alive#可以修改主机IPMogileFS的管理MogileFS中的存储设备管理建一个目录(并且需要mount一个硬盘给这个目录)给这个"设备"使用,我们这的例子是使用dev1在主机中建一个目录,建目录使用dev+ID这种格式,记的所有系统中ID不能重复.也必须和配置文件中的路径一样.如下:mkdir-p/data/mogdata/dev1一定要注意,给相对应用的块设备mount到这个点,软链也行.不然写文件都会写到系统硬上,其它的硬盘都是空的给"设备"加入”存储的节点“当中,相当于为每个设备加入MogileFS的存储系统mogadmdeviceadd<storage_node_name>ID检查我们加入的"设备"信息,这样就能见到上面这个设备了.还能显示加入的大小.mogadmdevicelist标记失效的设备,当硬盘坏了,设备有问题时,这时会自动在一个域内复制到最小设置的保存份数.恢复上面一样在一次add设备就好了mogadmdevicemark<storage_node_name><storage_node_name>IDdeadMogileFS的管理MogileFS中域,类的管理当上面的准备好了,MogileFS是运行中时,接下来我们要建一个我们自己的'名字空间'和加入文件到存储当中.我们使用mogadm的工具来能创建一个"域"和"类".也可以使用这个来增加文件到"类"中.建"域"mogadmdomainadd<domain_name>检查"域",显示存在的域mogadmdomainlist在"域"中建"类",并加入最小保存份数mogadmclassadd<domain_name><class_name>--mindevcount=3MogileFS的管理MogileFS中文件管理我们可以简单的使用mog开头的系列Linux命令,来进行管理,当然也可以用Client的API来管理.新的MogileFS的工具,拆分成多个了.下面这些命令,都需要在/etc/mogilefs/mogilefs.conf中指定trackers,不然就需要在下面的命令都加上–trackers来指定.1.上传文件mogupload--domain=magedu--key=<key_name>--file=<file_path>2.查询文件mogfileinfo--trackers=host--domain=<domain_name>--key=<key_name>例如查询一个叫crossdomain的key.在指定的domain中.#mogfileinfo--domain=img--key=testMogileFS的管理4.删除指定文件mogdelete--domain=<domain_name>--key=<key_name>5.列出所有的文件key这个可以列出指定domain下面的所有的key,也可以指定的一个前缀,来找特定前缀的所有文件的key.moglistkeys--domain=<domain_name>--key_prefix=<key_name>6.列出指定fid的文件这个fromfid是指mogileFS内部的文件id,这个是自增的,你可以指定一个开始的位置,指定显示多少文件,这个用于查询指定时间段内上传的文件时很有用.比如我们在8点上传了一个文件,是100的id,我们可以查询到从这个之后的所有的id的文件.moglistfids--fromfid=<file_id>--count=<数量>

MogileFS的管理暂时停止服务器如果你需要维护一个服务器,比如更新内存,升级操作系统之类的需要关机的操作,推荐你在操作之前先设置这些为"down".MogileFS对这种偶然的故障可以很弹性的处理.$mogadmhostmarkmystoragedown...做一些操作...$mogadmhostmarkmystoragealiveMogileFS的管理硬盘设备编号添加新的硬盘设备需要给一个唯一的,增量的设备ID(devid).如果你用一个新的硬盘来更换坏掉的硬盘,总是需要给一个新的devid.不能重用老的devid.之所以这样做的原因是可以让你从旧设备中给所有文件列表中的文件,重新复制到其它的Mogilefs的硬盘中.不然容易引起文件不会复制到这个中和错误的更新,也不会重新复制的旧文件.

添加设备添加设备的命令如下:$mogadmdeviceaddmystorage5--status=alive...or...$mogadmdeviceaddmystorage5--status=downdev5dev1总：10T目前：5T2副本dev610TMogileFS的管理只读模式和耗尽(Drain)模式如果你想要冻结设备上所有的文件,你要使用只读模式就行了。这将停掉MogileFS存放新文件到这个设备上，但它也将阻止删除文件.代替的删除的操作是会给这些内容放到队列中等待为您标记为'alive'着或'drain'。$mogadmdevicemarkmystorage5readonly$mogadmdevicemarkmystorage5drain耗尽(Drain)模式,在2.40和更高以上,告诉MogileFS不会有新的文件应写入设备.但是在耗尽(Drain)模式,文件可能被删除.所以如果你不希望写文件到这个设备上,可以设置为drain的模式注:耗尽(Drain)模式在MogileFS的早期版本，,将会从设备删除FIDS.现在它已经被重新均衡的功能取代。重新复制文件如果有一个硬盘坏了,MogileFS可以自动的让请求不在访问这个设备,但是不会自动的重新复制这个硬盘的文件,你必须通过mogadm来手工来标志成'dead'.只要你这样做,MogileFS将开始删除设备上的文件,并试图在集群间重新复制它们到其它的设备上.我们可以使用CPAN工具安装也可到/网站上下载安装，如安装Sys::Syscall模块。#wget/CPAN/authors/id/B/BR/BRADFITZ/Sys-Syscall-0.23.tar.gz#tarzxvfSys-Syscall-0.23.tar.gz#cdSys-Syscall-0.23#perlMakefile.PL#make#makeinstallMysql-MMysql-STSTTimg-service8080img-serviceimg-serviceimg-servicevarnish1varnishvarnishhaproxy-Mha-Smagedu.jpg(600*800)N3实战演练：企业级分布式存储应用与实战-mogilefs实战演练企业级分布式存储应用与实战-mogilefs实现项目规划：centos系统服务器5台、一台作为mysql，一台mysql从，三台作为存储节点，配置好yum源、防火墙关闭、各节点时钟服务同步、各节点之间可以通过主机名互相通信机器名称IP配置服务角色备注mogilefs-mysql01IP：mysql主+trackertracker+数据库主节点mogilefs-store01IP：tracker+storetracker+存储mogilefs-store02IP：tracker+storetracker+存储mogilefs-store03IP：tracker+storetracker+存储mogilefs-mysql02IP：mysql从+trackertracker+数据库从节点实战演练4企业级应用：分布式存储企业级应用FastDFS讲解FastDFS是由国人余庆所开发，其项目地址：/happyfish100FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。FastDFS是一款类GoogleFS的开源分布式文件系统，它用纯C语言实现，支持Linux、FreeBSD、AIX等UNIX系统。它只能通过专有API对文件进行存取访问，不支持POSIX接口方式，不能mount使用。准确地讲，GoogleFS以及FastDFS、mogileFS、HDFS、TFS等类GoogleFS都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。FASTDFS是什么FastdFS1、分组存储，灵活简洁、对等结构，不存在单点2、文件ID由FastDFS生成，作为文件访问凭证。FastDFS不需要传统的nameserver3、和流行的webserver无缝衔接，FastDFS已提供apache和nginx扩展模块4、大、中、小文件均可以很好支持，支持海量小文件存储5、支持多块磁盘，支持单盘数据恢复6、支持相同文件内容只保存一份，节省存储空间7、存储服务器上可以保存文件附加属性8、下载文件支持多线程方式，支持断点续传FastDFS的特性FastDFS的特性FastDFS的特性FastDFS架构图FastDFS架构解读•只有两个角色，trackerserver和storageserver，不需要存储文件索引信息•所有服务器都是对等的，不存在Master-Slave关系•存储服务器采用分组方式，同组内存储服务器上的文件完全相同（RAID1）•不同组的storageserver之间不会相互通信•由storageserver主动向trackerserver报告状态信息，trackerserver之间通常不会相互通信P4985、211本科生8000-12000P5研究生12000-16000P6博士16000-25000P7资深工程师/架构师25000-35000P8高级架构师/研究员专家35000-50000*16-2580-120WP9资深研究员/资深专家120-180WP10科学家250WP11高级科学家500WP12首席科学家/CTO1000WTT.3TTT4系统架构－上传文件流程图1.client询问tracker上传到的storage；

2.tracker返回一台可用的storage；

3.client直接和storage通信完成文件上传，storage返回文件ID。系统架构－下载文件流程图1.client询问tracker下载文件的storage，参数为文件ID（组名和文件名）；

2.tracker返回一台可用的storage；

3.client直接和storage通信完成文件下载。FastDFS同步机制采用binlog文件记录更新操作，根据binlog进行文件同步同一组内的storageserver之间是对等的，文件上传、删除等操作可以在任意一台storageserver上进行；文件同步只在同组内的storageserver之间进行，采用push方式，即源服务器同步给目标服务器；源头数据才需要同步，备份数据不需要再次同步，否则就构成环路了；上述第二条规则有个例外，就是新增加一台storageserver时，由已有的一台storageserver将已有的所有数据（包括源头数据和备份数据）同步给该新增服务器。FastDFS用户请求过程FastDFS核心组件FastDFS：

Tracker：调度器，负责维持集群的信息，例如各group及其内部的storagenode，这些信息也是storagenode报告所生成；每个storagenode会周期性向tracker发心跳信息；storageserver：以group为单位进行组织，任何一个storageserver都应该属于某个group，一个group应该包含多个storageserver；在同一个group内部，各storageserver的数据互相冗余；FastDFS运行机制如何在组中挑选storageserver：1、rr；2、以ip为次序，找第一个，即IP地址较小者；3、以优先级为序，找第一个；

如何选择磁盘（存储路径）：1、rr；2、剩余可用空间大者优先；

生成FID：由源头storageserverip、创建时的时间戳、大小、文件的校验码和一个随机数进行hash计算后生成；最后基于base64进行文本编码，转换为可打印字符；groupID/MID/H1ID/H2ID/file_namegroupID：组编号MID：存储路径（存储设备）编号H1ID/H2ID：目录分层file_name：文件名，不同于用户上传时使用文件名，而是由服务器生成hash文件名；服务器IP、文件创建时的时间戳、文件大小、文件名和扩展名；

文件同步：每个storageserver在文件存储完成后，会将其信息存于binlog，binlog不包含数据，仅包含文件名等元数据信息；binlog可用于同步；FastDFS配置修改Tracker：编辑trackerserver配置文件tracker.conf，需要修改内容如下：disabled=false（默认为false，表示是否无效）port=22122（默认为22122）base_path=/data/fastdfs/trackerstorageserver：disabled=false（默认为false，表示是否无效）port=23000（默认为23000）base_path=/data/fastdfs/storagetracker_server=32:22122store_path0=/data/fastdfs/storagehttp.server_port=8888（默认为8888，nginx中配置的监听端口那之一致）FastDFS常用命令1、查看存储节点状态#fdfs_monitor/etc/fdfs/client.conf2、上传测试fdfs_test<config_file>upload<local_filename>[FILE|BUFF|CALLBACK]3、文件上传fdfs_upload_file/etc/fdfs/client.conf/root/solo-2.2.0.war4、文件查看fdfs_file_info/etc/fdfs/client.confgroup1/M00/00/00/rBH7vFoax3KANb_FAUlr7-L-yRM9.0.war5、文件下载fdfs_download_file/etc/fdfs/client.confgroup1/M00/00/00/rBH7vFoax3KANb_FAUlr7-L-yRM9.0.warFastDFS实现nginx代理1、安装nginx以及对应模块2、修改nginx的location配置，映射路径和启动模块location/group1/M00{root/data/fdfs/store/data;ngx_fastdfs_module;}3、修改对应fastdfs模块/etc/fdfs/mod_fastdfs.confurl_have_group_name=truetracker_server=34:22122store_path0=/data/fastdfs/storagemogilefs企业常见面试题1、mogilefs是做什么用的，能实现什么功能？2、存储有哪些形式，特点是什么？3、mogilefs如何实现设置副本？4、什么是文件级别存储和块级别存储？5、mogilefs主机和设备分别代表什么含义？6、简述raid0raid1raid5raid10分别的工作原理？7、fastdfs数据是如何同步的？8、口述mogilefs进行存储的整个过程？9、mogilefs、和fastdfs都能实现分布式存储，区别是什么？全国布局马哥教育以北京校区为中心，郑州为分中心，在上海、广州、深圳、重庆等一线城市设立了办事处分部。每年有数十万学员受益于马哥教育组织的技术研讨会、技术培训课、网络公开课以及免费教学视频。马哥教育在国内IT行业主要城市－北京、上海、深圳等享有广泛赞誉，其学员在一线城市普遍高薪就业，与马哥教育建立人才合作关系的企业达500+家，深度合作企业100+家。8年积累2大中心4大办事处100+合作企业创新教育线上与线下相结合，开启智能云学堂学习模式教育体系360°全方位覆盖科学学习以专业的学习路线图引导学生学习，坚持一对一的学习跟踪项目实战2017全新课程体系，8年课程研发，10+项知名企业实战案例高薪就业学员普遍就业与北上广等一线城市，就业一到两年平均年薪高达18W+名师教学讲师平均8年以上工作经验，BAT一线名师亲自授课专业顾问配备国家认证的职业规划师与猎头顾问为您职业发展保驾护航2家顶级教育平台2016年成为腾讯课堂、51CTO学院官方认证战略合作伙伴20000+培训学员8年累计培养学员2万+，全网影响人数过百万500+合作企业建立人才合作关系的企业达500+家，深度合作企业100+家6000+小时课程时长课程研发课时超过6000小时，每年更新两个大版本60%高薪就业60%以上学员在互联网排名前300的企业高薪就业数据展现教育实力实力雄厚的专家团队国内知名Linux运维、云计算、大数据等领域技术布道师，曾服务过阿里巴巴、腾讯、京东、大众点评等流量过亿的知名产品，擅长Linux运维、企业级运维自动化、系统架构和优化、hadoop海量数据、IaaS云技术等相关技术，多年Linux实战和教学经验，通过现场、线上或视频授课影响学员数十万人，在业内享有广泛赞誉，其教学一贯被网友称赞为“马哥出品，必属精品”,其毕业的学员更是遍布国内各类涉及相关计算机技术的公司。马永亮-马哥马哥教育创始人&CEO,51CTO金牌讲师和专家博主国内知名架构师，集群、高可用、自动化技术专家，连续互联网创业者。曾服务过大众点评等多个亿级PV、百万并发企业站点，擅长独立设计过载保护、容灾、降级等企业级高级运维体系方案，所设计的方案为企业节省成本上千万。曾著作《mongodb分布式集群架构》、《手把手让你实现开源企业级web高并发解决方案》、《手把手让你了解linux上集群原理篇》获得几十万关注。张冠宇-张sir马哥教育联合创始人，马哥教育总经理兼COO王晓春（老王）首批红帽授权元老级认证Linux实战专家，拥有RHCI、RHCA、RHCVA、RHCE、CCNA、OCPMCT、MCSE、MCDBA等几十种专业证书认证，中国移动、中国联通、中国电信、中国人民银行、中国建设银行、中国工商银行、三星、空中客车等几十家上市公司和外企的特聘技术顾问。李松涛（Stanley）Linux运维实战专家，原腾讯游戏核心高级运维，《Ansible权威指南》作者，运维部落系列产品创始人，红帽认证工程师。操盘过十万CCU营收上亿的游戏项目，对自动化、平台架构、服务平台安全、云平台框架的常见疑难杂症有极强的处理能力。李远鹏（林旭）原唯品会高级运维工程师，第九城市页游部门运维负责人，红帽认证工程师参与并主导九城多款爆款网页游戏的维护，对高并发和高流量网站的应急预案、降级方案的制定有着丰富的经验。教学团队权欣欣（小欣）国家注册心理咨询师，环球MBA特邀企业EAP，国家灾后心理援助志愿咨询师曾服务于多个世界500强企业，对职业规划与个人心理成长有资深的经验，曾任心公艺艺术心理治疗项目教员，生活在左心理工作室沙盘治疗高级讲师，对学员的职业规划与职业心理成长有非常深入的研究和多个成功案例。张娟（小Z）前知名互联网企业就业主管，职业规划顾问曾与上百家互联网企业有合作关系，6年以上培训行业就业与教务管理经验，对学员定向就业与就业难题有非常资深的经验，帮助了数名学员成功入职理想的互联网企业。职业规划团队教学实力获得多方专业认可▲Linux核心专家▲51CTO专家博主▲红帽中心特邀专家▲国内首批RHCI认证教师▲授课老师持有RHCVA证书▲授课老师持有RHCE证书0302010405据国际知名科技机构思科预测，2021年全球手机用户将突破55亿。截至2016年底，中国手机用户达到13.16亿70%用户设备运行安卓系统，其底层操作系统是Linux。小到路由器，大到航空航天，甚至政府、券商、银行、互联网等系统应用，清一色为Linux操作系统。平均每家公司拥有Linux工程师不到2名，行业缺口380000人！比如：百度、阿里巴巴、腾讯、IBM、DELL、HP、联想、浪潮等公司。linux人才需求持续升温，Linux工程师在2016年全国日招聘量23978个，每年全国Linux工程师需求增长33.39%。Linux运维工程师行业前景33.39%/年30%10020元全国日招聘量平均月薪薪资增幅最低随着云计算、大数据、移动互联网的发展，Linux运维工程师作为关键支撑岗位也越来越被重视，国内知名招聘网站智联招聘统计，Linux工程师在2016年全国日招聘量23978个，每年全国Linux工程师需求增长33.39%。北上广Linux工程师平均月薪10020元，Linux初级开发工程师需求量大，薪资增幅最低30%，但现阶段从业人员少。全国岗位需求增长