Elasticsearch-3集群安装部署及使用文档

elasticsearch-6.2.3集群安装部署简介ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便环境主机名cpu内存ip地址ES节点角色ES版本备注bigdata011Ci5-5200U1G01master/data6.2.3bigdata021Ci5-5200U1G02master/data6.2.3bigdata031Ci5-5200U1G03data6.2.3一个多节点集群中，正常情况下应该包括以下3种类型的节点Master节点维护元数据，管理集群各个节点的状态，建议3台机器做masterData节点负责数据的查询和导入的，压力较大，需要比master和client更高配置的机器Client节点作为任务分发用的，它里面也会存元数据，但是它不会对元数据做任何修改。另外他还分担了data节点的压力，把data节点的一次查询结果在client节点上做二次汇聚，如果集群中没有client节点，那么二次汇聚的任务将由datanode来完成由于本示例节点数较少，暂时没有配置client节点，只有master节点与data节点。在master节点上同时也配置了data节点安装Elasticsearch安装之前是不需要配置sh互信的，因为缶s集群的各个节点需要分别执行命令，进行单独启动，程序包里没有提供一个统一启停的命令如果集群节点数比较多的话需要整理一个启停脚本并配置互信，要不然每个节点都启动一次很麻烦。本示例只有5个节点，单独启停就可以，所以不需要配量互信步骤Elasticsearch软件内部实现了分布式，不需要ookeeper软件，所以zookeeper软件也无需再部署关闭防火墙及selinux2个节点均操作[root@bigdata01〜]#systemctlstopfirewalld.service[root@bigdata01〜]#systemctldisablefirewalld.service[root@bigdata01〜]#setenforce0[root@bigdata01〜]#vi/etc/selinux/configSELINUX=disabled配置NTP时钟同设置bigdata01为ntp时钟源[root@bigdata01~]#yuminstallntp*[root@bigdata01~]#vi/etc/ntp.confdriftfile/var/lib/ntp/driftPermittimesynchronizationwithourtimesource,butdonotpermitthesourcetoqueryormodifytheserviceonthissystem.restrictdefaultnomodifynotrapnopeernoqueryrestrictdefaultnomodifyPermitallaccessovertheloopbackinterface.Thiscouldbetightenedaswell,buttodosowouldeffectsomeoftheadministrativefunctions.#restrictrestrict::1Hostsonlocalnetworkarelessrestricted.restrictmasknomodifynotrapUsepublicserversfromtheproject.Pleaseconsiderjoiningthepool(/join.html).server0.iburstserver1.iburstserver2.iburstserver3.iburstserverfudgestratum8#broadcastserver#broadcastclient#multicastserver#broadcastserver#broadcastclient#multicastservermulticastclientmanycastserver#broadcastclient#broadcastautokey#multicastclient#manycastserver54#manycastclient54autokey#manycastclient[root@bigdata01~]#systemctlstatusntpd[root@bigdata01~]#systemctlenablentpd其他2个节点配置定时任务，定时把bigdata01主机的时间通过来[root@bigdata02~]#crontab-e*/30****root/usr/sbin/ntpdate01修改系统参数sysctl.conf添加一行，并使之生效，其他2个节点也需要同样处理[root@bigdata01~]#vi/etc/sysctl.confvm.max_map_count=262144[root@bigdata01~]#sysctl-pulimit限制如下2个文件，3个节点均需要修改[root@bigdata01~]#vi/etc/security/limits.confbigdatahardnofile65536bigdatasoftnofile65536softmemlockunlimitedhardmemlockunlimited[root@bigdata01~]#vi/etc/security/limits.d/90-nproc.confDefaultlimitfornumberofuser'sprocessestopreventaccidentalforkbombs.Seerhbz#432903forreasoning.softnproc10240rootsoftnprocunlimited软件包下载去相应的官方网站下载jdk1.8和elasticsearch-6.2.3,然后进行解压安装把解压好的jdk和es目录scp到其他主机上[bigdata@bigdata01~]$tar-zxvfjdk-8u151-linux-x64.tar.gz[bigdata@bigdata01~]$tar-zxvfelasticsearch-6.2.3.tar.gz[bigdata@bigdata01~]$scp-rfjdk-8u151bigdata02:/bigdata/[bigdata@bigdata01~]$scp-rfjdk-8u151bigdata03:/bigdata/[bigdata@bigdata01~]$scp-rfelasticsearch-6.2.3bigdata02:/bigdata/[bigdata@bigdata01~]$scp-rfelasticsearch-6.2.3bigdata03:/bigdata/环境变量修改修改环境变量使之生效，其他2个节点也需要同样处理[bigdata@bigdata01~]$vi.bash_profile.bash_profileGetthealiasesandfunctionsif[-f~/.bashrc];then.~/.bashrcfiUserspecificenvironmentandstartupprogramsPATH=$PATH:$HOME/binexportPATHexportJAVA_HOME=/bigdata/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHexportES_HOME=/bigdata/elasticsearch-6.2.3exportPATH=$ES_HOME/bin:$PATH[bigdata@bigdata01~]$source.bash_profilejvm.options文件修改修改es的heapsize大小，最大值和最小值保持一致，3个节点均修改[bigdata@bigdata01~]$cd/bigdata/elasticsearch-6.2.3/config[bigdata@bigdata01config]$vijvm.options-Xms500m-Xmx500m3个节点均执行[bigdata@bigdata01~]$mkdir-p/bigdata/elasticsearch-6.2.3/data[bigdata@bigdata01~]$mkdir-p/bigdata/elasticsearch-6.2.3/logselasticsearch.yml文件修改节点1配置文件修改内容[bigdata@bigdata01~]$cdelasticsearch-6.2.3/config[bigdata@bigdata01config]$vi::bigdata01node.attr.rack:r1path.data:/bigdata/elasticsearch-6.2.3/datapath.logs:/bigdata/elasticsearch-6.2.3/logsbootstrap.memory_lock:falsebootstrap.system_call_filter:falsenetwork.host:01http.port:9200discovery.zen.ping.unicast.hosts:["01","02"]discovery.zen.minimum_master_nodes:2gateway.recover_after_nodes:3节点2配置文件修改内容[bigdata@bigdata02〜]$cdelasticsearch-6.2.3/config[bigdata@bigdata02config]$vi::bigdata02node.attr.rack:r1path.data:/bigdata/elasticsearch-6.2.3/datapath.logs:/bigdata/elasticsearch-6.2.3/logsbootstrap.memory_lock:falsebootstrap.system_call_filter:falsenetwork.host:02http.port:9200discovery.zen.ping.unicast.hosts:["01","02"]discovery.zen.minimum_master_nodes:2gateway.recover_after_nodes:3节点3配置文件修改内容[bigdata@bigdata02~]$cdelasticsearch-6.2.3/config[bigdata@bigdata02config]$vi::bigdata03node.attr.rack:r1path.data:/bigdata/elasticsearch-6.2.3/datapath.logs:/bigdata/elasticsearch-6.2.3/logsbootstrap.memory_lock:falsebootstrap.system_call_filter:falsenetwork.host:03http.port:9200discovery.zen.ping.unicast.hosts:["01","02"]discovery.zen.minimum_master_nodes:2gateway.recover_after_nodes:3参数解释配置elasticsearch的集群名称节点名，每个节点名称唯一

node.master指定该节点是否有资格被选举成为master，可以设置多个node.data指定该节点是否存储索引数据，即数据节点index.number_of_shards设置默认索引分片个数，默认为5片index.number_of_replicas设置默认索引副本个数，默认为1个副本path.conf设置配置文件的存储路径path.data设置索引数据的存储路径path.logs设置日志文件的存储路径path.plugins设置插件的存放路径bootstrap.memory_lock设置为true来锁住内存network.host这个参数是用来同时设置bind_host和publish_host上面两个参数，每个节点设置为自己的ip地址即可http.port设置对外服务的http端口，默认9200gateway.recover_after_nodes设置集群中N个节点启动时进行数据恢复discovery.zen.minimum_master_nodes设置这个参数来保证集群中的节点可以知道其它N个有master资格的节点discovery.zen.ping.timeout设置集群中自动发现其它节点时ping连接超时时间discovery.zen.ping.multicast.enabled设置是否打开多播发现节点discovery.zen.ping.unicast.hosts设置集群中master节点的初始列表，可以通过这些节点来自动发现新加入集群的节点启停启动集群3个节点分别执行，如下命令[bigdata@bigdata01~]$elasticsearch-d参数-d表示从后台启动关闭集群Es没有提供一个命令去关闭集群，所以需要手工执行kill-9暴力杀掉进程3个节点分别执行，如下命令[bigdata@bigdata01~]$jps6788QuorumPeerMain7941Jps3655日asticsearch[bigdata@bigdata01~]$[bigdata@bigdata01~]$[bigdata@bigdata01~]$kill-93655使用由于es是基于RESTfulweb接口的，所以使用curl命令。curl是利用URL语法在命令行方式下工作的开源文件传输工具curl-X<RESTVerb><Node>:<Port>/<Index>/<Type>/<ID><RESTVerb>：REST风格的语法谓词<Node>:节点ip<port>:节点端口号，默认9200<Index>嗦引名<Type>:索引类型<ID>:操作对象的ID号获取集群的节点列表curl'bigdata01:9200/_cat/health?v'epochtimestampcluster statusnode.totalnode.datashardsprireloinitunassignpending_tasksmax_task_wait_timeactive_shards_percent152395643317:13:53my-applicationgreen 3 3 2010 00 0 0 - 100.0%列出所有索引[bigdata@bigdata01〜]$curl'bigdata01:9200/_cat/indices?vhealthstatusindexuuid prirepdocs.countdocs.deletedstore.sizepri.store.sizegreenopentestnZ8V9DQNTKuleUEhCk9XsQ512024.4kb12.2kbgreenopentest2U6KYDGqeRi-Tst1kmWa5BA511013.3kb6.6kb创建索引[bigdata@bigdata01〜]$curl-XPUT'bigdata01:9200/customer?pretty'("acknowledged":true,"shards_acknowledged":true,"index":"customer")[bigdata@bigdata01〜]$curl'bigdata01:9200/_cat/indices?v'healthstatusindexuuid prirepdocs.countdocs.deletedstore.sizepri.store.sizegreenopentest nZ8V9DQNTKuleUEhCk9XsQ512024.4kb12.2kbgreenopentest2 U6KYDGqeRi-Tst1kmWa5BA511013.3kb6.6kbgreenopencustomercHC0OhsaSci3BmSZHGJ1rQ51001.5kb690b插入数据[bigdata@bigdata01 〜]$ curl-H"Content-Type:application/json"-XPUTbigdata01:9200/customer/external/1?pretty-d'{>"name":"JohnDoe">}'{"_index":"customer","_type":"external","_id":"1","_version":1,"result":"created","_shards":{"total":2,"successful":2,"failed":0},"_seq_no":0,"_primary_term":