说明:

目录:

服务器:

证明:该版本为测试功能,可作为参照,如有错误,敬请指教

本次ELK的底蕴配置如下:

  • 系统环境准备
  • 安装ES集群
  • 安装Kibana
  • 安装x-pack
  • 安装head

192.168.10.246

一.进来官网下载安装包

  虚拟机:vmware 11

系统环境准备

192.168.10.253

官网地址:

  系统:centos7.2  两台


软件需求:

自个儿下载的版本为五.六.玖,移入/usr/local/tools目录下,并且解压缩到/usr/elasticsearch目录下

【澳门金沙国际】elasticsearch集群安装配置,单机双实例。  IP:172.16.1.15/16

参见:
HDP2.4安装(二):Centos7配置

Elasticsearch版本:elasticsearch-5.1.1.zip

tar -zxvf elasticsearch-5.6.9.tar.gz -C /usr/local/elasticsearch

一、下载es

修改network: 

华语分词器: elasticsearch-analysis-ik-master.zip

二.es鲜明root用户不可能运转es,所以须要创造三个用户来运营es

wget

修改hosts:     

图形化界面: elasticsearch-head-master.zip

创设用户名叫elastic的用户

二、安装es-node1

配置ssh :

Node.js :node-v4.6.1-linux-x64.tar.gz

useradd elastic

解压到/usr/local

配置ntp服务

Elasticsearch安装

设置elastic用户的密码

配置:vim elasticsearch.yml

配置selinux

一.安装包放到1玖2.16八.十.253,然后解压缩

passwd elastic

cluster.name: elk-test
node.name: elk-node1
path.data: /data/es-data
path.logs: /var/log/elasticsearch
bootstrap.mlockall: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["172.16.1.15", "172.16.1.16"]

安装java jdk

unzip elasticsearch-5.1.1.zip

3.创建es的data和logs目录

 

文本数与虚拟内部存款和储蓄器配置

groupadd elsearch

cd /usr/local/elasticsearch/elasticsearch-5.6.9

始建数量目录和日志目录及用户:

  • 指令:vim /etc/sysctl.conf  
    打开编辑器中追加如下配置

    fs.file-max=655350
    vm.max_map_count=655360
    
  •  执行命令:sysctl -p

  • 一声令下: vim /etc/security/limits.conf 
    添加上边配置:

    * soft nofile 655350
    * hard nofile 655350
    

useradd elsearch -g elsearch -p elasticsearch            #useradd
[user name] -g [group name] -p [password]

mkdir -p data

mkdir -p /data/es-data
mkdir -p /var/log/elasticsearch
groupadd elk
useradd elk -g elk

指令:reboot (重启机器)

更改elasticsearch文件夹及其间文件的所属用户及组为elsearch:elsearch

mkdir -p logs

设置node贰和node1壹样。只要求变更node.name就足以了

测试集群节点:

chown-Relsearch:elsearchelasticsearch              #chown -R [user
name:group name] 该用户所分配有权力的

四.将/usr/local/elasticsearch/elasticsearch-5.陆.9的拥有者设置为elastic

分别修改两台服务器的ulimit

10.0.0.5  JNES01 (A2系列)

elasticsearch为您elasticsearch的目录名称

chown -R elastic:elastic /usr/local/elasticsearch/elasticsearch-5.6.9

vim   /etc/security/limits.conf

10.0.0.6  JNES02 (A2系列)    

切换成elsearch用户再起步

伍.编辑配置文件

*        hard    nofile           65536
*        soft    nofile           65536
*        soft    nproc            65535
*        hard    nproc            65535

安装ES集群

su
elsearch#切换账户cdelasticsearch/bin#进去你的elasticsearch目录下的bin目录./elasticsearch

cd config/

 


2.集群

vim elasticsearch.yml

三、安装head和kopf插件

  • ES5.一下载地址:
  • 解压: tar -zxvf
    elasticsearch-5.1.1.tar.gz
  • 新建存款和储蓄目录: mkdir -p /mnt/data/esdata
  • 目录权限:chmod -Enclave 77七 /mnt/data/esdata/
  • 修改配置:vim elasticsearch.yml

    # ---------------------------------- Cluster -----------------------------------
    cluster.name: JNES
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    thread_pool:
         bulk:
              size: 3
              queue_size: 1000
    # ------------------------------------ Node ------------------------------------
    node.name: JNES01
    # ----------------------------------- Paths ------------------------------------
    path.data: /mnt/data/esdata
    # ----------------------------------- Memory -----------------------------------
    bootstrap.memory_lock: false
    indices.fielddata.cache.size: 25%
    # ---------------------------------- Network -----------------------------------
    network.host: 10.0.0.5
    http.port: 12000
    transport.tcp.port: 12300
    # --------------------------------- Discovery ----------------------------------
    discovery.zen.ping.unicast.hosts: ["10.0.0.5", "10.0.0.6"]
    discovery.zen.minimum_master_nodes: 1
    discovery.zen.ping_timeout: 20s
    # ---------------------------------- Various -----------------------------------
    action.auto_create_index: true
    xpack.security.enabled: false
    
  • 将文件scopy至JNES0二,然后修改node节点名

  • 一声令下:vim
    jvm.options  A二的机械更改配置:-Xms1g
  • teld用户下运行elastic,需更改root安装文件的权位,并保管teld具有es数据目录的读写权限,命令:sudo chmod -RAV四 777
    /zhu/elasticsearch-五.一.一
  • 切换目录至: cd /zhu/elasticsearch-五.一.1/bin
  • 后台启动ES: ./elasticsearch -d   (-d:
    参数表示后台运维,不带该参数表示前台运营)
  • 检查测试命令:curl 十.0.0.5:12000  如下图则ok
  • 澳门金沙国际 1
  • 指令: jps 查看es进程号,甘休服务通过 kill
    进度号来拍卖
  • 一声令下: ./elasticsearch help
    (查看命令行协助)
  • 澳门金沙国际 2

修改elasticsearch.yml

编辑内容如下:

./plugin install lmenezes/elasticsearch-kopf
./plugin install mobz/elasticsearch-head

安装Kibana

vim elasticsearch.yml

network.host: 你协调的服务器ip 能够设置为0.0.0.0

 


添加以下配置

http.port: 9200

各自用elk用户运维两台es就ok了。(es不可能用root运转。)

  • 下载地址:
  • 解压: tar -zxvf
    kibana-5.1.1-linux-x86_64.tar.gz
  • 配备修改: vim kibana.yml

    server.port: 5500
    server.host: "10.0.0.5"
    elasticsearch.url: "http://10.0.0.5:12000"
    elasticsearch.requestTimeout: 180000
    elasticsearch.pingTimeout: 15000
    xpack.security.enabled: false
    
  • 切换至kibana目录: cd
    /zhu/kibana-5.1.1-linux-x86_64/

  • 运维服务: ./kibana

  • 后台运营服务:nohup ./kibana &  (简单而使得的nohup命令在UNIX/LINUX中,普通进度用&符号放到后台运行,用nohup命令运转程序:nohup <程序名> &
  • 查阅服务:netstat -pan |grep 5500
  • 澳门金沙国际 3
  • 停下进度:kill -九 63890
  • 布置端口映射,如下图
  • 澳门金沙国际 4
  • 外网访问kibana,如下图:
  • 澳门金沙国际 5
  • 在此以前版本ES和Kibana同盟还供给使用plugin安装一些Marvel,sense等,今后都不需求了,DevTools正是事先的Sense

cluster.name:dcang-cluster#自定的集群名称

陆.怒放防火墙端口

 在浏览器访问下边地址查看插件是或不是安装成功。

安装x-pack

node.name: dcang-node-1#节点名称

firewall-cmd –zone=public –add-port=9200/tcp –permanent


path.data: /data/elasticsearch/es/data#数码目录

firewall-cmd –zone=public –add-port=9300/tcp –permanent

 

  • X-pack插件:  x-pack是elasticsearch的1个扩充包,将安全,警告,监视,图形和告知功效捆绑在一个便于安装的软件包中,包含成效如下:
  • 澳门金沙国际 6
  • 当安装X-pack在群集上,监察和控制代理运转在每种节点上采集和指数目的从Elasticsearch。
  • 设置在X-pack在Kibana上,能够查看通过1套专门的仪表板监察和控制数据
  • 一声令下: ./elasticsearch-plugin install x-pack 
    如下图(切换来es安装bin目录下,全体ES节点都需安装)
  • 澳门金沙国际 7
  • 命令:
    ./kibana-plugin install file:///zhu/x-pack-伍.一.壹.zip  
    (切至kibana解压bin目录,zip文件需从网上下载,只需在设置kibana的机械上设置即可)
  • 澳门金沙国际 8
  • 通过kibana查看集群消息,如下图:
  • 澳门金沙国际 9

path.logs: /data/elasticsearch/es/logs#日志目录

firewall-cmd –reload

安装head

bootstrap.memory_lock: false #闭馆内部存款和储蓄器锁

7.启动elasticsearch

 


network.host: 192.168.10.253#本机的IP地址

切换用户

 

  • head插件能够用来飞速查看elasticsearch中的数据轮廓以及非全量的数量,也支撑控件化查询和rest请求,然而经验都不是很好。1般就用它来看各种索引的数据量以及分片的场地
  • 下载安装head插件,下载地址:
     下载至本土后上传
    (任选1台机械上设置即可)
  •  命令:unzip
    elasticsearch-head-master.zip
  • 下载安装nodejs,
    下载地址:  
    下载至地方后上传
  • 命令:xz
    -d node-v6.9.2-linux-x64.tar.xz
  • 命令:tar
    -xvf node-v6.9.2-linux-x64.tar
  • 命令:mv
    node-v6.9.2-linux-x64 /zhu/node
  • 布局node环境变量: vim /etc/profile  加如下配置

    export NODE_HOME=/zhu/node
    export PATH=$PATH:$NODE_HOME/bin
    
  • 命令:source /etc/profile

  • 证实命令:node -v

  • 表明命令:npm -v
  • 澳门金沙国际 10
  • grunt是贰个很方便的营造筑工程具,能够拓展打包压缩、测试、执行等等的劳作,head插件便是经过grunt运行的。因而须求设置一下
  • 安装grunt,切换至目录: cd elasticsearch-head-master
  • 命令: npm install grunt
  • 测试: 切换至目录:cd
    elasticsearch-head-master/node_modules/grunt/bin
  • 命令:./grunt
  • 澳门金沙国际 11
  • 按提醒安装如下包,切换至如下目录:
    cd
    /zhu/elasticsearch-head-master
  • 命令:npm
    install grunt-contrib-clean
    –registry=
  • 命令:npm
    install grunt-contrib-concat
    –registry=
  • 命令:npm
    install grunt-contrib-watch
    –registry=
  • 命令:npm
    install grunt-contrib-connect
    –registry=
  • 命令:npm
    install grunt-contrib-copy
    –registry=
  • 命令:npm
    install grunt-contrib-jasmine
    –registry=
  • 设置到位后检查:./grunt -version
  • 澳门金沙国际 12
  • head直接执行有广大限制,比如无法跨机器访问等,因而要求用户修改如下八个地点:
  • 修改head目录下Gruntfile.js配置,
    添加hostname: ‘10.0.0.5’ 或 “*”
  • 澳门金沙国际 13
  • 修改连接地址:目录:head/_site/app.js,
    把localhost修改成你es的服务器地址,如下:
  • 把localhost修改成你es的服务器地址,如: 
    this.base_uri = this.config.base_uri
    || this.prefs.get(“app-base_uri”) ||
    “”;
  • 切换目录至:cd
    /zhu/elasticsearch-head-master
  • 运行:node_modules/grunt/bin/grunt server  如下图
  • 澳门金沙国际 14
  • 后台运维:nohup node_modules/grunt/bin/grunt server
    &
  • 翻开命令:netstat -pan |grep 九100
  • 澳门金沙国际 15
  • 访问示例图如下:
  • 澳门金沙国际 16

http.cors.enabled: true#设置head插件供给安排

su elastic

 

 

http.cors.allow-origin: “*”

启动

 

http.port: 9200 # HTTP访问地址

/usr/local/elasticsearch/elasticsearch-5.6.9/bin/elasticsearch -d

discovery.zen.ping.unicast.hosts:

查看进度

[“192.168.10.246:9300”, “192.168.10.253:9300”]
#参预全数的节点及广播端口号

ps aux | grep Elasticsearch

discovery.zen.minimum_master_nodes: 2 #防脑裂配置1般为节点数/二+ 一

八.相关操作语句

注意事项:

询问任何数目

设若现身谬误如下

curl localhost:9200/_search?pretty=true

max file descriptors [64000] for elasticsearch process is too low, increase to at least [65536]

询问任何索引

缓解情势:修改系统布局,一定要root权限:

curl localhost:9200/_cat/indices?v

壹、虚拟内部存储器设置,编辑/etc/sysctl.conf,追加:

玖.安装ik普通话分词器

vm.max_map_count=262144

下载最新版本的ik分词库,github地址为

二、修改文件句柄限制,编辑/etc/security/limits.conf,追加:

找到呼应版本的ik分词库zip,本系统安装分词库地址如下

root># vim /etc/security/limits.conf

* soft nofile 65536

实践如下命令

* hard nofile 65536

cd /usr/local/elasticsearch/elasticsearch-5.6.9/bin/

且注意尽管从别的用户切换来root的,在安插达成后肯定要切换回上2个用户,不然不可能生效

./elasticsearch-plugin
install

三.华语分词器安装

接下来重启Elasticsearch

解压缩:unzip elasticsearch-analysis-ik-master.zip

测试语句如下:

包裹编写翻译:

curl -XGET ”
-d ‘作者是雨二弟’

cdelasticsearch-analysis-ik-master

10.安装head插件

mvn package

下载head插件

编写翻译之后,target\releases目录上面有个

wget

elasticsearch-analysis-ik-5.1.1.zip

解压

将elasticsearch-analysis-ik-5.1.1.zip拷贝至elasticsearchplugins/ik目录下边并解压

unzip master.zip

4.指定jdk

mv elasticsearch-head-master /usr/local/elasticsearchhead

Elasticsearch五.x供给最低jdk版本为一.八。所以机器必须持有jdk壹.八

修改elasticsearch下的config/elasticsearch.yml,添加如下代码

先期修改环境变量,若已有其余版本可以修改脚本文件内定jdk。列如:解压缩后,进入bin目录

http.cors.enabled: true

cd elasticsearch-5.1.1/bin/

http.cors.allow-origin: “*”

vim elasticsearch

下载node.js

指定java变量

从node.js官网

澳门金沙国际 17

wget

添加JAVA_HOME手动钦定jdk一.8的根目录。

解压并活动

启动elasticsearch:

xz -d node-v6.9.2-linux-x64.tar.xz

./ elasticsearch

tar –xvf node-v6.9.2-linux-x64.tar

集群相关:

mv node-v6.9.2-linux-x64 /usr/local/nodejs

1九2.16八.十.二4陆的elasticsearch集群安装运维,同上述同样。可是node.name,network.host

布署环境变量

要修改费用机的新闻

vim /etc/profile

Head安装

安顿内容如下

壹.索要设置node.js

#nodejs

下载node.js

export NODE_HOME=/usr/local/nodejs/node-v6.9.2-linux-x64

wget https://nodejs.org/dist/v4.6.1/node-v4.6.1-linux-x64.tar.gz

export PATH=$PATH:$NODE_HOME/bin

解压

#nodejs

tar –zxvf node-v4.6.1-linux-x64.tar.gz

重启

修改环境变量

source /etc/profile

vim/etc/profile

查询nodejs版本

exportPATH= /node-v4.6.1-linux-x64/bin:$PATH#那边进入本人node所在的目录

node -v

source  /etc/profile#使修改的布局文件生效

下载安装grunt

2.安装head

cd /usr/local/elasticsearchhead/elasticsearch-head-master

解压

执行后会生成node_modules文件夹

unzip elasticsearch-head-master.zip

npm install -g grunt-cli

跻身该目录

校验是不是安装成功

cd elasticsearch-head-master.zip

grunt -version

使用node.js安装

修改head插件源码

npm install

以下多少个公文均设有于elasticsearch-head-master文件夹下

(因为node默许使用的外国镜像。在未代理的状态下会相比较慢,所以推举重定向镜像,如:

修改服务器监听地址

npm install -g cnpm –registry=

vim Gruntfile.js

2.安装grunt

增加hostname属性,设置为0.0.0.0

npm install –g grunt–cli

澳门金沙国际 18

打开Gruntfile.js,并编辑

修改连接地址

在内部参与一句hostname:’0.0.0.0′,注意:必须使用单引号,且使用0.0.0.0

cd _site

澳门金沙国际 19

vim app.js

修改形成之后,依旧在elasticsearch-head-master目录下运行服务

修改head的总是地址

grunt server

this.base_uri = this.config.base_uri ||
this.prefs.get(“app-base_uri”) || “”;

澳门金沙国际 20

把localhost改为友好es服务器的地方

单机双实例:

this.base_uri = this.config.base_uri ||
this.prefs.get(“app-base_uri”) || “”;

要是要满意1台装多少个或以上elsearch步骤也很粗大略,如下:

运行head

将elsearch复制一份:

敞开防火墙

cp -r elasticsearch-5.1.1 elasticsearch-5.1.1.bak

firewall-cmd –zone=public –add-port=9100/tcp –permanent

修改elasticsearch.yml

firewall-cmd –reload

node.name: dcang-node-2#节点名称不可能平等

第二开启es

path.data: /data/elasticsearch/es/data2#数据目录不能够一如既往

然后在head目录中elasticsearch-head-master执行

path.logs: /data/elasticsearch/es/logs2 #日记目录不可能同1

澳门金沙国际 ,npm install

http.port: 9201 # HTTP访问地址无法争持

cd /usr/local/elasticsearchhead/elasticsearch-head-master/

接下来运转elsearch即可

grunt server

问题:

1.Java HotSpot 64-Bit Server VM warning: INFO:
os::commit_memory(0x0000000085330000, 2060255232, 0) failed;
error=’Cannot allocate memory’

消除办法:

由于elasticsearch伍.0暗中认可分配jvm空间大小为2G,修改jvm空间分配

假诺利用虚拟机安装内部存储器最棒不低于2G

cd config/

vim jvm.options

-Xms512m

-Xms512m

2.org.elasticsearch.bootstrap.StartupException:
BindTransportException[Failed to bind to [9300-9400]]; nested:
BindException[Cannot assign requested address];

消除办法:

vim elasticsearch.yml

设置network.host = 0.0.0.0

3.[1]: max virtual memory areas vm.max_map_count [65530] is too
low, increase to at least [262144]

化解办法:

提高vm.max_map_count的大小

切换到root用户

vim /etc/sysctl.conf

在里头添加

vm.max_map_count=262144

然后实施

sysctl -p

4.java.lang.IllegalStateException: Received message from unsupported
version: [2.0.0] minimal compatible version is: [5.0.0]

化解办法:

把springboot中的es包换来高于二.0的本子

springboot近来只辅助大版本为二的elasticsearch,所以我们把springboot换到越来越高版本额

相关文章