运维(1) - 同一日志ELK

搭建java环境

默认安装openJDK,8版本.

yum install java

下载 zookeeper 并安装

下载地址

https://www.apache.org/dyn/closer.cgi/zookeeper/

下载 kafka 并安装

http://kafka.apache.org/downloads (需要更改一个配置,允许远程客户端连接)

下载 logstash 并安装.

下载地址

https://www.elastic.co/cn/downloads/logstash根目录下

切换到logstash根目录下

cd /logstash/logstash-7.6.2

更新logstash 配置文件,指定输入为kafka,输出为es,不同的topic可用type区分.

vim logstash-kafka.conf

示意图

启动 logstash

Run bin/logstash -f logstash-kafka.conf

下载 elasticsearch 并安装.

下载地址

https://www.elastic.co/cn/downloads/elasticsearch

切换到 elk用户

groupadd elk
useradd -g elk elk
创建ELK运行目录
mkdir /elk
chown -R elk:elk /elk

切换到 root 用户

su root

添加磁盘相关配置(否则可能安装失败)

vim /etc/security/limits.conf
*  soft nproc 65536
*  hard nproc 65536
*  soft nofile 65536
*  hard nofile 65536
vi /etc/sysctl.conf 
vm.max_map_count=655360
sysctl -p

重新登录 elk

su elk

切换到es根目录

cd /elk/elasticsearch-7.6.2

取消注释保留一个节点

vim config/elasticsearch.yml
cluster.initial_master_nodes: ["node-1"]

启动es

./bin/elasticsearch -d

下载 kibana 并安装.

https://www.elastic.co/cn/downloads/kibana

// 切换到 kibana 用户
groupadd kibana
useradd -g kibana kibana
chown -R kibana:kibana /kibana
// 切换到kibana目录下
cd /kibana/kibana-7.6.2-linux-x86_64

更改配置文件

vim config/kibana.yml

更新示意图

启动kibana

./bin/kibana