侧边栏壁纸
博主头像
惊羽博主等级

hi ,我是惊羽,前生物学逃兵,现系统工程沉迷者 . 贝壳签约工程师 , 曾被雇佣为 联拓数科 · 支付研发工程师 、京东 · 京东数科 · 研发工程师、中国移动 · 雄安产业研究院 · 业务中台技术负责人 .

  • 累计撰写 100 篇文章
  • 累计创建 14 个标签
  • 累计收到 9 条评论

运维(1) - 同一日志ELK

惊羽
2021-03-16 / 0 评论 / 0 点赞 / 177 阅读 / 1,761 字 / 正在检测是否收录...
温馨提示:
本文最后更新于 2021-06-18,若内容或图片失效,请留言反馈。部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

搭建java环境

默认安装openJDK,8版本.

yum install java

下载 zookeeper 并安装

下载地址

https://www.apache.org/dyn/closer.cgi/zookeeper/

下载 kafka 并安装

http://kafka.apache.org/downloads (需要更改一个配置,允许远程客户端连接)

下载 logstash 并安装.

下载地址

https://www.elastic.co/cn/downloads/logstash根目录下

切换到logstash根目录下

cd /logstash/logstash-7.6.2

更新logstash 配置文件,指定输入为kafka,输出为es,不同的topic可用type区分.

vim logstash-kafka.conf

示意图
3ed5efb22ffc4426a287263e5bce828a.png

启动 logstash

Run bin/logstash -f logstash-kafka.conf

下载 elasticsearch 并安装.

下载地址

https://www.elastic.co/cn/downloads/elasticsearch

切换到 elk用户

groupadd elk
useradd -g elk elk
创建ELK运行目录
mkdir /elk
chown -R elk:elk /elk

切换到 root 用户

su root

添加磁盘相关配置(否则可能安装失败)

vim /etc/security/limits.conf
*  soft nproc 65536
*  hard nproc 65536
*  soft nofile 65536
*  hard nofile 65536
vi /etc/sysctl.conf 
vm.max_map_count=655360
sysctl -p

重新登录 elk

su elk

切换到es根目录

cd /elk/elasticsearch-7.6.2

取消注释保留一个节点

vim config/elasticsearch.yml
cluster.initial_master_nodes: ["node-1"]

启动es

./bin/elasticsearch -d

下载 kibana 并安装.

https://www.elastic.co/cn/downloads/kibana

// 切换到 kibana 用户
groupadd kibana
useradd -g kibana kibana
chown -R kibana:kibana /kibana
// 切换到kibana目录下
cd /kibana/kibana-7.6.2-linux-x86_64

更改配置文件

vim config/kibana.yml

更新示意图

416e890420fe4a15b68300b6a17d9cef.png

启动kibana

./bin/kibana
0
广告 广告

评论区