请选择 进入手机版 | 继续访问电脑版

ELK RPM安装和分析系统日志配置

[复制链接]
时间苍白了等待 发表于 2021-1-2 17:44:32 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
1. 实验情况

1.1 同步时间

1.1.1 安装ntpdate下令

  1. yum -y install ntpdate
复制代码
1.1.2 同步时间利用

  1. ntpdate ntp.aliyun.com
复制代码
1.2 虚拟机准备

利用系统均为centos7
规划:
elasticsearch 服务器: 192.168.153.183
kibana 服务器:192.168.153.184
logstash 服务器: 192.168.153.185
2. elasticsearch 安装及设置

elasticsearch服务器IP所在 192.168.153.183
elasticsearch 需要jdk情况
2.1 安装jdk

  1. 安装jdk[root@localhost elk]# rpm -ivh jdk-8u131-linux-x64_.rpm Preparing...                          ################################# [100%]Updating / installing...   1:jdk1.8.0_131-2000:1.8.0_131-fcs  ################################# [100%]Unpacking JAR files...        tools.jar...        plugin.jar...        javaws.jar...        deploy.jar...        rt.jar...        jsse.jar...        charsets.jar...        localedata.jar...[root@localhost elk]# 验证jdk安装乐成[root@localhost elk]# java -versionjava version "1.8.0_131"Java(TM) SE Runtime Environment (build 1.8.0_131-b11)Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)[root@localhost elk]#
复制代码
2.2 安装elasticsearch

  1. [root@localhost elk]# rpm -ivh elasticsearch-7.3.2-x86_64.rpmwarning: elasticsearch-7.3.2-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEYPreparing...                          ################################# [100%]Updating / installing...   elasticsearch-0:7.3.2-1          ################################# [100%]### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd sudo systemctl daemon-reload sudo systemctl enable elasticsearch.service### You can start elasticsearch service by executing sudo systemctl start elasticsearch.serviceCreated elasticsearch keystore in /etc/elasticsearch
复制代码
2.3 修改elasticsearch的设置文件

  1. [root@localhost elk]# vim /etc/elasticsearch/elasticsearch.yml 17 cluster.name: my-application        # 集群名称23 node.name: 192.168.153.183      #本节点名称33 path.data: /var/lib/elasticsearch   #数据存储目次37 path.logs: /var/log/elasticsearch  #日志存储目次55 network.host: 0.0.0.0                   #本呆板所有IP都可监听59 http.port: 9200                                                 #默认监听端口68 discovery.seed_hosts: ["192.168.153.183"]    # 发现的主机72 cluster.initial_master_nodes: ["192.168.153.183"]    #主节点名称,与上面23行的设置保持一致
复制代码
2.4 设置JVM(可选)

  1. jvm 运行内存不敷时可修改[root@localhost elk]# vim /etc/elasticsearch/jvm.options  22 -Xms1g   为JVM启动时申请的最小内存 23 -Xmx1g   为JVM可申请的最大内存
复制代码
2.5 启动elasticsearch

  1. [root@localhost elk]# systemctl start elasticsearch
复制代码
2.6 检察端口验证elasticsearch是否启动乐成

9200 为elasticsearch所监听的端口,9300 为集群节点之间通信的端口
  1. [root@localhost elk]# netstat -nltp|grep javatcp6       0      0 :::9200                 :::*                    LISTEN      8920/java           tcp6       0      0 :::9300                 :::*                    LISTEN      8920/java                [root@localhost elk]#
复制代码
2.7 欣赏器输入 IP:9200 验证


3. kibana 安装及设置

kibana服务器IP所在 192.168.153.184
3.1 安装kibana

  1. [root@localhost ~]# rpm -ivh kibana-7.3.2-x86_64.rpm warning: kibana-7.3.2-x86_64.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEYPreparing...                          ################################# [100%]Updating / installing...   1:kibana-7.3.2-1                   ################################# [100%][root@localhost ~]#
复制代码
3.2 修改kibana设置文件

  1. [root@localhost ~]# vim /etc/kibana/kibana.yml 2 server.port: 5601                          # kibana默认监听的端口7 server.host: "192.168.153.184"    # kibana 监听的IP所在28 elasticsearch.hosts: ["http://192.168.153.183:9200"]    # elasticsearch 的所在和端口114 i18n.locale: "zh-CN"   $设置kibana语言为中文
复制代码
3.3 开启kibana服务

  1. [root@localhost ~]#  systemctl start kibana
复制代码
3.4 欣赏器输入 IP:5601 检察

访问乐成

4. logstash安装及设置

logstash服务器IP所在 192.168.153.185
4.1 安装jdk情况

  1. [root@localhost ~]# rpm -ivh jdk-8u131-linux-x64_.rpm Preparing...                          ################################# [100%]Updating / installing...   1:jdk1.8.0_131-2000:1.8.0_131-fcs  ################################# [100%]Unpacking JAR files...        tools.jar...        plugin.jar...        javaws.jar...        deploy.jar...        rt.jar...        jsse.jar...        charsets.jar...        localedata.jar...
复制代码
4.2 安装logstash

  1. [root@localhost ~]# rpm -ivh logstash-7.3.2.rpm warning: logstash-7.3.2.rpm: Header V4 RSA/SHA512 Signature, key ID d88e42b4: NOKEYPreparing...                          ################################# [100%]Updating / installing...   1:logstash-1:7.3.2-1               ################################# [100%]Using provided startup.options file: /etc/logstash/startup.options/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/pleaserun-0.0.30/lib/pleaserun/platform/base.rb:112: warning: constant ::Fixnum is deprecatedSuccessfully created system startup script for Logstash
复制代码
4.3 logstash设置文件的位置为

  1. /etc/logstash/logstash.yml
复制代码
无需修改
4.4 切换 /etc/logstash/conf.d/ 目次下,编写以.conf末端的设置文件

以分析 /var/log/messages 为例
先给 /var/log/messages 增加读的权限
  1. [root@localhost ~]# ll /var/log/messages-rw-r--r--. 1 root root 136170 Jan  1 12:09 /var/log/messages
复制代码
再编写conf设置文件
  1. [root@localhost ~]# cd /etc/logstash/conf.d/[root@localhost conf.d]# lssystem.conf[root@localhost conf.d]# cat system.conf input{  file {    path => "/var/log/messages"    type => "system-log"        start_position => "beginning"  }}output{        elasticsearch {          hosts => "192.168.153.183:9200"  #elasticsearch服务器的IP所在及端标语          index => "system-log_%{+YYYY.MM.dd}"        }        }        
复制代码
4.5 编写 4.4 文件之后开启logstash服务

  1. [root@localhost conf.d]# systemctl start logstash
复制代码
4.6 检察是否有logstash的日志文件生成

  1. [root@localhost conf.d]# watch ls /var/log/logstash/Every 2.0s: ls /var/log/logstash/                                                Thu Dec 31 11:37:54 2020logstash-plain.log  logstash-slowlog-plain.log
复制代码
有日志文件生成时按 Ctrl+c 退出
4.7 追踪检察日志是否报错

  1. [root@localhost conf.d]# tailf /var/log/logstash/logstash-plain.log [2020-12-31T09:34:09,320][WARN ][org.logstash.instrument.metrics.gauge.LazyDelegatingGauge] A gauge metric of an unknown type (org.jruby.specialized.RubyArrayOneObject) has been create for key: cluster_uuids. This may result in invalid serialization.  It is recommended to log an issue to the responsible developer/development team.[2020-12-31T09:34:09,332][INFO ][logstash.javapipeline    ] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>500, :thread=>"#"}[2020-12-31T09:34:09,337][INFO ][logstash.outputs.elasticsearch] Attempting to install template {:manage_.......
复制代码
5. kibana 添加索引模式

5.1


5.2


5.3


5.4 创建乐成


5.5


5.5 可视化的创建

1)

2)

3)检察创建的可视化



6.分析nginx日志

6.1 在logstash服务器上源码安装nginx

安装链接>> https://blog.csdn.net/m0_46674735/article/details/111125960
6.2 在/etc/logstash/conf.d/ 目次下,编写以.conf末端的设置文件,同时分析系统日志和nginx日志

  1. [root@localhost ~]# cd /etc/logstash/conf.d/[root@localhost conf.d]# vim system_nginx.conf input {  file {    path => "/var/log/messages"    type => "system.log"    start_position => "beginning"  }  file {    path => "/usr/local/nginx/logs/*.log"    type => "nginx.log"    start_position => "beginning"  }}output {  if [type] == "system.log" {        elasticsearch {          hosts => "192.168.153.183:9200"          index => "system.log_%{+YYYY.MM.dd}"        }     }  if [type] == "nginx.log" {        elasticsearch {          hosts => "192.168.153.183:9200"          index => "nginx.log_%{+YYYY.MM.dd}"        }     }}
复制代码
6.3 编写完成conf文件后重启logstash服务

  1. [root@localhost conf.d]# systemctl restart logstash
复制代码
6.4 在kibana添加索引

1)

2)

3)

4)添加乐成

5)检察添加的nginx索引

6.5 索引运行状态颜色为yellow的原因

只有一台呆板,却设置了索引副本,这样索引的副本没有办法分配,因此就是 yellow 状态


来源:https://blog.csdn.net/m0_46674735/article/details/112004006
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则


专注素材教程免费分享
全国免费热线电话

18768367769

周一至周日9:00-23:00

反馈建议

27428564@qq.com 在线QQ咨询

扫描二维码关注我们

Powered by Discuz! X3.4© 2001-2013 Comsenz Inc.( 蜀ICP备2021001884号-1 )