你好,游客 登录 注册 搜索
背景:
阅读新闻

基于CentOS 6.9搭建ELK环境指南

[日期:2017-07-13] 来源:FreeBuf.COM  作者:s1riu5 [字体: ]

5.利用filebeat和redis搭建实时分析环境

下载安装redis

yum install redis

/etc/init.d/redis start

filebeat从官网下载rpm包直接安装即可

在filebeat中,/var/lib/filebeat/registry是文件读取的记录,为了让filebeat从头开始读,把他删了

修改filebeat配置文件

filebeat.prospectors:

- type: log

  paths:

    - /var/log/httpd/access_log

  tail_files: false

#- input_type: log

#  paths:

#    - /var/log/nginx/*.log

#  encoding: utf-8

#  document_type: my-nginx-log

#  scan_frequency: 10s

#  harvester_buffer_size: 16384

#  max_bytes: 10485760

#  tail_files:

output.redis:

  enabled: true

  hosts: ["127.0.0.1:6379"]

  key: "filebeat"

  db: 0

  worker: 1

  timeout: 5s

  max_retries: 3

#output.console:

#  pretty: true

启动filebeat

filebeat -e -c  /etc/filebeat/shadow.yml

去redis检查一下

有filebeat证明检查成功

既然redis和filebeat的通道打通了,然后就是打通redis和elasticsearch

#/usr/share/logstash/config/logstash_index.conf

input {

      redis {                        #去redis队列取数据;

          host => "127.0.0.1"        #连接redis服务器;

          port => 6379               #连接redis端口;

          data_type => "list"        #数据类型;

          key => "filebeat"          #队列名称;

          batch_count => 1

      }

}

filter {

    grok {

        match => ["message",  "%{COMBINEDAPACHELOG}"]

    }

    date {

        match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]

  }

}

output {

    elasticsearch {                                  #Logstash输出到elasticsearch;

      hosts => ["localhost:9200"]                    #elasticsearch为本地;

      index => "logstash-apache-%{+YYYY.MM.dd}"       #创建索引;

      document_type => "apache"                       #文档类型;

      workers => 1                                   #进程数量;

      flush_size => 20000

      idle_flush_time => 10

 }

#stdout{codec => rubydebug}

}
./logstash -f ../config/logstash_index.conf

访问一下apache服务器,请求变成了6个

6.配置守护进程

每次启动的程序和服务太多了,为了避免麻烦用supervisor放到后台

yum install supervisor

写配置文件

#/etc/supervisord.conf

[program:iptables]

command=/etc/init.d/iptables stop

user=root

stdout_logfile=/tmp/elk/iptables.log

[program:nginx]

command=nginx

user=root

stdout_logfile=/tmp/elk/nginx.log

[program:redis]

command=/etc/init.d/redis start

user=root

stdout_logfile=/tmp/elk/redis.log

[program:kibana]

command=/etc/init.d/kibana start

user=root

stdout_logfile=/tmp/elk/kibana.log

stderr_logfile=/tmp/elk/kibana_error.log

[program:filebeat]

command=/usr/share/filebeat/bin/filebeat -c /etc/filebeat/shadow.yml

user=root

stdout_logfile=/tmp/elk/filebeat.log

[program:logstash]

command=/usr/share/logstash/bin/logstash -f /usr/share/logstash/config/logstash_index.conf

user=root

stdout_logfile=/tmp/elk/logstash.log

[program:elasticsearch]

command=/etc/init.d/elasticsearch start

user=root

stdout_logfile=/tmp/elk/elasticsearch.log

stderr_logfile=/tmp/elk/ela_err.log

[supervisord]

开机一条命令搞定

supervisord -c /etc/supervisord.conf

Linux日志分析ELK环境搭建  http://www.linuxidc.com/Linux/2017-07/145494.htm

完整PDF文档可以到Linux公社资源站下载:

------------------------------------------分割线------------------------------------------

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017年资料/7月/13日/基于CentOS 6.9搭建ELK环境指南/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

------------------------------------------分割线------------------------------------------

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-07/145636.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款