手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

CentOS7下搭建Elastic Stack 日志分析系统

[日期:2018-01-20] 来源:Linux社区  作者:luksl [字体: ]

本文介绍关于关于搭建elasticsearch+logstash(beats)+kibana实现搭建可视化的日志分析系统。
这几款软件也都是免费开源的,其官方站点为:https://www.elastic.co/cn/products

一、关于这几款软件的介绍

Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash是一个开源的用于收集,分析和存储日志的工具。
Kibana 也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以汇总、分析和搜索重要数据日志。
Beats是elasticsearch公司开源的一款采集系统监控数据的代理agent,是在被监控服务器上以客户端形式运行的数据收集器的统称,可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch,然后进行后续的数据分析活动。Beats由如下组成:
①Packetbeat:是一个网络数据包分析器,用于监控、收集网络流量信息,Packetbeat嗅探服务器之间的流量,解析应用层协议,并关联到消息的处理,其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议;
②Filebeat:用于监控、收集服务器日志文件,其已取代 logstash forwarder;
③Metricbeat:可定期获取外部系统的监控指标信息,其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务;
④Winlogbeat:用于监控、收集Windows系统的日志信息;
⑤Create your own Beat:自定义beat ,如果上面的指标不能满足需求,elasticsarch鼓励开发者 使用go语言,扩展实现自定义的beats,只需要按照模板,实现监控的输入,日志,输出等即可。
Beats 将搜集到的数据发送到 Logstash,经 Logstash 解析、过滤后,将其发送到 Elasticsearch 存储,并由 Kibana 呈现给用户。
Beats 作为日志搜集器没有Logstash 作为日志搜集器消耗资源,解决了 Logstash 在各服务器节点上占用系统资源高的问题。

二、实现elasticsearch+logstash+kibana的部署

(1)大概网络拓扑图

CentOS7下搭建Elastic Stack  日志分析系统
说明:
蓝线的线路图:文件---->logstash server------>elasticsearch
Logstash自己做过滤(input plugin)、转换(filter plugin)、输出(output plugin)机制然后直接传送到elasticsearch集群
红线的路线图说明:logstash agent 将数据传输到logstash server端,在servlet端进行统一的输出格式。此刻agent端输入是文件,输出到server;在logstash server 端,输入端是logstash agent ,输出端是elasticsearch集群。
墨色的线路图:加个redis做队列缓冲,为了减轻logstash server的压力,这也是主流的配置。
以上三种情况,就模拟第三种主流的配置,第一、二有兴趣的可以自己做一下。
(2)主机配置说明

主机名ip运行的服务
master 172.16.5.4 elasticsearch 、filebeat
server1 172.16.5.3 logstash agent、redis
server2 172.17.5.2 logstash server、kibana

由于本实验测试吃很大内存,就不搭建集群了,都是用一台服务器测试。

(3)部署elastic stach
①环境部署。
关闭iptables、selinux,同时时间同步、hosts文件进行解析。
命令:iptables -F 情况防火墙策略
setenforce 0 临时关闭selinux,如果想要永久关闭,修改配置文件,不多说。
②安装java环境,解决依赖关系,所有服务器上都安装。
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel -y
③安装elasticsearch安装包。
可以官网下载:https://www.elastic.co/cn/products/elasticsearch
我使用已经下载好的安装包
rpm -ivh elasticsearch-5.4.2.rpm
CentOS7下搭建Elastic Stack  日志分析系统
④修改配置文件
vim /etc/elasticsearch/jvm.options
修改内存:
-Xms1g
-Xmx1g 【建议生产环境32g,发挥最好的性能】
vim /etc/elasticsearch.yml
cluster.name: myels 【集群名字】
node.name: node1 【节点名字,主机名】
path.data: /data/els/data 【索引存放路径】
path.logs: /data/els/logs 【日志路径】
network.host: 0.0.0.0 【加入集群时使用的地址,本机地址】
http.port: 9200 【监听端口】
discovery.zen.ping.unicast.hosts: ["node1", "node2", "node3"] 【判断是否在同一个集群里,也就是是否都是监听同一端口】
discovery.zen.minimum_master_nodes: 2 【有几个节点,大于半数的最小值】
CentOS7下搭建Elastic Stack  日志分析系统


CentOS7下搭建Elastic Stack  日志分析系统

⑤创建elasticsearch使用的index和logs目录
mkdir -pv /els/{date,logs} && chown -R elasticsearch:elasticsearch /els/* 【创建索引和日志目录】
CentOS7下搭建Elastic Stack  日志分析系统
⑥启动服务
systemctl start elasticsearch.service
CentOS7下搭建Elastic Stack  日志分析系统
测试。
CentOS7下搭建Elastic Stack  日志分析系统
出现以上就是成功了
(4)在server1上部署logstash agent和redis
①安装logstash和redis包。
CentOS7下搭建Elastic Stack  日志分析系统
②查看logstash的配置文件
/etc/logstash/jvm.options 【运行环境,即配置内存等信息;server端建议大,agent默认就行】
/etc/logstash/conf.d 【配置插件使用的文件】
/etc/logstash/logstash.yml 【主配置文件,配置怎么运行】
config.reload.automatic: ture 【文件是否立即生效,默认false需要手动重启】
config.reload.devel:3 【配置文件多久重新加载一次】
配置文件不用修改。
③添加到path路径
vim /etc/profied.d/logstash.sh
export PATH=$PATH:/usr/share/logstash/bin
④启动服务
systemctl start logstash
CentOS7下搭建Elastic Stack  日志分析系统
⑤修改redis配置文件
建议修改该行,提高安全性,本实验就不修改了
requirepass ilinux.io
⑥启动redis服务
systemctl start redis
(5)实现server2服务器的logstash server和kibana的部署
①安装logstash、kibana安装包
CentOS7下搭建Elastic Stack  日志分析系统
②修改kibana配置文件
vim /etc/kibana/kibana.yml
server.host: "0.0.0.0"
server.name: "主机名“
elasticsearch.uri: "http://server:9200"
③启动logstash和kibana服务
systemctl start logstash.service
systemctl start redis.service
④浏览器输入http://localhost:5601,配置filebeat的索引(只需输入filebeat-即可)。
CentOS7下搭建Elastic Stack  日志分析系统
(6)模拟各服务的输入和输出指向的服务。
①模拟logstash agent端把日志文件输入给redis。
设置logstash的转换机制。
规则转换机制都放在 /etc/logstash/conf.d/
下面。
vim /etc/logstash/conf.d/redis.conf
CentOS7下搭建Elastic Stack  日志分析系统
补充:logstash内带自变量函数
rpm -ql logstash | grep patternt
CentOS7下搭建Elastic Stack  日志分析系统
为了更好的模拟生产环境,我们在此安装httpd服务。
yum install httpd
启动httpd服务
systemctl start httpd.service
建立20个页面
for i in {1..20};do echo "test${i}" > /var/www/html/test${i};done
访问20次生产日志
for i in {1..20};do j=$[$RANDOM%20+1];curl http://172.16.5.3/test${j}.html;done
②模拟logstash server端的输入端是redis,输出端是elasticsearch集群。
vim /etc/logstash/conf.d/redis.conf
CentOS7下搭建Elastic Stack  日志分析系统
③把els集群里面的内容发送给kibana
在第一个框里输入filebeat-*后稍等片刻,kibana会自动识别,OK后下面的按钮会由灰色变为可操控的按钮"Create",如上图所示。点击该按钮后,最后就会呈现如下图所示:
CentOS7下搭建Elastic Stack  日志分析系统
再回过头新建logstash的索引,浏览器输入http://server2:5601,点击左边栏的”Management” ===> 然后点击“index Patterns” ===>
CentOS7下搭建Elastic Stack  日志分析系统
然后点击“Add New”
CentOS7下搭建Elastic Stack  日志分析系统
点击“Crete”按钮创建logstash索引,创建完成后即会展现如下图所示:
CentOS7下搭建Elastic Stack  日志分析系统
三、实现beats的轻量级数据采集器
官方站点:https://www.elastic.co/cn/products/beats
CentOS7下搭建Elastic Stack  日志分析系统
工作模式:
beats——>redis——>logstash server——>els集群
说明:
此时使用beats代替了logstash agent,logstash 和filebeat都具有日志收集功能,filebeat更轻量,占用资源更少,但logstash 具有filter功能,能过滤分析日志。一般结构都是filebeat采集日志,然后发送到消息队列,redis,kafaka。然后logstash去获取,利用filter功能过滤分析,然后存储到elasticsearch中。
本实验在上个实验中基本都做完了,这个实验只做filebeat部分。
①安装包
yum install httpd filebeat -y
②修改配置文件
cd /etc/filebeat
vim filebeat.yml
filebeat.prospectors: 【从哪加载文件,默认即可】
input_type: log 【文件类型,日志,默认即可】
paths:

  • /var/log/httpd/access_log
  • /var/log/httpd/error_log
    hosts: 【存放路径】
    ③添加数据
    for i in {1..20};do echo "test $i" > /var/www/html/test${i}.html;done
    启动httpd服务和filebeat服务
    systemctl start httpd
    随意找个主机进行访问,为了得到日志
    for i in {1..20};do j=$[$RANDOM%20+1];curl http://172.16.0.4/test${j}.html
    ④输出给elasticsearch
    vim /etc/filebeat.yml
    output.elasticsearch :
    hosts: ["server1:9200“,“server2:9200”,“server3:9200”]
    直接输出给els不用输出插件了

    ⑤输出给logstash
    vim /etc/filebeat.yml
    output.logstash :
    hosts: ["172.16.0.4:5044]
    vim /etc/logstash/conf.d/Apachelog.conf
    input {
    beats {
    port => 5044
    }
    filter {
    grok {
    match => {
    "message" => "%{HTTPD_COMBINEDLOG}"
    }
    }
    date {
    match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
    }
    mutate {
    rename => {
    "agent" => "user_agent"
    }
    }
    geoip {
    source => "clientip"
    target => "geoip"
    database => "/etc/logstash/maxmind/GeoLite2-City.mmdb"
    }
    output {
    elasticsearsh {
    hosts => ["http://server1:9200","http://server2:9200","http://master:9200"]
    index => "logstash-%{+YYYY.MM.DD}
    document_type => "http_access_logs"
    }
    }
    启动:logstash -f apachelog.conf
    ⑥输出给redis
    编辑filebeat配置文件
    vim /etc/filebeat.yml
    添加:
    output.redis:
    hosts: ["redis服务器"]
    password: "iliunx.io"
    key: "httplog"
    db: 0
    timeout: 5
    重启filebeat
    systemctl restart filebeat
    进入redis查看数据
    redis-cli -a ilinux.io
    查看有多少数据
    LLEN httplogs
    在els server端配置输入机制
    vim /etc/elasticsearch/conf.d/redis2.conf
    input {
    redis {
    batch_count => 1
    data_type => "list"
    key => "httpdlogs"
    host => "192.168.0.2"
    port => 6379
    threads => 5
    password => "ilinux.io"
    }
    }

filter {
grok {
match => {
"message" => "%{HTTPD_COMBINEDLOG}"
}
}
date {
match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
}
mutate {
rename => {
"agent" => "user_agent"
}
}
geoip {
source => "clientip"
target => "geoip"
database => "/etc/logstash/maxmind/GeoLite2-City.mmdb"
}
output {
elasticsearsh {
hosts => ["http://server1:9200","http://server2:9200","http://server3:9200"]
index => "logstash-%{+YYYY.MM.DD}
document_type => "http_access_logs"
}
}

本文永久更新链接地址http://www.linuxidc.com/Linux/2018-01/150451.htm

linux
相关资讯       Elastic Stack 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款