你好,游客 登录 注册 搜索
背景:
阅读新闻

ELK(ElasticSearch,Logstash,Kibana)搭建实时日志分析平台

[日期:2017-04-14] 来源:Linux社区  作者:Linux [字体: ]

ELK平台介绍

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站: https://www.elastic.co/products

  • Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
  • Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。
  • Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

画了一个ELK工作的原理图:

wKioL1jsNbLjc7NOAAExS6LeEAk535.png

如图:Logstash收集AppServer产生的Log,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser。

ELK平台搭建

系统环境

System: CentOS release 6.6 (Final)

ElasticSearch: elasticsearch-5.3.0.tar.gz

Logstash: logstash-5.3.0.tar.gz

Kibana: kibana-5.3.0-linux-x86_64.tar.gz

Java: openjdk version  ”1.8.0_51″

ELK官网下载: https://www.elastic.co/downloads/

wKioL1jsN-ThuU9yAABdBSZzgOc286.png

ElasticSearch

配置ElasticSearch:

  useradd elk              #ES不允许root启动服务

tar -zxvf elasticsearch-5.3.0.tar.gz
cd elasticsearch-5.3.0
vi config/elasticsearch.yml

 

修改以下配置项:

cluster.name: es_cluster
node.name: node0
path.data: /tmp/elasticsearch/data
path.logs: /tmp/elasticsearch/logs
network.host: 172.16.160.122
http.port: 9200

 

其他的选项保持默认,然后启动ES:

  su elk

./bin/elasticsearch &

  3、

补:启动异常:ERROR: bootstrap checks failed
  system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

  问题原因:因为Centos6不支持SecComp,而ES5.2.1默认bootstrap.system_call_filter为true进行检测,所以导致检测失败,失败后直接导致ES不能启动。

  解决方法:在elasticsearch.yml中配置,注意要在Memory下面:
  bootstrap.memory_lock: false

  bootstrap.system_call_filter: false

 

wKioL1jsbwqRfbbrAABf9p1jnVs303.png

可以看到,它跟其他的节点的传输端口为9300,接受HTTP请求的端口为9200。

Logstash

Logstash的功能如下:

wKioL1jse_XQs7fpAACh9CJ4pRA963.png

其实它就是一个 收集器 而已,我们需要为它指定Input和Output(当然Input和Output可以为多个)。由于我们需要把Java代码中Log4j的日志输出到ElasticSearch中,因此这里的Input就是Log4j,而Output就是ElasticSearch。

配置Logstash:

tar -zxvf logstash-5.3.0.tar.gz
cd logstash-5.3.0

 

编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为log4j_to_es.conf):

mkdir config
vi config/a_es.conf

input {
        file {
        path => "/tmp/a.log"                                    #创建的测试日志文件
    }
}
filter {

}
output {
        stdout { codec => rubydebug }
        elasticsearch {
                index => "test_%{+YYYY.MM.dd}"        #索引信息
                hosts => [ "172.16.160.122:9200" ]
        }
}

 

    ./bin/logstash -f config/a_es.conf  &            #启动服务

 

如下图,证明通信无误

wKioL1jt-qnDfqp0AACyiHH9sPw776.png

Kibana

配置Kibana:

tar -zxvf kibana-4.3.0-linux-x86.tar.gz
cd kibana-4.3.0-linux-x86
vi config/kibana.yml

server.port: 5601
server.host: "172.16.160.122"
elasticsearch.url: http://172.16.160.122:9200
kibana.index: ".kibana.yml"

./bin/kibana

wKioL1jt_FTSfoZaAAC_43dixZc821.png

Elasticsearch1.7.3升级到2.4.2过程笔记  http://www.linuxidc.com/Linux/2017-03/142137.htm

ElasticSearch 基础和集群搭建  http://www.linuxidc.com/Linux/2017-02/140491.htm

Elasticsearch的安装,运行和基本配置 http://www.linuxidc.com/Linux/2016-07/133057.htm

使用Elasticsearch + Logstash + Kibana搭建日志集中分析平台实践  http://www.linuxidc.com/Linux/2015-12/126587.htm

Ubuntu 14.04搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana) http://www.linuxidc.com/Linux/2016-06/132618.htm

Elasticsearch1.7升级到2.3实践总结  http://www.linuxidc.com/Linux/2016-11/137282.htm

Ubuntu 14.04中Elasticsearch集群配置  http://www.linuxidc.com/Linux/2017-01/139460.htm

Elasticsearch-5.0.0移植到Ubuntu 16.04  http://www.linuxidc.com/Linux/2017-01/139505.htm

ElasticSearch 的详细介绍请点这里
ElasticSearch 的下载地址请点这里 

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-04/142772.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款