你好,游客 登录 注册 搜索
背景:
阅读新闻

ELK日志服务器的快速搭建并收集Nginx日志

[日期:2017-03-13] 来源:Linux社区  作者:shaonian [字体: ]

今天给大家带来的是开源实时日志分析 ELK , ELK 由 ElasticSearch 、 Logstash 和 Kiabana 三个开源工具组成。官方网站:https://www.elastic.co

其中的3个软件是:

Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。

Logstash 是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。

kibana 也是一个开源和免费的工具,他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志

系统 系统需要安装的软件 ip 描述
CentOS6.4 Elasticsearch/test5 192.168.48.133 搜索存储日志
centos6.4 Elasticsearch/test4 192.168.48.131 搜索存储日志
centos6.4 Logstash/nginx/test1 192.168.48.129  用来收集日志给上面
centos6.4 kibana,nginx/test2 192.168.48.130 用来后端的展示

架构原理图:

一、先安装elasticsearch集群,并测试通过再进行其他软件安装。

在test5,test4上安装分别安装elasticsearch-2.3.3.rpm  前提要安装java1.8 步骤如下:

yum remove java-1.7.0-openjdk

rpm -ivh jdk-8u91-linux-x64.rpm

yum localinstall elasticsearch-2.3.3.rpm

配置elasticsearch  在目录/etc/elasticsearch目录下面  lasticsearch.yml  elasticsearch.yml.bak  logging.yml  scripts

编辑lasticsearch.yml

修改如下配置

cluster.name: myelk  #设置集群的名称,在一个集群里面都是这个名称,必须相同

node.name: test5    #设置每一个节点的名,每个节点的名称必须不一样。

path.data: /path/to/data    #指定数据的存放位置,线上的机器这个要放到单一的大分区里面。

path.logs: /path/to/logs    #日志的目录

bootstrap.mlockall: true  #启动最优内存配置,启动就分配了足够的内存,性能会好很多,测试我就不启动了。

network.host: 0.0.0.0  #监听的ip地址,这个表示所有的地址。

http.port: 9200      #监听的端口号

discovery.zen.ping.unicast.hosts: ["192.168.48.133", "192.168.48.131"]  #知道集群的ip有那些,没有集群就会出现就一台工作

建立目录

mkdir -pv /pach/to/{data,logs}

chown elasticsearch.elasticsearch /path -R

启动服务器  service elasticsearch start  并查看监控端口启动

访问9200端口查看服务

两台的配置都一样就是上面的IP和note名称要配置不一样就行

安装插件 head和kopf 之后访问 ip:9200/_plugin/head  和ip:9200/_plugin/kopf  (插件可以图形查看elasticsearch的状态和删除创建索引)

/usr/share/elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf

/usr/share/elasticsearch/bin/plugin install mobz/elasticsearch-head

更多详情见请继续阅读下一页的精彩内容http://www.linuxidc.com/Linux/2017-03/141729p2.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款