手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Rsyslog日志收集服务并结合Loganalyzer工具展示

[日期:2017-05-12] 来源:Linux社区  作者:guopeng7216 [字体: ]

一、日志概述

1、rsyslog简介
  syslog是日志收集存储系统,负责记录遵守此服务的内核、程序的日志信息。一般记录为:“日期时间,主机,进程:事件”。syslog不仅可以记录本地的系统日志,也可以通过tcp, udp协议记录远程主机的程序日志信息。

syslog:系统日志,是一种服务,有两个进程
  syslogd:记录应用程序相关的日志
  klogd:记录内核相关的日志

rsyslog:是syslog的升级版,使用多线程并发记录本地或远程日志,支持存储日志信息在MySQL,PGSQL, Oracle等RDBMS中。同时拥有强大的过滤器功能,可以对日志中任意内容进行过滤。
  rsyslog是CentOS 6以后的系统使用的日志系统,与之前的syslog日志系统相比,具有以下优点:
    支持多线程
    支持TCP、SSL、TLS、RELP等协议
    强大的过滤器,可实现过滤日志信息中的任意部分
    支持自定义输出格式
    适用于企业级别日志记录需求
    模块化

日志的记录格式:
  日期时间 主机 进程[pid]:事件内容

2、rsyslog的一些概念
  系统上的应用程序指定某一信道记录日志,信道默认已经设定了日志的记录级别,一旦应用程序产生了日志信息,通过该信道就会把日志文件记录在指定的本地文件、数据库或远程rsyslog服务器中。
当然应用程序输出的日志一般也会按照级别划分,比如sshd_conf中就定义了信道为authpriv,级别为info的日志输出:
# Logging — SyslogFacility AUTHPRIV — #LogLevel INFO

3、rsyslog支持的facility与priority
facility:设施、信道
  从功能或程序上对日志进行分类,并由专门的工具负责记录其日志
常用的facility:      lpr: 打印相关的日志      auth: 认证相关的日志      user: 用户相关的日志      cron: 计划任务相关的日志      kern: 内核相关的日志      mail: 邮件相关的日志      mark: 标记相关的日志      news: 新闻相关的日志      uucp: 文件copy相关的日志    daemon: 系统服务相关的日志  authpri: 授权相关的日志  security: 安全相关的日志    syslog: 由syslogd服务产生的日志信息,虽然服务名称改为rsyslogd,但是很多配置都还是沿用了syslogd的,这里并没有修改服务名  local0-local7:自定义相关的日志信息(自定义时可以使用通配符)priority:级别
debug          #有调式信息的,日志信息最多
info            #一般信息的日志,最常用
notice          #最具有重要性的普通条件的信息
warning, warn  #警告级别
err, error      #错误级别,阻止某个功能或者模块不能正常工作的信息
crit            #严重级别,阻止整个系统或者整个软件不能正常工作的信息
alert          #需要立刻修改的信息
emerg, panic    #内核崩溃等严重信息
###从上到下,级别从低到高,记录的信息越来越少,如果设置的日志内性为err,则日志不会记录比err级别低的日志二、rsyslog配置

1、程序环境
程序包:rsyslog
配置文件:/etc/rsyslog.conf, /etc/rsyslog.d/*.conf
主程序:/usr/sbin/rsyslogd
模块路径:/lib64/rsyslog/
Unit File:/usr/lib/systemd/system/rsyslog.service

2、配置文件/etc/rsyslog.conf格式详解
由三部分组成,必须严格按照配置段位置添加配置
[root@centos6.8~]# grep "####" /etc/rsyslog.conf
#### MODULES ####
#### GLOBAL DIRECTIVES ####
#### RULES ####

MODULES:定义装载的模块,如接下来的使用mysql模块记录日志则需要在这里配置
GLOBAL DIRECTIVES:定义了全局的环境
RULES:定义了记录日志的设施以及等级等信息
  定义规则的格式为:
    facility.priority  Target

facility可以使用的通配符:
  *:所有
  ,:列表,如f1,f2,f3...
  !:取反       
       
priority可以使用的通配符:
  *:所有日志级别
 none:没有任何级别,也就是不记录日志信息
           
Target:目标,指日志保存的位置
    可以使用的有:
        文件,如/var/log/messages
      用户:* 表示当前登录系统的所有用户
      日志服务器:@host  ##host: 必须要监听在tcp或udp协议514端口上提供服务;
      管道:| COMMAND
例如:

mail.info /var/log/maillog
      表示将mail产生的info日志级别以上的信息都记录在/var/log/maillog文件中
mail.=info  表示仅记录info级别日志
mail.!info  表示记录info以下级别的日志
*.info    表示所有设施的info级别
mail,news.info  表示mail和news都使用info级别

有些日志记录二进制格式:/var/log/wtmp,/var/log/btmp
/var/log/wtmp: 当前系统上成功登录的日志; last
/var/log/btmp:当前系统上失败的登录尝试; lastb
lastlog命令:显示当前系统每一个用户最近一次的登录时间;

3、配置文件/etc/rsyslog.conf详解
#### MODULES 日志的模块####
$ModLoad imuxsock  #imuxsock是模块名,支持本地系统日志的模块
$ModLoad imklog    #imklog是模块名, 支持内核日志的模块
#$ModLoad immark    #immark是模块名,支持日志标记
#$ModLoad imudp    #imupd是模块名,支持udp协议
#$UDPServerRun 514  #允许514端口接收使用UDP和TCP协议转发过来的日志
#$ModLoad imtcp    #imtcp是模块名,支持tcp协议
#$InputTCPServerRun 514
#### GLOBAL DIRECTIVES ####定义全局日志格式的指令
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat #定义日志格式默认模板
$IncludeConfig /etc/rsyslog.d/*.conf  #载入rsyslog.d文件中所有以conf结尾的文件
#### RULES ####
*.info;mail.none;authpriv.none;cron.none    /var/log/messages
#####记录所有日志类型的info级别以及大于info级别的信息到/var/log/messages,但是mail邮件信息,authpriv验证方面的信息和cron时间#任务相关的信息除外
authpriv.*            /var/log/secure
#####authpriv验证相关的所有信息存放在/var/log/secure
mail.*                -/var/log/maillog
#####邮件的所有信息存放在/var/log/maillog; 这里有一个-符号, 表示是使用异步的方式记录, 因为日志一般会比较大
cron.*                /var/log/cron
####计划任务有关的信息存放在/var/log/cron
*.emerg                * (*表示所有用户)
###记录所有的大于等于emerg级别信息, 以wall方式发送给每个登录到系统的人
uucp,news.crit        /var/log/spooler
####记录uucp,news.crit等存放在/var/log/spooler
local7.*              /var/log/boot.log
####本地服务器的启动的所有日志存放在/var/log/boot.log中

三、配置使用基于mysql存储日志信息,并结合前端loganalyzer工具分析日志
1、配置rsyslog日志存储于mysql中
(1) 准备好MySQL服务器,创建用户,授权对Syslog数据库的全部访问权限;
mysql> grant all on Syslog.* to 'syslog'@'192.168.137.%' identified by '123456';

(2) rsyslog服务起上安装rsyslog-mysql程序包;
yum install -y rsyslog-mysql

(3) 创建rsyslog-mysql依赖的数据库;
rpm -ql rsyslog-mysql

/lib64/rsyslog/ommysql.so
/usr/share/doc/rsyslog-mysql-5.8.10
/usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql    ##建库脚本位置

# yum install mysql -y  ##rsyslog服务器安装mysql客户端
# mysql -usyslog  -p123456  -h192.168.137.130  --default-character-set=utf8 < /usr/share/doc/rsyslog-mysql-5.8.10/createDB.sql

mysql> use Syslog
Database changed
mysql> show tables;
+------------------------+
| Tables_in_Syslog      |
+------------------------+
| SystemEvents          |
| SystemEventsProperties |

(4) 配置rsyslog使用ommysql模块
vim /etc/rsyslog.conf
#### MODULES ####
$ModLoad ommysql
#### RULES ####
*.info;mail.none;authpriv.none;cron.none :ommysql:192.168.137.130,Syslog,syslog,123456
重启rsyslog服务:    service rsyslog restart

(5)测试日志记录
rsyslog服务器:yum remove lrzsz
mysql> select * from SystemEvents\G 

更多详情见请继续阅读下一页的精彩内容http://www.linuxidc.com/Linux/2017-05/143690p2.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款