你好,游客 登录 注册 搜索
背景:
阅读新闻

Nginx日志常用分析命令汇总

[日期:2017-01-01] 来源:Linux社区  作者:曳尾于涂 [字体: ]

一、概念

并发连接数
    客户端向服务器发起请求,并建立了TCP连接。每秒钟服务器链接的总TCP数量,就是并发连接数。
请求数
    请求数指的是客户端在建立完连接后,向http服务发出GET/POST/HEAD数据包。
    拓展:服务器返回了请求结果后有两种情况:

http数据包头包含Close字样,关闭本次TCP连接;

http数据包头包含Keep-Alive字样,本次连接不关闭,可继续通过该连接继续向http服务发 送请求,用于减少TCP并发连接数。

PV(page view)
    访问量,即页面浏览量或者点击量,用户每次对网站的访问均被记录1次。用户对同一页面的多次访问,访问量值累计
UV(unique visitor)
    独立访客量。将每个独立设备(以cookie为依据)视为一位访客,一天之内(00:00-24:00)的访客数量。一天之内相同cookie的访问只被计算1次。
独立IP
    00:00-24:00内相同IP地址只被计算一次

二、Nginx配置

版本
    nginx version: nginx/1.10.2
日志配置项
    access_log    /var/log/access.log  access;

日志格式
log_format access  '$remote_addr - $remote_user [$time_local] "$request" $request_body  '
                  '$upstream_addr $upstream_response_time $request_time '
                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" $http_x_forwarded_for ' ;

三、常用日志分析命令
1、总请求数

wc -l access.log |awk '{print $1}'

2、独立IP数

awk '{print $1}' access.log|sort |uniq |wc -l

3、每秒客户端请求数 TOP5

awk  -F'[ []' '{print $5}' access.log|sort|uniq -c|sort -rn|head -5

4、访问最频繁IP Top5

awk '{print $1}' access.log|sort |uniq -c | sort -rn |head -5

5、访问最频繁的URL TOP5

awk '{print $7}' access.log|sort |uniq -c | sort -rn |head -5

6、响应大于10秒的URL TOP5

awk '{if ($12 > 10){print $7}}' access.log|sort|uniq -c|sort -rn |head -5

7、HTTP状态码(非200)统计 Top5

awk '{if ($13 != 200){print $13}}' access.log|sort|uniq -c|sort -rn|head -5

8、分析请求数大于50000的源IP的行为

awk '{print $1}' access.log|sort |uniq -c |sort -rn|awk '{if ($1 > 50000){print $2}}' > tmp.txt
for i in $(cat tmp.txt)
do
  echo $i  >> analysis.txt
  echo "访问行为统计" >> analysis.txt
  grep $i  access.log|awk '{print $6}' |sort |uniq -c | sort -rn |head -5 >> analysis.txt
  echo "访问接口统计" >> analysis.txt
  grep $i  access.log|awk '{print $7}' |sort |uniq -c | sort -rn |head -5 >> analysis.txt
  echo -e "\n"  >> /root/analysis/$Ydate.txt
done

注:如果源IP来自代理服务器,应将第一条命令过滤地址改为$http_x_forwarded_for地址
awk '{print $NF}' access.log|sort |uniq -c |sort -rn|awk '{if ($1 > 50000){print $2}}' > tmp.txt

四、延伸
    Nginx日志按日切割后可使用上述命令得出每日网站流量分析概况,然后可以写一个Python脚本读取后发送。也可以将数据导入MySQL然后使用Python绘制曲线。当然使用日志分析系统,如ELK,效果更佳。

更多Nginx相关教程见以下内容: 

CentOS 6.2实战部署Nginx+MySQL+PHP http://www.linuxidc.com/Linux/2013-09/90020.htm

搭建基于Linux6.3+Nginx1.2+PHP5+MySQL5.5的Web服务器全过程 http://www.linuxidc.com/Linux/2013-09/89692.htm

CentOS 6.3下Nginx性能调优 http://www.linuxidc.com/Linux/2013-09/89656.htm

CentOS 6.3下配置Nginx加载ngx_pagespeed模块 http://www.linuxidc.com/Linux/2013-09/89657.htm

Ubuntu 16.04 LTS 上安装 Nginx、MariaDB 和 HHVM 运行 WordPress http://www.linuxidc.com/Linux/2016-10/136435.htm

Nginx安装配置使用详细笔记 http://www.linuxidc.com/Linux/2014-07/104499.htm

Linux(RHEL7.0)下安装Nginx-1.10.2 http://www.linuxidc.com/Linux/2016-10/136484.htm

Nginx日志过滤 使用ngx_log_if不记录特定日志 http://www.linuxidc.com/Linux/2014-07/104686.htm

Nginx 的详细介绍请点这里
Nginx 的下载地址请点这里 

本文永久更新链接地址http://www.linuxidc.com/Linux/2017-01/139044.htm

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款