手机版
你好,游客 登录 注册
背景:
阅读新闻

top命令引起系统负载升高

[日期:2014-11-29] 来源:Linux社区  作者:秦汉唐宋元 [字体: ]

Linux系统环境:CentOS 6.5 x86_64

一、问题表现

系统负载升高,某一个核的cpu资源被top进程耗尽,如下图所示:

top命令引起系统负载升高

二、分析过程

1.通过strace命令打印top进程信息,出现大量重复的系统调用,如下:

top命令引起系统负载升高

查看top进程的fd信息如下:

top命令引起系统负载升高

通过以上信息推断,top进程的输入输出异常,触发select返回文件描述符,但是文件描述符未处理或处理不当造成select无限触发,陷入死循环,占用一个核的cpu资源。

2.下载procps-3.2.8查看top源码,在第3398行找到了相关调用。如代码所示标准输入被放到了select调用里,因为标准输入错误导致触发select返回fd,无tv时长的等待。

3.

long file_flags;
int rc;
char c;
fd_set fs;
FD_ZERO(&fs);
FD_SET(STDIN_FILENO, &fs);
file_flags = fcntl(STDIN_FILENO, F_GETFL);
if(file_flags==-1) file_flags=0;
fcntl(STDIN_FILENO, F_SETFL, O_NONBLOCK|file_flags);
 
// check 1st, in case tv zeroed (by sig handler) before it got set
rc = chin(0, &c, 1);
if (rc <= 0) {
  // EOF is pretty much a "can't happen" except for a kernel bug.
  // We should quickly die via SIGHUP, and thus not spin here.
  // if (rc == 0) end_pgm(0); /* EOF from terminal */
  fcntl(STDIN_FILENO, F_SETFL, file_flags);
  select(1, &fs, NULL, NULL, &tv);
  fcntl(STDIN_FILENO, F_SETFL, O_NONBLOCK|file_flags);
}       
if (chin(0, &c, 1) > 0) {
  fcntl(STDIN_FILENO, F_SETFL, file_flags);
  do_key((unsigned)c);
} else {
  fcntl(STDIN_FILENO, F_SETFL, file_flags);
}

4.标准输入的处理代码如下:

static int chin (int ech, char *buf, unsigned cnt)
{
  int rc;
 
  fflush(stdout);
  if (!ech)
      rc = read(STDIN_FILENO, buf, cnt);
  else {
      tcsetattr(STDIN_FILENO, TCSAFLUSH, &Savedtty);
      rc = read(STDIN_FILENO, buf, cnt);
      tcsetattr(STDIN_FILENO, TCSAFLUSH, &Rawtty);
  }
  // may be the beginning of a lengthy escape sequence
  tcflush(STDIN_FILENO, TCIFLUSH);
  return rc;                  // note: we do NOT produce a vaid 'string'
}

5.rc为read返回值,分三类返回正的字节数、0(表示到达文件末尾)、返回负值-1(表示出错)。源码中 rc==0的情况被注掉了(如下图)造成标准输入fd未处理,select的超时未生效。

top命令引起系统负载升高

6.top在运行时出现标准输入异常这种情况一般是很难发生的,通过ps -fe 打印出了top的进程关系如下:

top命令引起系统负载升高

sudo 进程的pid变成1了,通过 ssh -t ‘strace -o sudo.strace sudo -i’  抓取信息如下:

top命令引起系统负载升高

在终端异常关闭(断网)后,并未退出,将父进程设成1继续运行。

7.经测试在ssh -t ‘sudo -i’ 这种方式登陆,sudo的父进程是sshd,当终端异常关闭时sudo会将自己的父进程改为1继续运行。正常登陆后在运行sudo的,sudo的父进程一般为bash(也可能是其他shell),不会出现类似情况。

三、总结

因线上环境很多操作需要切换到root,为了方便在ssh登陆的时候加上了 -t ‘sudo -i’ 的参数,从而导致了悲剧的发生。捷径随好但要小心陷阱,一不小心就可能酿成大错。

注:

1.setsid top 或者其他守护进程调用top,当终端异常退出引起标准输入错误时都会造成top异常。

2.Ubuntu系统不存在此问题,debian修复了此问题。

nicai@bugaosuni:~/procps-3.2.8/debian/patches$ cat top_stdin_eof.patch
Description: Check for stdin eof if term
Author: Samuel Thibault <samuel.thibault@ens-lyon.org>
Bug-Debian: http://bugs.debian.org/458986
Reviewed-by: Craig Small <csmall@debian.org>
Index: b/top.c
===================================================================
--- a/top.c    2009-11-24 21:00:34.000000000 +1100
+++ b/top.c    2009-11-24 21:00:35.000000000 +1100
@@ -3408,9 +3408,8 @@
          // check 1st, in case tv zeroed (by sig handler) before it got set
          rc = chin(0, &c, 1);
          if (rc <= 0) {
-            // EOF is pretty much a "can't happen" except for a kernel bug.
-            // We should quickly die via SIGHUP, and thus not spin here.
-            // if (rc == 0) end_pgm(0); /* EOF from terminal */
+            if (rc == 0) end_pgm(0); /* EOF from terminal, may happen if top
+                                      * erroneously gets detached from it. */
            fcntl(STDIN_FILENO, F_SETFL, file_flags);
            select(1, &fs, NULL, NULL, &tv);
            fcntl(STDIN_FILENO, F_SETFL, O_NONBLOCK|file_flags);
nicai@bugaosuni:~/procps-3.2.8/debian/patches$

实用的top命令 http://www.linuxidc.com/Linux/2014-11/109769.htm

为什么 Linux 的 htop 命令完胜 top 命令 http://www.linuxidc.com/Linux/2014-06/102626.htm

Ubuntu下最强大的进程监视器htop使用 http://www.linuxidc.com/Linux/2013-05/85030.htm

CentOS 6.5中安装htop进程管理监控工具 http://www.linuxidc.com/Linux/2014-03/97775.htm

本文永久更新链接地址http://www.linuxidc.com/Linux/2014-11/109997.htm

linux
相关资讯       top命令 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款