你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop心跳机制源码分析

[日期:2012-06-05] 来源:Linux社区  作者:weixiaolu [字体: ]

正文:

一.体系背景

首先和大家说明一下:Hadoop的心跳机制的底层是通过RPC机制实现的,这篇文章我只介绍心跳实现的代码,对于底层的具体实现,大家可以参考我的另几篇文章:

1. Hadoop的RPC机制(参考: http://www.linuxidc.com/Linux/2012-06/62081.htm )
2. 动态代理(参考 :http://www.linuxidc.com/Linux/2012-06/62079.htm
3. Java NIO(参考 : http://www.linuxidc.com/Linux/2012-06/62080.htm )

以上三篇文章和这篇文章完整地分析了hadoop的数据传输过程。大家可以当成一个体系来阅读。

二.心跳机制

1. hadoop集群是master/slave模式,master包括Namenode和Jobtracker,slave包括Datanode和Tasktracker。

2. master启动的时候,会开一个ipc server在那里,等待slave心跳。

3. slave启动时,会连接master,并每隔3秒钟主动向master发送一个“心跳”,这个时间可 以通过”heartbeat.recheck.interval”属性来设置。将自己的状态信息告诉master,然后master也是通过这个心跳的返回值,向slave节点传达指令。

4. 需要指出的是:namenode与datanode之间的通信,jobtracker与tasktracker之间的通信,都是通过“心跳”完成的。

三.Datanode、Namenode心跳源码分析

既然“心跳”是Datanode主动给Namenode发送的。那Datanode是怎么样发送的呢?下面贴出Datanode.class中的关键代码:

代码一:

  1. /**  
  2.    * 循环调用“发送心跳”方法,直到shutdown  
  3.    * 调用远程Namenode的方法  
  4.    */  
  5.   public void offerService() throws Exception {   
  6. •••   
  7.     while (shouldRun) {   
  8.       try {   
  9.         long startTime = now();   
  10.          // heartBeatInterval是在启动Datanode时根据配置文件设置的,是心跳间隔时间   
  11.         if (startTime - lastHeartbeat > heartBeatInterval) {   
  12.           lastHeartbeat = startTime;   
  13. //Datanode发送心跳   
  14.           DatanodeCommand[] cmds = namenode.sendHeartbeat(dnRegistration,   
  15.                                                        data.getCapacity(),   
  16.                                                        data.getDfSUSEd(),   
  17.                                                        data.getRemaining(),   
  18.                                                        xmitsInProgress.get(),   
  19.                                                        getXceiverCount());   
  20.           myMetrics.addHeartBeat(now() - startTime);   
  21.             
  22.           if (!processCommand(cmds))   
  23.             continue;   
  24.         }   
  25.           
  26.       •••   
  27.       }   
  28.     } // while (shouldRun)   
  29.   } // offerService  

需要注意的是:发送心跳的对象并不是datanode,而是一个名为namenode的对象,难道在datanode端就直接有个namenode的引用吗?其实不然,我们来看看这个namenode吧:

代码二:

public DatanodeProtocol namenode = null;  

namenode其实是一个DatanodeProtocol的引用,在对hadoop RPC机制分析的文章中我提到过,这是一个Datanode和Namenode通信的协议,其中有许多未实现的接口方法,sendHeartbeat()就是其中的一个。下面看看这个namenode对象是怎么被实例化的吧:

代码三:

  1. this.namenode = (DatanodeProtocol)    
  2.     RPC.waitForProxy(DatanodeProtocol.class,   
  3.                      DatanodeProtocol.versionID,   
  4.                      nameNodeAddr,    
  5.                      conf);  

其实这个namenode并不是Namenode的一个对象,而只是一个Datanode端对Namenode的代理对象,正是这个代理完成了“心跳”。代理的底层实现就是RPC机制了。参考:http://www.linuxidc.com/Linux/2012-06/62081.htm

linux
相关资讯       Hadoop应用 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款