手机版
你好,游客 登录 注册
背景:
阅读新闻

Hadoop Herriot测试框架之旅

简介

[日期:2011-10-10] 来源:Linux社区  作者:nexus [字体: ]
Herriot测试框架是Hadoop-0.21.0及以后版本中新加入的测试框架,它的出现主要是为了尽可能地模拟真实的大规模分布式系统,并且对该系统实现自动化测试。和Hadoop以前的测试框架MiniDFSCluster类似,Herriot也采用了JUnit框架,此外,Herriot还引入了面向切面编程(AOP)技术-AspectJ,实现了代码注入和错误注入,丰富了测试的内容。

上图是采用Herriot框架对Hadoop集群进行测试的典型场景,可以看到:与早期的MiniDFSCluster测试框架不同,Herriot框架中每个节点(NameNode、JobTracker、DataNode和TaskTracker)都在一个单独的JVM进程中,这与真实的Hadoop集群是一致的;测试机通过本地的Herriot包来远程调用注入在目标节点内的Herriot代码。

为了测试Java系统,我们需要将一些与测试有关的代码注入到被测试的Java系统中,通常有三种方式:一、直接在代码中加入测试的代码,然后编译成class字节码,这种方式比较简单,但是测试代码污染了原有代码,并且会埋下安全隐患;二、代码编译为class字节码以后,通过修改class字节码的方式来添加测试方法,即生成新的class文件(通常叫做instrumented class),这种实现比第一种方式复杂一些,但是不污染原有代码,但用于测试的字节码和原有代码生成的class字节码不是同一份;三、通过修改JVM来添加测试功能,这种方式最复杂,但是不会影响代码和字节码。Herriot用到的AOP技术属于第二种,即通过修改字节码的方式实现测试功能的注入。

linux
【内容导航】
第1页:简介 第2页:源码分析
第3页:演示实例
相关资讯       集群  Hadoop 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款