手机版
你好,游客 登录 注册
背景:
阅读新闻

使用Java API操作Hadoop文件

[日期:2011-11-12] 来源:Linux社区  作者:xuqiang [字体: ]

1. 概述

2. 文件操作

2.1  上传本地文件到Hadoop fs

2.2 在hadoop fs中新建文件,并写入

2.3 删除hadoop fs上的文件

2.4  读取文件

3. 目录操作

3.1 在hadoop fs上创建目录

3.2 删除目录

3.3 读取某个目录下的所有文件

4. 参考资料接代码下载

<1>. 概述 

hadoop中关于文件操作类基本上全部是在org.apache.hadoop.fs包中,这些api能够支持的操作包含:打开文件,读写文件,删除文件等。

hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个:

static FileSystem get(Configuration conf); 

该类封装了几乎所有的文件操作,例如mkdir,delete等。综上基本上可以得出操作文件的程序库框架:

operator()
{
得到Configuration对象
得到FileSystem对象
进行文件操作
}
 

另外需要注意的是,如果想要运行下面的程序的话,需要将程序达成jar包,然后通过hadoop jar的形式运行,这种方法比较麻烦,另外一种方法就是安装eclipse的hadoop插件,这样能够很多打包的时间。

<1>. 文件操作 

1.1 上传本地文件到文件系统

 

     /*
     * upload the local file to the hds 
     * notice that the path is full like /tmp/test.c
     
*/
    
public static void uploadLocalFile2HDFS(String s, String d) 
        
throws IOException
    {
        Configuration config 
= new Configuration();
        FileSystem hdfs 
= FileSystem.get(config);
        
        Path src 
= new Path(s);
        Path dst 
= new Path(d);
        
        hdfs.copyFromLocalFile(src, dst);
        
        hdfs.close();
    }

 

1.2 创建新文件,并写入

     /*
     * create a new file in the hdfs.

     * notice that the toCreateFilePath is the full path
     * and write the content to the hdfs file.
     */
    
public static void createNewHDFSFile(String toCreateFilePath, String content) throws IOException
    {
        Configuration config 
= new Configuration();
        FileSystem hdfs 
= FileSystem.get(config);
        
        FSDataOutputStream os 
= hdfs.create(new Path(toCreateFilePath));

        os.write(content.getBytes(
"UTF-8"));
        
        os.close();
        
        hdfs.close();
    }

1.3 删除文件

    /*
     * delete the hdfs file 
     * notice that the dst is the full path name
     
*/
    
public static boolean deleteHDFSFile(String dst) throws IOException
    {
        Configuration config 
= new Configuration();
        FileSystem hdfs 
= FileSystem.get(config);
        
        Path path 
= new Path(dst);
        
boolean isDeleted = hdfs.delete(path);
        
        hdfs.close();
        
        
return isDeleted;
    }
    

1.4  读取文件

     /** read the hdfs file content
     * notice that the dst is the full path name
     */
    
public static byte[] readHDFSFile(String dst) throws Exception
    {
        Configuration conf 
= new Configuration();
        FileSystem fs 
= FileSystem.get(conf);
        
        
// check if the file exists
        Path path = new Path(dst);
        
if ( fs.exists(path) )
        {
            FSDataInputStream is 
= fs.open(path);
            
// get the file info to create the buffer
            FileStatus stat = fs.getFileStatus(path);
            
            
// create the buffer
            byte[] buffer = new byte[Integer.parseInt(String.valueOf(stat.getLen()))];
            is.readFully(
0, buffer);
            
            is.close();
            fs.close();
            
            
return buffer;
        }
        
else
        {
            
throw new Exception("the file is not found .");
        }
    }

<2>. 目录操作

2.1 创建目录

      /** make a new dir in the hdfs
     * 
     * the dir may like '/tmp/testdir'
     */
    
public static void mkdir(String dir) throws IOException
    {
        Configuration conf 
=  new Configuration();
        FileSystem fs 
= FileSystem.get(conf);
        
        fs.mkdirs(
new Path(dir));
        
        fs.close();
    }

2.2 删除目录    

      /** delete a dir in the hdfs
     * 
     * dir may like '/tmp/testdir'
     
*/
    
public static void deleteDir(String dir) throws IOException
    {
        Configuration conf 
= new Configuration();
        FileSystem fs 
= FileSystem.get(conf);
        
        fs.delete(
new Path(dir));
        
        fs.close();
    }

2.3 读取某个目录下的所有文件 

    public static void listAll(String dir) throws IOException
    {
        Configuration conf = new Configuration();
        FileSystem fs 
= FileSystem.get(conf);
        
        FileStatus[] stats 
= fs.listStatus(new Path(dir));
        
        
for(int i = 0; i < stats.length; ++i)
        {
            
if (stats[i].isFile())
            {
                
// regular file
                System.out.println(stats[i].getPath().toString());
            }
            
else if (stats[i].isDirectory())
            {
                
// dir
                System.out.println(stats[i].getPath().toString());
            }
            
else if(stats[i].isSymlink())
            {
                
// is s symlink in linux
                System.out.println(stats[i].getPath().toString());
            }
                 
        }
        fs.close();
    }

<4>. 参考资料及代码下载 

 

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /pub/2011/11/12/使用Java API操作Hadoop文件/

linux
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款