手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

HDFS客户端的权限错误:Permission denied

[日期:2014-08-09] 来源:Linux社区  作者:Linux [字体: ]

搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。

(如果想看最终解决问题的方法拉到最后,如果想看我的问题解决思路请从上向下看)

问题描述

上传文件的代码:

  1. private static void uploadToHdfs() throws FileNotFoundException,IOException {
  2. //我的文件地址
  3. String localSrc = "E:\\快盘\\技术文档\\hadoop\\HDFS初步研究.pdf";
  4. //存放在云端的目的地址
  5. String dest = "hdfs://192.168.2.156:9000/user/HDFS初步研究.pdf";
  6. InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
  7. //得到配置对象
  8. Configuration conf = new Configuration();
  9. // conf.set("fs.default.name","hdfs://192.168.2.156:9000");
  10. //文件系统
  11. FileSystem fs = FileSystem.get(URI.create(dest), conf);
  12. //输出流
  13. OutputStream out = fs.create(new Path(dest), new Progressable() {
  14. @Override
  15. public void progress() {
  16. System.out.println("上传完一个设定缓存区大小容量的文件!");
  17. }
  18. });
  19. //连接两个流,形成通道,使输入流向输出流传输数据
  20. IOUtils.copyBytes(in, out, 4096, true);
  21. }

错误的详细描述如下

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

其实这个错误的原因很容易看出来,用户Administator在hadoop上执行写操作时被权限系统拒绝.

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

--------------------------------------分割线 --------------------------------------

解决问题的过程

看到这个错误的,第一步就是将这个错误直接入放到百度google里面进行搜索。找到了N多篇文章,但是主要的思路就如此篇文章所写的两个解决办法:http://www.linuxidc.com/Linux/2014-08/105334.htm

1、在hdfs的配置文件中,将dfs.permissions修改为False

2、执行这样的操作 hadoop fs -chmod 777 /user/hadoop

对于上面的第一个方法,我试了行不通,不知道是自己设置错误还是其他原因,对我此法不可行,第二个方法可行。第二个方法是让我们来修改HDFS中相应文件夹的权限,后面的/user/hadoop这个路径为HDFS中的文件路径,这样修改之后就让我们的administrator有在HDFS的相应目录下有写文件的权限(所有的用户都是写权限)。

虽然上面的第二步可以解决问题了,上传之后的文件所有者为Administrator,但是总感觉这样的方法不够优雅,而且这样修改权限会有一定的安全问题,总之就是看着不爽,就在想有没有其他的办法?

更多详情见请继续阅读下一页的精彩内容http://www.linuxidc.com/Linux/2014-08/105335p2.htm

linux
相关资讯       HDFS  Permission denied 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款