手机版
你好,游客 登录 注册 搜索
背景:
阅读新闻

Hadoop Shell基本操作

[日期:2020-03-31] 来源:Linux社区  作者:琴昕 [字体: ]

简介:

  我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的 操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权 限等,文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于lLinux shell 对文件的操作,如ls、mkdir、rm 等。

  我们在执行HDFS的shell操作的时候,一定要确定Hadoop 是正常运行的,我们可以使用使用jps 命令确保看到各个hadoop 进程。

1.touchz创建空白文件

  1.1使用如下命令创建空白文件

hadoop fs -touchz /文件名 

  1.2使用如下命令查看空白文件

hadoop fs -ls /

  由于是touchz命令所以必须使用专门的命令来查看

  1.3使用du查看目录下的各个文件的大小

hadoop fs -du /

   1.4count统计文件()数量

    该命令选项显示指定路径下的文件夹数量、文件数量、文件总大小信息,如下图所示

hadoop fs -count /

   1.5 mkdir创建空白文件夹

hadoop fs -mkdir /abc

  使用命令查看

hadoop fs -ls /

   1.6 mv剪切移动

hadoop fs -mv /需要移动的文件  /移动到的文件夹/移动的文件名

   使用lsr查看文件属性

hadoop fs -lsr /

  注意:lsr命令的作用是迭代展示所有目录和文件,在shell操作中非常常用

  1.7cp复制

    这个命令选项表示复制hdfs 指定的文件到指定的hdfs 目录中,首先创建一个a.txt文本,然后将他复制到abc文件夹当中去

hadoop fs -cp /需要复制的文件或文本 /目标文件夹/文件或文本名

   1.8rm删除文件或者空白文件夹

hadoop fs -rm /文件名或文本名

    1.9rmr递归删除(删除非空文件夹)

hadoop fs -rmr /文件夹

   1.10put上传文件

//首先创建一个文件
touch /路径/文件名
//使用put上传一个文件
hadoop fs -put /路径/文件名

   1.11cat查看文件内容

hadoop fs -cat /文件名

  1.12tail查看文件尾部

hadoop fs -cat /文件名

  1.13chmod修改文件权限

   修改之前的权限如上

hadoop fs -chmod /文件名

更多Hadoop相关信息见Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

Linux公社的RSS地址https://www.linuxidc.com/rssFeed.aspx

本文永久更新链接地址https://www.linuxidc.com/Linux/2020-03/162764.htm

linux
相关资讯       Hadoop Shell操作 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款