你好,游客 登录 注册 搜索
背景:
阅读新闻

使用配置Hadoop中常用的Linux(Ubuntu)命令

[日期:2016-05-21] 来源:Linux社区  作者:1130136248wlxk [字体: ]

使用配置Hadoop中常用的Linux(Ubuntu)命令

生成key:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
 
    -t   密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。
   -f filename             指定密钥文件名。
 
来源:http://www.aboutyun.com/thread-6487-1-1.html
 
远程登录执行shell命令key
ssh远程登录,并在远程创建文件

ssh user@host 'mkdir -p .ssh && cat >> .ssh/authorized_keys' < ~/.ssh/id_rsa.pub

来源:http://www.aboutyun.com/thread-6977-1-1.html
 
远程复制
scp authorized_keys tan@ubuntu:~/.ssh/authorized_keys_from_yang
sudo scp -r /usr/hadoop aboutyun@slave1:~/
 
 
文件追加内容
cat authorized_keys_from_yang  >>  authorized_keys
 
解压包:
sudo tar zxvf ./jdk-7-linux-i586.tar.gz  -C /usr/lib/jvm
 
文件复制:(jdk复制到opt中
sudo cp -r  jdk/ /opt
 
文件移动
sudo mv jdk opt
(有的时候没有权限,所以必须加上sudo)
 
文件更改所有者(下面为更改hadoop文件夹的权限)
sudo chown -R  aboutyun:aboutyun  hadoop
 
查看端口是否被暂用
sudo netstat -ap | grep 8080
sudo netstat -ant|grep 3306
 
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name
 
tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      1651/mysqld
表示的含义
mysql的默认端口 3306 打开着
0.0.0.0 代表你的本地网络地址 后一个代表外部网络地址 有连接的话就有真正的IP地址了
 
hadoop开启调试
开启debug  export HADOOP_ROOT_LOGGER=DEBUG,console
 
Linux打包命令
 
tar czvf my.tar.gz hadoop-2.4.0-src
 
杀掉一个进程
kill 进程号
kill -9 进程号
 
rpm -qa|grep softname
表示的含义是:
就是从安装的软件中查询出softname这个软件
 
详解如下:
grep 内容 对象
表示从“对象”中查找“内容”,并打印
|
管道符号,前一个命令的输出(即结果)作为下个命令的输入
rpm -qa
rpm管理命令 查询所有安装的软件
所以rpm -qa|grep softname
就是从安装的软件中查询出softname这个软件
 
 
hive安装mysql常用命令
 
查看软件是否安装
netstat -tap | grep mysql
 
 
测试mysql远程连接成功:
 
mysql -h172.16.77.15 -uroot -p123
 
mysql -h主机地址 -u用户名 -p用户密码
 
查看字符集
 show variables like '%char%';
 
修改字符集:
vi /etc/my.cnf
在[client]下添加
default-character-set=utf8
 
创建sudo无密码登陆
给aboutyun用户设置无密码sudo权限:
chmode u+w /etc/sudoers
aboutyun ALL=(root)NOPASSWD:ALL
chmod u-w /etc/sudoers
测试:sudo ifconfig
 
 
 
ubuntu查看服务列表代码  
sudo service --status-all
sudo initctl list
 
查看文件大小:
du -sh hadoop-2.7.0-src
 
打包zip
zip -r myfile.zip ./*

下面关于Hadoop的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多Hadoop相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址http://www.linuxidc.com/Linux/2016-05/131599.htm

linux
相关资讯       hadoop命令 
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数

       

评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款