现在的位置: 首页 > 综合 > 正文

Hadoop中HDFS文件系统下的Shell操作

2017年11月28日 ⁄ 综合 ⁄ 共 575字 ⁄ 字号 评论关闭

执行start-all.sh启动Hadoop,启动完成后使用jps命令可以看到开启了5个Java进程,NameNode,SecondaryNameNode,DataNode,JobTracker和TaskTracker。

对HDFS文件系统进行Shell操作,无非就是查看,新建文件文件夹等习以为常的命令。

1.查看目录文件

hadoop fs -ls / 查看hdfs根目录下的文件

hadoop fs -lsr  / 进行递归查看文件

关于第2列代表该文件的副本数,文件夹没有副本

hadoop fs -mkdir /dir 创建文件夹

hadoop fs -put  Linux下源文件路径 hdfs中的路径: 上传文件到HDFS文件系统中

如果HDFS中已经存在该文件,那么直接上传会报错,文件不会被覆盖。如果第二个路径是个文件夹,那么会上传到文件夹中,如果不存在,那么会生成一个文件而非新建一个文件夹。

hadoop fs -get <hdfs 文件路径>  <linux路径> :下载文件到本地

hadoop fs -text <HDFS文件> 直接查看HDFS文件


hadoop  fs -rm <HDFS文件> 删除文件

hadoop  fs -rmr <HDFS文件夹> 删除文件

其他命令 使用 hadoop fs



帮助命令 hadoop fs -help 命令



其他的类似,如使用hadoop job 即可显示hadoop 中关于Job的一些命令


抱歉!评论已关闭.