熟悉常用的HDFS操作shell

一、实验环境

1. 操作系统：Linux
2. 实验软件：VMware
3. Hadoop版本：3.1.3
4. JDK版本：1.8
   （注意：Hadoop3.1.3要求JDK版本在1.8及以上）

（Hadoop伪分布式安装教程）

二、实验内容

shell命令方式：
hadoop fs：适用于任何不同的文件系统
hadoop dfs：适用于HDFS文件系统
hdfs dfs：适用于HDFS文件系统

1. 启动Hadoop并查看

cd /usr/local/hadoop
sbin/start-dfs.sh
jps

2. fs查看支持的命令

bin/hadoop fs

3. 查看帮助命令

bin/hadoop fs -help push

4. 创建用户目录（已创建省略该步骤）

bin/hdfs dfs -mkdir -p /user/hadoop

5. 新建目录并查看

bin/hdfs dfs -mkdir test
bin/hdfs dfs -ls

6. 删除目录并查看

bin/hdfs dfs -rm -r test  #-r参数级联删除
bin/hdfs dfs -ls

7. 将本地文件系统文件上传到HDFS文件系统中

vim local.txt
cat local.txt
ls
bin/hdfs dfs -mkdir test
bin/hdfs dfs -ls test

bin/hdfs dfs -put /usr/local/hadoop/loacl.txt test
bin/hdfs dfs -ls test
bin/hdfs dfs -cat test/local.txt

8. 将HDFS中文件下载到本地

sudo rm local.txt  #首先将本地文件删除

bin/hdfs dfs -get test/local.txt /usr/local/hadoop

9. 拷贝文件

bin/hdfs dfs -mkdir test2
bin/hdfs dfs -cp test/local.txt test2

10. web界面管理HDFS

浏览器打开：http://localhost:9870

结束！希望对每一个奋斗的你有所帮助~

这篇好文章是转载于：学新通技术网