HDFS的API操作准备工作

1.打开idea导入jar包依赖
2.将hadoop的windows依赖导入到环境变量中
3.双击xxxxx\hadoop-3.1.0\bin\winutils.exe 如果没有报错就是可以使用 如果有报错需要去安装微软运行库（一般前三步即可）
4.需要将winutils.exe和hadoop.dll文件放到C:\Windows\System32

1. 在IDEA中创建一个Maven工程，并导入相应的依赖坐标 日志添加

<dependencies>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-client</artifactId>

        <version>3.1.3</version>

    </dependency>

    <dependency>

        <groupId>junit</groupId>

        <artifactId>junit</artifactId>

        <version>4.12</version>

    </dependency>

    <dependency>

        <groupId>org.slf4j</groupId>

        <artifactId>slf4j-log4j12</artifactId>

        <version>1.7.30</version>

    </dependency>

</dependencies>

搭建module（maven）

2.将hadoop的windows依赖导入到环境变量中

1）找到资料包路径下的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）。

2）配置HADOOP_HOME环境变量

 3）配置Path环境变量。

注意：如果环境变量不起作用，可以重启电脑试试。

 验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可。

3.在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

log4j.rootLogger=INFO, stdout 

log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 

log4j.appender.logfile=org.apache.log4j.FileAppender 

log4j.appender.logfile.File=target/spring.log 

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

这篇好文章是转载于：学新通技术网