Hadoop学习之路（十）HDFS API的使用

HDFS API的高级编程

HDFS的API就两个：FileSystem 和Configuration

1、文件的上传和下载

View Code

2、配置文件conf

View Code

输出结果

View Code

3、列出指定目录下的文件以及块的信息

View Code

输出结果

View Code

4、上传文件

View Code

5、下载文件

View Code

6、删除某个路径下特定类型的文件，比如class类型文件，比如txt类型文件

View Code

7、删除HDFS集群中的所有空文件和空目录

View Code

8、手动拷贝某个特定的数据块（比如某个文件的第二个数据块）

View Code

9、编写程序统计出HDFS文件系统中文件大小小于HDFS集群中的默认块大小的文件占比

View Code

10、编写程序统计出HDFS文件系统中的平均数据块数（数据块总数/文件总数）

View Code

11、编写程序统计出HDFS文件系统中的平均副本数（副本总数/总数据块数）

View Code

12、统计HDFS整个文件系统中的不足指定数据块大小的数据块的比例

View Code

13、统计出一个给定数组的蓄水总量（把数组的每个位置的数看是做地势高低）

View Code