设计思想
HDFS中对数据存储的最小单位为block,HDFS会将其存储的大文件打散成很多64M大小的block，并将这些block分别存储在集群中datanode机器上。服务器namenode主要存储文件元数据信息（文件目录结构，具体文件由那些block组成），该部分主要涉及的关键对象为：INode,INodeFile,INodeDirectory,Block,BlockInfo,FSDirectory
NameNode主要负责存储文件目录结构以及具体文件由那些block组成这些元数据基本信息,以上对象存在于namenode上。上述对象的主要关系如下。
INode
INode是抽象基类，从字面上能够了解到它表示一个文件属性目录结构中的一个节点，它包含的主要属性为：
//节点名称
protected byte[] name;
//父节点
protected INodeDirectory parent;
//最后修改时间
protected long modificationTime;
//访问时间
protected long accessTime;
//访问权限（同linux 0777,0666 之类）
private long permission;
INodeFile
INodeFile继承自INode，表示文件节点。 包含的主要属性如下：
//该文件中包含的所有Block，这些对象并不包含实际的文件block内容，主要的属性为blocks，后续通过blockID和时间戳信息可以找到这些Block存在哪台datanode机器上，客户端直接与该datanode建立链接，请求这个BockID对应的Block中具体文件内容数据（后续再讲,该字段为关键字段）
protected BlockInfo blocks[] = null;
//block的复制个数
protected short blockReplication;
//缺省block大小
protected long preferredBlockSize;
INodeDirectory
INodeDirectory同样继承自INode，表示文件目录节点，主要包含的属性如下：
//该文件目录下所有的子节点信息
private List<INode> children;
Block
public class Block implements Writable, Comparable<Block>
Block本身是一个抽象概念，就表示HDFS中一个最小存储单元，其主要包含的属性如下：
//BlockID标识
private long blockId;
//这个Block包含多少字节数据
private long numBytes;
//一个时间戳,表示Block的版本
private long generationStamp;
注：这个Block对象只是一个抽象的概念（你可以理解为一个数据块的标识,一个存储单元的标识），这个对象并不包含实际Block数据。
Block信息的读取就是client通过网络传递一个序列化的block对象到DataNode,DataNode在本机中的读取这个Block对应的存储文件，返回给客户端。
Block是一个实现了Writable, Comparable<Block>的对象。说明Block对象可以进行序列化并通过网络进行传输，DataNode也可以通过HashMap的方式将Block与实际的存储文件进行对应关联。
BlockInfo
BlockInfo继承自Block,其包含的主要属性如下：
//该Block所属的文件
private INodeFile inode;
/**
* This array contains triplets of references.
* For each i-th data-node the block belongs to
* triplets[3*i] is the reference to the DatanodeDescriptor
* and triplets[3*i+1] and triplets[3*i+2] are references
* to the previous and the next blocks, respectively, in the
* list of blocks belonging to this data-node.
*/
private Object[] triplets
triplets是一个关键字段。
通过triplets[3*i+1] 和 triplets[3*i+2]可以得到某台datanode机器上所有的block列表，triplets[3*i+1] 和triplets[3*i+2]为BlockInfo类型对象。
该项功能主要应用在DatanodeDescriptor实例的
private volatile BlockInfo blockList = null 这个字段中。
通过triplets[3*i]可以得到这个Block其他副本的所属datanode的位置,triplets[3*i]为DatanodeDescriptor类型对象
抓住BlockInfo就抓住了整个HDFS按Block进行文件分布式存储的关键。
BlockInfo信息中不仅包括了一个Block都存储在哪些DataNode上,还包含了某个具体datanode上存储的所有Block信息，以及该block属于哪一个INodeFile。用户需要读取文件时首先通过INodeFile得到这个文件所有的Block---INodeFile中的 BlockInfo[] getBlocks() 方法。通过BlockInfo又可以得到Block存储的DataNodeInfo列表。 用户就可以向得到的DataNode列表的机器发送读取Block具体数据的请求（这部分具体实现后面再讲）。
在系统运行过程中，上述关键对象主要存储在内存中，也就是说HDFS的Namenode有一个内存镜像，其中的内容就是以上对象组成的树形结构,也许有人会问，如果Namenode当机会出现什么问题呢？这个问题问得好：）（具体的解决办法后续会详细讲解，目前先提一下）
HDFS为了能够保证数据安全性，完整性，采用和数据库一样的容灾机制，记录数据操作行为日志：对应的功能对象为FSEditLog 。
系统定时将内存中的文件系统结构镜像序列化到磁盘（FsImage）,并删除当前的EditLog 。 如果系统机器重启，Namenode会从镜像文件中读取目录结构信息，同时执行EditLog中记录的操作，用以恢复最新的内存镜像。
FSDirectory
FSdirectory的一个主要作用是就是上述所说的从镜像文件中读取目录结构信息，同时执行EditLog中记录的操作，用以恢复最新的内存镜像。
FSdirectory另一个主要作用就是操作INodeDirectory，INodeFile对象，对文件系统的目录，文件以及文件包含的Block进行操作。FSdirectory有一个关键属性：rootDir，这个对象是整个文件系统的根目录。
该对象涉及的主要方法如下：
void loadFSImage(Collection<File> dataDirs, Collection<File> editsDirs,StartupOption startOpt) throws IOException
boolean mkdirs(String src, PermissionStatus permissions,
boolean inheritPermission, long now)
Block addBlock(String path, INode[] inodes, Block block) throws IOException
private <T extends INode> T addChild(INode[] pathComponents, int pos,T child, long childDiskspace, boolean inheritPermission)
throws QuotaExceededException
INodeFileUnderConstruction
这个类继承自INodeFile,它的实例代表一个正在处于写入状态的文件，新文件的创建和文件的追加（文件追加目前HDFS支持不是很好）时都会使用到这个对象,INode有一个方法 boolean isUnderConstruction(),如果这个方法返回true,表示这个对象目前处于写入状态，可以将这个对象引用转化为INodeFileUnderConstruction。
当文件处于isUnderConstruction状态时，往往就和文件租约产生关联，因为文件的写入操作都会首先实现申请一个租约（租约有专门一章进行讲解）,从FSNameSystem的startFileInternal（）方法中的部分逻辑代码可以看出端倪。
//首先判断文件是否存在，并且处于文件写入状态
if (myFile != null && myFile.isUnderConstruction())
{
//转换文件为INodeFileUnderConstruction类型
INodeFileUnderConstruction pendingFile =
(INodeFileUnderConstruction) myFile;
// If the file is under construction , then it must be in our
// leases. Find the appropriate lease record.
//如果文件处于写入状态一定有租约与之对应
Lease lease =
leaseManager.getLease(new StringBytesWritable( holder));
下面我们分析一下INodeFileUnderConstruction的关键属性以及方法
INodeFile这个对象仅仅表示一个文件节点，它的大部分属性都是与BlockInfo相关的。
而INodeFileUnderConstruction就会有一些文件创建以及追加时必要的信息,,详细如下：
//这个属性表示当前文件的租约属主是哪次应用
StringBytesWritable clientName = null; // lease holder
StringBytesWritable clientMachine = null;
//client很可能也是datanode其中之一
DatanodeDescriptor clientNode = null; // if client is a cluster node too.
//这个属性主要应用于block的recover操作（该操作后续会详细描述）
private int primaryNodeIndex = -1; // the node working on lease recovery
//文件最后一个block需要写入的机器，这是很重要的属性，也是显而易见的，文件的追加写入一定是对最后一个Block进行操作
private DatanodeDescriptor[] targets = null; // locations for last block
private long lastRecoveryTime = 0;
下面看一个很重要的方法,这个方法后续会详细描述。
void assignPrimaryDatanode()
当文件写入过程中，很可能在某些datanode上写入失败，这就需要对block进行recover操作，而恢复操作中的主节点就是那些写入正常的datanode。
