`
flyingdutchman
  • 浏览: 353505 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hadoop深入学习:HDFS主要流程——SNN合并fsimage和编辑日志

阅读更多
       本节我们主要写Secondary NameNode是如何合并命名空间文件和编辑日志文件。
       客户端对HDFS的文件系统目录树进行的任何修改,都会被记录到编辑日志文件中,以保证系统出现故障后,能够根据这些日志进行恢复,但是随着日志不断地增长,这意味着系统从气候,需要进行恢复的时间也就越长。为了避免这一情况的发生,HDFS引入了检查点机制。
       命名空间镜像(FSImage)文件文件系统的持久性检查点,和编辑日志不同,它不能再客户端度HDFS做的每次修改后都及时更新。故命名空间镜像再加上编辑日志,NameNode节点的元数据提供了安全保障。
       在NameNode启动时,首先会将磁盘上的fsiamge命名空间镜像文件读入内存,恢复到某个时间的检查点,然后再读取编辑日志,进行重建。
       Hadoop中引入了第二命名节点Secondary NameNode节点,就是为了解决编辑日志谁时间不端的增长,如果NameNode节点重启后要花很长时间来执行编辑日志中的每一个操作这种情况。

       Secondary NameNode节点的工作流程:
       1)、定期的通过远程方法获取NameNode节点上编辑日的大小;
       2)、如果NameNode节点上编辑日很小,就不需要合并NameNode上的fsimage文件和编辑日志;  
       3)、通过远程接口启动一次检查点过程,这是名字节点需要创建一个新的编辑日志文件edits.new,后续对文件系统的任何修改都记录到这个新编辑日志里;
       4)、第二名字节点将Namenode上的fsimage文件和原编辑日志下载到本地,并在内存中合并,合并的结果输出为fsimage.ckpt;
       5)、再次发起请求通知NameNode节点数据(fsimage.ckpt)已准备好,然后NameNode节点会下载fsimage.ckpt;
       6)、NameNode下载结束后,Secondary NameNode会通过远程调用(NameNodeProtocol.rollFsImage())完成这次检查点,NameNode在响应该远程调用时,会用fsimage.ckpt覆盖原来的fsimage文件,形成新的命名空间镜像,同时将新的编辑日志edits.new改名为edits。
       整个流程如下图示:

  
  • 大小: 56.7 KB
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics