首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
量块专题
HDFS的全量块汇报以及Hadoop在2.x版本提供的限流优化
HDFS的全量块汇报以及Hadoop在2.x版本提供的限流优化 问题背景 在DataNode与NameNode的交互中,有大量的数据得不到处理,使得DataNode的增量块汇报不能及时处理,文件出现不能正常关闭等现象。在DataNode与NameNode的交互中,有三种形式,心跳报告,增量快汇报,全量块汇报。其中处理全量块汇报需要的时间和资源是其他汇报的数倍,且全量块汇报不需要立即处理,在HD
阅读更多...