博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
dfs.datanode.du.reserved 预留空间不生效的问题
阅读量:5960 次
发布时间:2019-06-19

本文共 819 字,大约阅读时间需要 2 分钟。

生产环境(cdh5.5.1)遇到一个问题:已经设置 dfs.datanode.du.reserved预留空间为20G,但是磁盘仍然被写满了。

当挂载磁盘作为datanode的存储空间,如果磁盘大小为2000G,

使用df -h 显示:总磁盘大小2000G,使用1930G,剩余40G,就会发现:2000G -(1930G+40G)= 30G,还差了30G空间。

就是因为这30G空间的问题导致你磁盘写满,如果你配置datanode hdfs-site.xml里的dfs.datanode.du.reserved小于30G的话,而我们设置的是20G,所以磁盘就被写满 了,预留空间就没有起到实际作用

[解决办法]:

就是设置hadoop dfs.datanode.du.reserved的值 = 总磁盘大小 - (使用的空间 + 剩余空间 )+ 设置的预留空间。

比如: 

在上面的基础上你设置预留空间为20G,那么dfs.datanode.du.reserved就可以设置为: 
2000G -(1930G + 40G) + 20G = 50G。

终其DataNode代码,发现应该是这样:

  1. long getAvailable() throws IOException {  
  2.        long remaining = getCapacity()-getDfsUsed();  
  3. -      long available = usage.getAvailable();  
  4. +      long available = usage.getAvailable() - reserved;  
  5.        if (remaining>available) {  
  6.          remaining = available;  
  7.        }  
  8.       return (remaining > 0) ? remaining : 0;  
  9. }

转载于:https://www.cnblogs.com/dailidong/p/7571081.html

你可能感兴趣的文章
Git - 操作指南
查看>>
正则表达式的贪婪与非贪婪模式
查看>>
SqlServer存储过程调用接口
查看>>
DOM
查看>>
通过jQuery.support看javascript中的兼容性问题
查看>>
NYOJ-取石子
查看>>
AngularJS
查看>>
《zw版·Halcon-delphi系列原创教程》halconxlib控件列表
查看>>
List与数组的相互转换
查看>>
Computer Science Theory for the Information Age-4: 一些机器学习算法的简介
查看>>
socketserver模块使用方法
查看>>
json模块
查看>>
各型号英特尔CUP的功率
查看>>
scanf()中的%c 不能正常输入的问题
查看>>
PHP学习1——快速入门
查看>>
面试发散思维
查看>>
java日志commons-logging/log4j/slf4j/logBack需要知道的几件事
查看>>
TypeScript 2019 路线图:更效率,更易用!
查看>>
Springboot从HellWorld开始
查看>>
Apache uimaFIT 3.0.0 发布,Java 的 UIMA 注解类
查看>>