博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HDFS 上传文件的不平衡,Balancer问题是过慢
阅读量:7122 次
发布时间:2019-06-28

本文共 570 字,大约阅读时间需要 1 分钟。

至HDFS上传文件。假定从datanode开始上传文件,上传的数据将导致目前的当务之急是全datanode圆盘。这是一个分布式程序的执行是非常不利。

解决方案:

1、从其他非datanode节点上传

可以hadoop文件夹复制一份到一个不在集群中的节点(直接从非datanode的namenode上传也能够,可是这样不太好。会添加namenode的负担。而且时间长了会让namenode上放了各种乱七八糟的文件),在这个节点上不启动不论什么hadoop进程,可是能够当作client使用。

上传文件到集群。

也能够自己写一个上传文件的程序、在其它非集群节点上执行来上传文件。在程序中要注意自己设置必要的配置,比方namenode的url、副本数等等,由于假设不设置,会使用你程序中所带的hadoop jar包中的默认配置,而不是集群的默认配置。

2、使用balancer

能够通过

hdfs balancer -threshold XX
来进行平衡,xx是一个百分比。

关于这个命令的使用方法网上一搜一大堆。

可是默认情况下,这个平衡时非常慢的,由于默认的hadoop不同意balancer占用非常大的网络带宽。

能够通过

hdfs dfsadmin -setBalanacerBandwidth newbandwidth
设置带宽,在字节

转载地址:http://xmxel.baihongyu.com/

你可能感兴趣的文章
centos6中三台物理机配置nginx+keepalived+lvs
查看>>
apache
查看>>
file_get_contents()采集不到原因
查看>>
FFmpeg常用基本命令
查看>>
Linux vmstat命令实战详解
查看>>
背水一战 Windows 10 (69) - 控件(控件基类): UIElement - Manipulate 手势处理, 路由事件的注册, 路由事件的冒泡, 命中测试的可见性...
查看>>
zip压缩工具、tar打包、打包并压缩
查看>>
PHP日期转星期(英文/数字)
查看>>
python 逻辑运算符
查看>>
Hibernate技术
查看>>
js实现限制输入框只能输入数字
查看>>
CentOS下杀毒工具ClamAV安装
查看>>
编译参数查看
查看>>
httpd学习:http基础
查看>>
LINUX用户管理
查看>>
Win8 Metro(C#)数字图像处理--2.42图像光照效果算法
查看>>
oracle笔记
查看>>
组合条件测试
查看>>
硬盘结构与工作原理
查看>>
hadoop安装配置
查看>>