官方详解HDFS Balancer工具主要调优参数

引言

HDFS Balancer工具可以用来分析块的分布情况，并且可以重新分配DataNode中的数据。本文通过为您介绍如何使用HDFS Balancer工具以及Balancer的主要调优参数。

使用HDFS Balancer

方式一：使用HDFS Balancer命令

HDFS Balancer命令语句如下。

hdfs balancer
[-threshold <threshold>]
[-policy <policy>]
[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
[-include [-f <hosts-file> | <comma-separated list of hosts>]]
[-source [-f <hosts-file> | <comma-separated list of hosts>]]
[-blockpools <comma-separated list of blockpool ids>]
[-idleiterations <idleiterations>]

Balancer主要参数如下表。

方式二：使用start-balancer.sh工具

start-balancer.sh实际上是调用hdfs daemon start balancer命令。使用方式如下：

• 登录待配置集群的任意节点，详情请参见登录集群。

可选：执行以下命令，修改Balancer的最大带宽。

hdfs dfsadmin -setBalancerBandwidth &lt;bandwidth in bytes per second&gt;

说明 <bandwidth in bytes per second>为设置的最大带宽。例如，如果需要设置最大带宽为20 MB/s，对应值为20971520，则完整代码示例为hdfs dfsadmin -setBalancerBandwidth 20971520。如果集群负载较高，建议设置为209715200（200 MB/s）；如果集群空闲，建议设置为1073741824（1 GB/s）。

• 执行以下命令，切换到hdfs用户并执行Balancer参数。

DataLake集群

su hdfs
/opt/apps/HDFS/hdfs-current/sbin/start-balancer.sh -threshold 5

Hadoop集群

su hdfs
/usr/lib/hadoop-current/sbin/start-balancer.sh -threshold 5

• 执行以下命令，进入HDFS安装目录。

DataLake集群

cd /var/log/emr/hadoop/

Hadoop集群

cd /var/log/hadoop-hdfs

执行以下命令，查看Balancer运行情况。

当提示信息包含Successfully字样时，表示执行成功。

DataLake集群

tailf hadoop-hdfs-balancer-master-1-1.c-xxx.log

Hadoop集群

tailf hadoop-hdfs-balancer-emr-header-1.cluster-xxx.log

说明 命令中的hadoop-hdfs-balancer-master-1-1.c-xxx.log和hadoop-hdfs-balancer-emr-header-xx.cluster-xxx.log为上一步骤中获取到的日志名称。

Balancer调优参数

执行Balancer会占用一定的系统资源，建议在业务空闲期执行。默认情况下，不需要对HDFS Balancer参数进行额外调整。当需要对Balancer参数进行额外调整时，您可以在E-MapReduce控制台的HDFS服务页面，选择配置 > hdfs-site.xml，调整以下两类配置。

客户端配置

DataNode配置

常见问题

Q：为什么Balancer的threshold设置为10（％），但是平衡以后看到差值为20％左右？

A：threshold的含义是控制每个DataNode的使用率不高于或者不低于集群平均的使用率，所以使用率最多和最少的DataNode在平衡后可能差值为20％。要减少这种差距，可以尝试把差值调节到5（％）。

来源：https://help.aliyun.com/document_detail/449686.html