HDFS免重启挂载新磁盘
作者:wdc 发布时间:2023-05-15 01:32:21
在生产环境中,集群节点磁盘大小不同,其使用率也会不同,HDFS虽有均衡策略,但也会有数据不平衡的情况,有些节点磁盘就会被打满,然后这个节点就不健康了(Unhealthy Nodes),Yarn的磁盘阈值检查(yarn.nodemanager.disk-health-checker.min-healthy-disks),默认是90%,超过这个值就会不健康,集群有个节点不健康,就会导致任务运行缓慢,之后任务再挤压,Yarn资源被集中占用,最终影响上层服务。
问题
磁盘空间不足,待扩容,可动态增删磁盘
yarn资源不足,待优化,可动态调整
本篇内容只添加新磁盘,yarn资源优化我们在另一篇文章再专门详解。
官方说明
官方文档:DataNode Hot Swap Drive
DataNode Hot Swap Drive
Datanode supports hot swappable drives. The user can add or replace HDFS data volumes without shutting down the DataNode. The following briefly describes the typical hot swapping drive procedure:
If there are new storage directories, the user should format them and mount them appropriately.
The user updates the DataNode configuration
dfs.datanode.data.dir
to reflect the data volume directories that will be actively in use.The user runs
dfsadmin -reconfig datanode HOST:PORT start
to start the reconfiguration process. The user can usedfsadmin -reconfig datanode HOST:PORT status
to query the running status of the reconfiguration task.Once the reconfiguration task has completed, the user can safely
umount
the removed data volume directories and physically remove the disks.
经过谷歌翻译如下:
DataNode 热插拔驱动器
Datanode 支持热插拔驱动器。用户可以在不关闭 DataNode 的情况下添加或替换 HDFS 数据卷。下面简要介绍典型的热插拔驱动器过程:
如果有新的存储目录,用户应该格式化它们并适当地挂载它们。
用户更新 DataNode 配置
dfs.datanode.data.dir
以反映将被积极使用的数据卷目录。用户运行
dfsadmin -reconfig datanode HOST:PORT start
来启动重新配置过程。用户可以使用dfsadmin -reconfig datanode HOST:PORT status
查询重配置任务的运行状态。重新配置任务完成后,用户可以安全地卸载已移除的数据卷目录并物理移除磁盘。
我们先说添加新的磁盘,大意就是不需要重启任何节点,在需要添加磁盘的节点上,添加好磁盘,这个需要运维操作,就是挂载一个新目录,文档中是说要配置DataNode的目录,这里我们建议加上NameNode的目录dfs.namenode.name.dir
,然后再执行一个使配置生效的命令,最后查看配置状态。
具体操作
这里假设已有集群,需要加磁盘的节点为node2。运维也已经帮我们挂载好磁盘,新磁盘目录为/data2
。
第一步:新增目录
在node2上添加新目录,数据目录和元数据目录
mkdir -p /data2/soft/hadoop/tmp/dfs/data
mkdir -p /data2/soft/hadoop/tmp/dfs/name
第二步:修改配置
修改节点node2的配置文件hdfs-site.xml,主要两个属性
修改前
<!--指定hdfs中namenode的存储位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/soft/hadoop/tmp/dfs/name</value>
</property>
<!--指定hdfs中datanode的存储位置-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/soft/hadoop/tmp/dfs/data</value>
</property>
修改后
<!--指定hdfs中namenode的存储位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/soft/hadoop/tmp/dfs/name,/data2/soft/hadoop/tmp/dfs/name</value>
</property>
<!--指定hdfs中datanode的存储位置-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/soft/hadoop/tmp/dfs/data,/data2/soft/hadoop/tmp/dfs/data</value>
</property>
第三步:使配置生效
重新配置DataNode的配置,使配置生效。
hdfs dfsadmin -reconfig datanode node2:50020 start
hdfs dfsadmin -reconfig datanode node2:50020 status
第四步:平衡数据
HDFS数据本身并不总是均匀的放置在DataNode中,在添加新磁盘后,我们需要重新平衡下数据,HDFS为我们提供了一个工具,可以分析数据块放的位置和跨 DataNode 重新平衡数据:balancer
官方文档:hdfs balancer
hdfs balancer
[-threshold <threshold>]:磁盘容量百分百,判断集群是否平衡的目标参数,每一个 datanode 存储使用率和集群总存储使用率的差值都应该小于这个阀值,越小越平衡,默认10,越大平衡越快。
[-policy <policy>]:datanode(默认):如果每个数据节点都是平衡的,则集群是平衡的。blockpool:如果每个数据节点中的每个块池都是平衡的,则集群是平衡的。
[-exclude [-f <hosts-file> | <comma-separated list of hosts>]]:将指定的数据节点排除在平衡器的平衡之外。
[-include [-f <hosts-file> | <comma-separated list of hosts>]]:仅包括要由平衡器平衡的指定数据节点。
[-idleiterations <idleiterations>]:rebalanecing server启动的线程数,默认5。
平衡前操作
在平衡时受带宽影响,每个数据节点每秒使用的最大字节数是有限的,所以我们先临时设置这个值,此值会覆盖hdfs-site.xml中dfs.datanode.balance.bandwidthPerSec
的值,默认是1M,本操作命令不会持久,命令如下:
hdfs dfsadmin -setBalancerBandwidth 104857600
其他值:1024*1024=1M(1048576),52428800=50M,104857600=100M
开始平衡
本次执行平衡命令,磁盘平衡目标数为20 nohup hdfs balancer -threshold 20 > balancer.log &
其他平衡命令
平衡所有节点 nohup hdfs balancer > balancer.log &
平衡指定节点,磁盘平衡目标数为10 nohup hdfs balancer -include node7,node9,node10,node11 -threshold 10 > balancer.log &
平衡指定节点,磁盘平衡目标数,启动线程数为10 nohup hdfs balancer -include node7,node9,node10,node11 -threshold 10 -idleiterations 10 > balancer.log &
注(可选):一般在平衡时,可以先停止存储比较高的节点上的NodeManager,这样在该节点上就不会受本地NodeManager落数据到本地,使得本地存储迅速增加的影响。
yarn-daemon.sh stop nodemanager
yarn-daemon.sh start nodemanager
来源:https://www.cnblogs.com/zhangbaohpu/p/15938072.html
猜你喜欢
- 我们以世界排名第一的yahoo为例:在输入www.yahoo.com网址后,会出现:1、该网站的截图。右边有两行数据:Avg. Review
- 首先自我介绍吧,我是兼职从事网赚GG与百度代注册代收PIN业务的,正规工作单位是邮政局。下面就GG发PIN与网站主长时间收不到平邮PIN给大
- 1、点击Godaddy进入网站进行购买。2、点击Hosting打开下拉菜单,点击Web Site Hosting进入主机方案列表。操作过程如
- 本文主要介绍的是在CentOS 7.2安装部署邮件服务器(Postfix)的相关内容,分享出来供大家参考学习,下面来看看详细的介绍:Post
- 为使广大站长更顺利地安装上康盛创想(Comsenz)推出的社区产品 UCenter 1.5,UCenter Home 2.0 和 Discu
- 在网站seo优化的过程中常常需要通过一个名为robots.txt的文件与搜索引擎蜘蛛对话。通常来讲,搜索引擎蜘蛛爬行到某一个网站就会首先读取
- 昨天,Google黑板报贴出了《Google搜索引擎优化初学者指南》的文章,给“SEO 初学者,我应该怎样改进我的网站?
- 面对用户提出的需求,有时候经常感觉到千头万绪、无从下手,有时候又感觉需求本身就是答案、没有必要下手。面对需求分析这种事儿,就没有一个模式化的
- 相对于Windows98系统Windows2000在系统的稳定性方面大大加强了,相对于WindowsXP操作系统Windows2000在硬件
- 很多发布商可能已经阅读了我们之前发布的有关AdSense 推介计划更新的文章。在发布这一消息以后,我们收到了很多发布商的反馈意见,在慎重考虑
- 1) 添加或扩大交换分区#dd if=/dev/zero of=/home/swap bs=512 count=1024000bs 是扇区大
- “企业的成功在于其创造力、想象力、大胆的尝试及富于幻想的激情”,这是吉姆·柯林
- 软件下载下载软件链接链接: https://pan.baidu.com/s/1sfR8qGNEzuzMLq8nr9O-HQ 提取码: 5mk
- 设置IP安全策略将木马阻杀在端口外“木马”一个让用户头疼的字眼,它们悄然无声的进入我们的系统,叫人防不胜防。当木马悄悄打开某扇“方便之门”(
- ServU plus2.0ServU plus2.0是Serv-U的一个插件,其主要功能就是捕捉Serv-U的事件,然后做适当的功能增强、扩
- 光棍节的狂欢“时间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到2011年11月11日零时,便迫不及待地投身于淘宝商城一年一度的大型网
- 一、隐藏IP地址黑客若要对我们实施攻击,首先要找到我们的IP地址,否则无从下手。隐藏IP地址常用如下三法:1、使用代理服务器(Proxy S
- 第1页:提高数据库服务器性能数据库SQL Server跟Windows操作系统是同一个父母生的,他们在一些技术上具有共通性。这在很多方面都有
- 对于作Google AdSense的站长来说,注意自己的帐号安全,是非常重要的。可是由于Google对于站长在哪个网站放广告代码,没有一个所
- 先说:这是俺一个菜鸟建站到如今想到的,俺的原则是--写自己的帖子,让高手笑去吧,在别人的笑声中我们能得到更多(这好像是几年前看到阿江老大的一