宜宾网站建设公司

Hadoop维护实战-设置hdfs副本数dfs.replication-创新互联

Hadoop维护实战 设置hdfs副本数 dfs.replication

鹤城网站制作公司哪家好，找创新互联建站！从网页设计、网站建设、微信开发、APP开发、响应式网站等网站项目制作，到程序开发，运营维护。创新互联建站2013年至今到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选创新互联建站。

有个临时应用，使用临时调配的机器，机器磁盘差别数十倍。

在使用hadoop存储数据时导致小磁盘机器使用率达80%多，而大磁盘机器使用不过才10%多一点。

明显的hadoop集群各datanode空间使用率很不均衡，需要重新balance。于是想到了hdfs的均衡器balancer。

sbin/start-balancer.sh -threshold 10

但是在执行hdfs的balancer时会自动退出，不执行，也没有发现Error或者Warning。

但在out文件中可以看到一些信息：

balancer已经计算出要移动的数据量，但是就是没有移动，只是提示：

No block has been moved for 5 iterations. Exiting...

原来hadoop balancer在进行转移block的时候是会判断的：

 *

The balancer automatically exits when any of the following five

 * conditions is satisfied:

 *

     *

  1. The cluster is balanced;

     *

  2. No block can be moved;

     *

  3. No block has been moved for five consecutive(连续) iterations;

     *

  4. An IOException occurs while communicating with the namenode;

     *

  5. Another balancer is running.

     *

 * 下面5种情况会导致Balance操作的失败

 * 1、整个集群已经达到平衡状态

 * 2、经过计算发现没有可以被移动的block块

 * 3、在连续5次的迭代中，没有block块被移动

 * 4、当datanode节点与namenode节点通信的时候，发生IO异常

 * 5、已经存在一个Balance操作

显然是第三点问题了，log里显示执行了5次迭代但都每移动，应该是多副本的原因，迭代的block在大磁盘机器上都已经存在，那边都已经存在了，所以balancer移动进程就退出了。

不能执行均衡器了，那只有减少副本数了。

修改hdfs的副本数，首先想到的是修改hdfs-site.xml中的dfs.replication参数，默认为3，开始时设置成了2，现在索性修改为1，然后重启datanode命令：sbin/hadoop-daemon.sh start datanode

但似乎没有起作用，数据量没有变化，按理说应该大量数据减少才对啊。这又是为什么呢？

首先 dfs.replication这个参数是个client参数，即node level参数。需要在每台datanode上设置。

一个文件，上传到hdfs上时指定的是几个副本就是几个。以后你修改了副本数，对已经上传了的文件也不会起作用。可以在上传文件的同时指定创建的副本数。

如果你只有3个datanode，但是你却指定副本数为4，是不会生效的，因为每个datanode上只能存放一个副本。

啊，原来是这样，那就看下现在HDFS的副本数，并把它们都修改执行下，是不是有相应的hadoop shell命令呢？

Hadoop Commands和FileSystem Shell

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/CommandsManual.html

http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html

执行 hadoop fsck /  查看整个目录的备份数分布,输出结果如下：

    Default replication factor  2

    Average block replication 2.38

修改hdfs文件备份系数：hadoop dfs -setrep [-R] 如果有-R将修改子目录文件的性质。

hadoop dfs -setrep -w 1 -R /user/hadoop/dir1 就是把目录下所有文件备份系数设置为1.

这个需要一些时间，感觉会扫描所有指定目录下的文件。

修改完已经存储的文件后，记得要修改以后放入的数据副本数，这个就要看client端了，如果client端有设置，一定要修改。

上面的都执行后如果还是不均衡，此时可以再执行hdfs的均衡器balancer。

个人感觉以上的只是出现问题时的一个解决方案，期望不要出现这样的问题，毕竟数据量大了操作会有很大的影响的。

我们应该对dfs.replication的数值做出很好的规划，尽量避免需要降低该数值的情况出现。

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


分享题目：Hadoop维护实战-设置hdfs副本数dfs.replication-创新互联
转载源于：http://hbruida.cn/article/decpgo.html

其他资讯