纵有疾风起
人生不言弃

CDH集群的配置优化须知



       通过改善IFile阅读器的性能 IFile Reader,进而可改善随机处理程序并减少储备空间,达到MapReduce的配置最佳实践要求。而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库。

       首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能。要为MRv1或YARN启用此功能,请设置mapreduce.ifile.readahead 为 true(默认)。

要进一步调整性能,请调整值mapreduce.ifile.readahead.bytes。默认值为4MB。

而改善随机处理程序具有以下要求:

1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。

    这会导致TaskTracker或节点管理器在通过套接字将其发送到reducer之前预读取地输出。

2.要为YARN启用此功能,请设置 mapreduce.shuffle.manage.os.cache 为 true (默认)。

   要进一步调整性能,请调整值mapreduce.shuffle.readahead.bytes。默认值为4 MB。

3.要为MapReduce启用此功能,请设置 mapred.tasktracker.shuffle.fadvise 为 true (默认)。

   要进一步调整性能,请调整值mapred.tasktracker.shuffle.readahead.bytes。默认值为4 MB。

空间储备的关键在于:

      默认情况下 EXT3 和 EXT4 文件系统保留5%的空间供root用户使用。这个保留空间算作 非DFS已使用。保留块计数是 EXT3/EXT4保留的文件系统块。块大小是以字节为单位的大小。

要查看保留空间,请使用tune2fs 命令:# tune2fs -l /dev/sde1 | egrep "Block size:|Reserved block count"Reserved block count: 36628312Block size: 4096翻译为:#tune2fs -l / dev / sde1 | egrep“块大小:|预留块数”保留块数:36628312块大小:4096

文章转载于:https://www.cnblogs.com/Raodi/p/11460736.html

原著是一个有趣的人,若有侵权,请通知删除

未经允许不得转载:起风网 » CDH集群的配置优化须知
分享到: 生成海报

评论 抢沙发

评论前必须登录!

立即登录