纵有疾风起
人生不言弃

CDH高可用hadoop集群性能配置



 

1、HDFS的高可用配置

dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。

dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存储 NameNode 编辑的本地文件系统目录。journalnode所在节点的目录,存放editlog和其他信息。

               CDH高可用hadoop集群性能配置插图

               CDH高可用hadoop集群性能配置插图1

                 CDH高可用hadoop集群性能配置插图2

 

                   CDH高可用hadoop集群性能配置插图3

 

 

                  CDH高可用hadoop集群性能配置插图4

                   CDH高可用hadoop集群性能配置插图5

 

 

 

 

 

 

2、YARN的高可用配置

在使用 yarn HA时,运行 hive on yarn 的任务无法得出结果时,并且出现以下错误

Caused by:javax.servlet.ServletException: Could not determine the proxy server for redirection

问题:无法确定用于重定向的代理服务器

解决:禁用 YARN HA,即ResourceManager只使用一个主节点,其实一般yarn HA仍然能运行 hive on yarn 的任务并且能得出正常结果,但是还是会报出同样错误

                   CDH高可用hadoop集群性能配置插图6

                   CDH高可用hadoop集群性能配置插图7

 

                  CDH高可用hadoop集群性能配置插图8

 

 

                    CDH高可用hadoop集群性能配置插图9

 

 

当前运行的环境是 YARN HA(node1、node2均部署了ResourceManager)的情况下,执行 hive on spark 的程序,虽然能得出正常执行成功得出结果,

但是对应该程序的日志信息仍然报错:无法确定用于重定向的代理服务器 Could not determine the proxy server for redirection。

select * from test_tb;

select count(*) from test_tb;

insert into test_tb values(2,’ushionagisa’);

 

 

                    CDH高可用hadoop集群性能配置插图10

 

文章转载于:https://www.cnblogs.com/Raodi/p/11460848.html

原著是一个有趣的人,若有侵权,请通知删除

未经允许不得转载:起风网 » CDH高可用hadoop集群性能配置
分享到: 生成海报

评论 抢沙发

评论前必须登录!

立即登录