Hive动态分区

动态分区指不需要为不同的分区添加不同的插入语句，分区不确定，需要从数据中获取。

相关参数设置

set hive.exec.dynamic.partition=true; //使用动态分区
(可通过这个语句查看：set hive.exec.dynamic.partition;) 

set hive.exec.dynamic.partition.mode=nonstrict;//无限制模式 
如果模式是strict，则必须有一个静态分区，且放在最前面。

SET hive.exec.max.dynamic.partitions.pernode=10000;每个节点生成动态分区最大个数

set hive.exec.max.dynamic.partitions=100000;,生成动态分区最大个数，如果自动分区数大于这个参数，将会报错

set hive.exec.max.created.files＝150000; //一个任务最多可以创建的文件数目

set dfs.datanode.max.xcievers=8192;//限定一次最多打开的文件数

一个分区的情况

create table dynpar( name string ) partitioned by (value string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile ;

·

两个分区的情况

create table dynpar2( name string ) partitioned by (value string,dt string) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile ;

insert overwrite table dynpar2 partition(value,dt) select 'test' as name, addr as value, name as dt from testtable;

show partitions dynpar2;
select * from dynpar2;


如果模式是strict，则必须有一个静态分区，且放在最前面。
eg:
insert overwrite table dynpar2 partition(value='10001',dt) select 'test' as name, name as dt from testtable;
否则，不能够成功。

原文链接：https://blog.csdn.net/scgaliguodong123_/article/details/46940269

本站声明:网站内容来源于网络,如有侵权,请联系我们,我们将及时处理。