hbase、pig、hive配置与应用

------------------HBASE----------[root@iClient~]#sudo yum install hbase                  #iClient安装Hbase客户端[root@cMaster-]#sudo yum install hbase-master           #cMaster 安装主服务HMaster[root@cSlave0~]#sudo yum install hbase-regionserver     #eSlave0安装从服务[root@cSlavel~]#sudo yum install hbase-regionserver      #cSlavel安装从服务[root@cSlave2~]#sudo yum install hbase-regionserver      #eSlave2安装从服务4）配置Hbase编辑/etc/hbase/conf/hbase-site.xml将下面内容添加到configuration便笺切记iClient，cMaster，cSlave0~2这五台机器都要进行配置，且要求配置相同。<property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.rootdir</name><value>hdfs://cMaster:8020/hbase</value>       </property><property><name>hbase.zookeeper.quorum</name><value>cSlave0,cSlavel,cSlave2</value></property>5）HDFS里新建Hbase存储目录[root@iClient~]#sudo -u hdfs hdfs dfs -mkdir /hbase[root@iClient~]#sudo -u hdfs hdfs dfs -chown -R hbase /hbase6）启动Hbase集群共分三步，即启动ZooKeeper集群（参考ZooKeeper部署），启动主服务HMaster和启动从服务HRegionServer。[root@cMaster~]#sudo service hbase-master start    #cMaster开启主服务命令S
sudo service hbase-regionserver start     #cSlave0，cSlavel，cSlave2开启regionserverHbase后动好后，在iClient上浏览蓄打井“cMaster：60010”，即可以看到Hbase的Web页面。2.Hbase接口[root@iClient~]#hbase shell                      #进入Hbase命令行hbase（main）：001：0>list                    #查看所有表hbase（main）：002：0>create 'member'，'id'，'personalAttr'，'socialAttr'  #创建member表hbase（main）：003：0>list hbase（main）：004：0>scan 'member'               #查看member内容hbase（main）：005：0>put 'member'，'201401'，'personalAttr:name'，'aa'  #向member表中插入数据hbase（main）：006：0>put 'member'，'201401'，'personalAtr:gender'，'0'hbase（main）：007：0>put 'member'，'201401'，'personalAttr:age'，'21'hbase（main）：008：0>put 'member'，'201401'，'socialAttr:edu'，'e0'hbase（main）：009：0>put 'member'，'201401，'socialAttr:job'， 'p3'hbase（main）：010：0>put 'member'，'201401'，'socialAttr:imcome'，'m'hbase（main）：011：0>scan 'member'hbase（main）：012：0>disable  'member'               #废弃member表hbase（main）：013：0>drop 'member'                   #删除member表hbase（main）：014：0>quit--------------------------- Pig------------------------[root@iClient ~]# sudo yum install pig        #只在iclient上安装2.Pig访问接口[root@iClient~]#sudo -u joe pig                    #进入joe用户的Pig命令行grunt> help；                                    #查看Pig操作grunt>A=load 'input'；                   #载入待处理文件夹input grunt>B=foreach A generate flatten (TOKENIZE((chararray)$0)) as word；  #划分单词grunt>C=group B by word；                    #指定按单词聚合，即同一个单词到一起grunt>D=foreach C generate COUNT(B),group；   #同一个单词出现次数相加grunt>store D into 'out/wc-19'；           #将处理好的文件存入HDFS下/user/joe/out/wc-19grunt> dump D into；                     #将处理结果D打印到屏幕------------------------------------------Hive-----------------------[root@iClient～]# sudo yum install hive         #只在iclient上安装   （2）HDFS里新建Hive存储目录。[root@iClient ~]#sudo -u hdfs hdfs dfs-mkdir /user/hive         #HDFS里新建 Hive存储目录[root@iClient~]#sudo -u hdfs hdfs dfs-chmod -R 1777    /user/hive    #为目录设置适当权限只需上述两步就可以直接使用Hive了，当然，也可以使用jps命令查看Hive进程。2.Hive接口[root@iClient~]#Hive         #进入Hive命令行hive>show functions；            #获取Hhive所有函数列表hive>describe function count；    #查看count函数用法首先为表准备数据，即在iClient目录“/root”下新建文件memberData并写入如下内容，注意记录间为换行符，字段间以Tab键分割。201401    aa    0    21    e0    p3    m201402    bb    1    22    el    p2    1201403    cc    1    22    e2    pl    mhive>show tables；          #查看当前 Hive仓库中所有表（以确定当前无member表）hive>create table member(id int,name string,gender tinyint,age tinyint,edu string,prof string,income string)row format delimited fields terminated by\t'；                          #使用合适字段与类型，新建member表hive>show tables；                                             #次查看，将显示member表hive>load data local inpath '/root/memberData' into table member；  #将本地文件memberData载入HDFS hive>select * from member；                                       #查看表中所有记录hive>select * from member where gender=1；                #查看表中gender值为1的记录hive>select * from member where gender=1 AND age=23；        #查看表中gender值为1且age为23的记录hive>select gender,count(*)from member group by gender；    #统计男女出现总次数hive>drop table member；                                    #删除member表hive>quit；                                      #退出Hive命令行接口