一、RPC基础概念
1.1 RPC的基础概念
RPC，即Remote Procdure Call，中文名：远程过程调用；
（1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。
RPC协议假定某些传输协议的存在，如TCP或UDP，为通...
一、神马是高大上的MapReduce
MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，它使得那些没有多有...
一、测试数据：手机上网日志
1.1 关于这个日志
假设我们如下一个日志文件，这个文件的内容是来自某个电信运营商的手机上网日志，文件的内容已经经过了优化，格式比较规整，便于学习研究。
该文件的内容如下（这里我只截取了三行）：
1363157993044 18211575961 94-71-AC-CD-E6-18:CMCC-EASY 120.19...
=================== ===============================----------------hadoop集群搭建 -----------------------====================== ===========================192.168.75.7 255.255.255.0 192.168.75.200:50:56:27:0C:F1----------------------虚拟机基础配置 ---...
-------------------------Oozie--------------------【一、部署】 1）部署Oozie服务端[root@cMaster~]#sudo yum install oozie #cMaster上以root权限执行，部署Oozie服务端2）部署Oozie客户端[root@iClient~]f#sudo yum install oozie-client【二、配置文件】3）修改/etc/oozie/conf/oozie-env.sh...
root@cslave2:/]#jps2834 NodeManager2487 DataNode12282 Jps2415 QuorumPeerMainroot@cslave2:/]#sudo service hbase-regionserver start Starting Hadoop HBase regionserver daemon: starting regionserver, logging to /var/log/hbase/hbase-hbase-regionserver-cslave2.outJava HotSpot(TM) 64-Bit Ser...
import org.apache.hadoop.conf.*;import org.apache.hadoop.fs.*;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;/*** * 注意：文件创建时，可能会报Permission denied错误，其中一个解决办法是给要写入的文件所在目录增加其他人写的权限， 在Linix下输入命令 $ hd...
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;/*** * 创建文件夹 * @author * */public class CreateFolder { public static void ma...
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;/*** * * @author * */public class DeleteFile { public static void main(String[] ...
import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;/*** * @author */import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;public class DeleteFolder { public static void main(String[] arg...