hadoop

2020-09-17chorme阅读(296)评论(0)

开篇：Hadoop是一个强大的并行软件开发框架，它可以让任务在分布式集群上并行处理，从而提高执行效率。但是，它也有一些缺点，如编码、调试Hadoop程序的难度较大，这样的缺点直接导致开发人员入门门槛高，开发难度大。因此，Hadop的开发者为...

2020-09-17Smilelikeflower阅读(363)评论(0)

一、HBase的安装配置 1.1 伪分布模式安装 　　伪分布模式安装即在一台计算机上部署HBase的各个角色，HMaster、HRegionServer以及ZooKeeper都在一台计算机上来模拟。 　　首先，准备好HBase的安装包，我这...

2020-09-17晁然然然然阅读(510)评论(0)

一、测试数据：手机上网日志 1.1 关于这个日志 　　假设我们如下一个日志文件，这个文件的内容是来自某个电信运营商的手机上网日志，文件的内容已经经过了优化，格式比较规整，便于学习研究。 　　该文件的内容如下（这里我只截取了三行）： 1363...

2020-09-17foreverP阅读(314)评论(0)

HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型，它存储的是松散型数据。 一、HBase：BigTa...

2020-09-17Thedreamofyou阅读(533)评论(0)

一、神马是高大上的MapReduce 　　MapReduce是Google的一项重要技术，它首先是一个编程模型，用以进行大数据量的计算。对于大数据量的计算，通常采用的处理手法就是并行计算。但对许多开发者来说，自己完完全全实现一个并行计算程序...

2020-09-15vicky阅读(371)评论(0)

Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： （1）HDFS的NameNode可以以集群的方式布署，增强了NameN...

2020-09-17付鹏FuPeng阅读(364)评论(0)

从字面上来看，ZooKeeper表示动物园管理员，这是一个十分奇妙的名字，我们又想起了Hadoop生态系统中，许多项目的Logo都采用了动物，比如Hadoop采用了大象的形象，所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作...

2020-09-17WaitingforLove阅读(577)评论(0)

一、RPC基础概念 1.1 RPC的基础概念 　　RPC，即Remote Procdure Call，中文名：远程过程调用； 　　（1）它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。...

2020-09-17Smilelikeflower阅读(292)评论(0)

网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p...

2020-09-17付鹏FuPeng阅读(292)评论(0)

开篇：在本笔记系列的第一篇中，我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在，我们来了解一下在一个Hadoop分布式集群中，如何动态（不关机且正在运行的情况下）地添加一个Hadoop节点与下架一个Hadoop节点。 一、实验环境...