纵有疾风起
人生不言弃

hadoop

Hadoop学习笔记—10.Shuffle过程那点事儿-起风网

Hadoop学习笔记—10.Shuffle过程那点事儿

acacia阅读(301)评论(0)

一、回顾Reduce阶段三大步骤   在第四篇博文《初识MapReduce》中,我们认识了MapReduce的八大步骤,其中在Reduce阶段总共三个步骤,如下图所示:   其中,Step2.1就是一个Shuffle操作,它针对多个map任...

Hadoop学习笔记—18.Sqoop框架学习-起风网

Hadoop学习笔记—18.Sqoop框架学习

Queen阅读(297)评论(0)

一、Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念     Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到...

Hadoop学习笔记—21.Hadoop2的改进内容简介-起风网

Hadoop学习笔记—21.Hadoop2的改进内容简介

vicky阅读(350)评论(0)

Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更: (1)HDFS的NameNode可以以集群的方式布署,增强了NameN...

Hadoop学习笔记—5.自定义类型处理手机上网日志-起风网

Hadoop学习笔记—5.自定义类型处理手机上网日志

晁然然然然阅读(490)评论(0)

一、测试数据:手机上网日志 1.1 关于这个日志   假设我们如下一个日志文件,这个文件的内容是来自某个电信运营商的手机上网日志,文件的内容已经经过了优化,格式比较规整,便于学习研究。   该文件的内容如下(这里我只截取了三行): 1363...

Hadoop学习笔记—6.Hadoop Eclipse插件的使用-起风网

Hadoop学习笔记—6.Hadoop Eclipse插件的使用

chorme阅读(283)评论(0)

开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率。但是,它也有一些缺点,如编码、调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大。因此,Hadop的开发者为...