hadoop

2020-09-17男闺蜜尚淼阅读(310)评论(0)

一、关于Pig：别以为猪不能干活 1.1 Pig的简介 　　Pig是一个基于Hadoop的大规模数据分析平台，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapRedu...

2020-09-17acacia阅读(323)评论(0)

一、回顾Reduce阶段三大步骤 　　在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步骤，其中在Reduce阶段总共三个步骤，如下图所示： 　　其中，Step2.1就是一个Shuffle操作，它针对多个map任...

2020-09-17晁然然然然阅读(513)评论(0)

一、测试数据：手机上网日志 1.1 关于这个日志 　　假设我们如下一个日志文件，这个文件的内容是来自某个电信运营商的手机上网日志，文件的内容已经经过了优化，格式比较规整，便于学习研究。 　　该文件的内容如下（这里我只截取了三行）： 1363...

2020-09-17Queen阅读(319)评论(0)

一、Sqoop基础：连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念　　 　　Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到...

2020-09-17深夜徐老师阅读(368)评论(0)

一、Combiner的出现背景 1.1 回顾Map阶段五大步骤 　　在第四篇博文《初识MapReduce》中，我们认识了MapReduce的八大步凑，其中在Map阶段总共五个步骤，如下图所示： 　　其中，step1.5是一个可选步骤，它就是...

2020-09-17chorme阅读(305)评论(0)

开篇：Hadoop是一个强大的并行软件开发框架，它可以让任务在分布式集群上并行处理，从而提高执行效率。但是，它也有一些缺点，如编码、调试Hadoop程序的难度较大，这样的缺点直接导致开发人员入门门槛高，开发难度大。因此，Hadop的开发者为...

2020-09-17付鹏FuPeng阅读(372)评论(0)

从字面上来看，ZooKeeper表示动物园管理员，这是一个十分奇妙的名字，我们又想起了Hadoop生态系统中，许多项目的Logo都采用了动物，比如Hadoop采用了大象的形象，所以我们可以猜测ZooKeeper就是对这些动物进行一些管理工作...

2020-09-17vicky阅读(332)评论(0)

一、Hive：一个牛逼的数据仓库 1.1 神马是Hive？ 　　Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的...