标签：Hadoop

2020-09-19foolsss阅读(363)评论(0)

一、MapReduce概述 MapReduce 是 Hadoop 的核心组成, 是专用于进行数据计算的，是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce由两个阶段组成：Map和Redu...

2020-09-19foolsss阅读(316)评论(0)

一、MapReduce老API的写法 package OldAPI; import java.io.IOException; import java.net.URI; import java.util.Iterator; import or...

2020-09-19foolsss阅读(336)评论(0)

自定义 MR 实现如下逻辑 product_no lac_id moment start_time user_id county_id staytime city_id 13429100031 22554 8 2013-03-11 08:5...

2020-09-19foolsss阅读(331)评论(0)

一、简介 作为企业Hadoop应用的核心产品，Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计，很多企业里的离线统计甚至全由Hive完成，如我所在的电商。Hive在企业云计算平台发挥的作用和影响愈来愈大，如何优化提速已经显得...

2020-09-19foolsss阅读(365)评论(0)

一、Pig简介 Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的，Pig有一套自己的数据处理语言，Pig的数据处理过程要转化为MR来运行。 相比 Java 的 MapReduce API ，Pig为...

2020-09-19foolsss阅读(415)评论(0)

重启计算机之后，遇到了一个问题，执行start-all.sh之后，执行JPS命令，发现namenode没有启动。 每次开机都得重新格式化一下namenode才可以。 原因： hadoop.tmp.dir是hadoop文件系统依赖的基础配置，...

2020-09-19foolsss阅读(339)评论(0)

Flume概述 Flume是一个分布式的数据收集系统，具有高可靠、高可用、事务管理、失败重启等功能。数据处理速度快，完全可以用于生产环境。 Flume的核心是agent。agent是一个java进程，运行在日志收集端，通过agent**接收...

2020-09-18foolsss阅读(239)评论(0)

一、什么是Hive Hive 是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类SQL查...