import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;/*** * 创建文件夹 * @author * */public class CreateFolder { public static void ma...
一、Hive:一个牛逼的数据仓库
1.1 神马是Hive?
Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL ,它允许熟悉 SQL&...
今天,和你分享我学习玄姐(孙玄)在阿里云开发者社区的架构师成长之路系列直播课的第四课《跨越技术和管理的鸿沟,打造一支有战斗力的团队》做的学习总结。
一、技术架构的哲学本质
在上一篇《架构设计思维模型学习总结》中提到,玄姐认为,架构师需要具备几个思维模型,为什么要将思维模型化?其本质目的...
Batteries included: RabbitMQ clustering
The clustering built in to RabbitMQ was designed with two goals in mind: allowing consumers and producers to keep running in the event one Rabbit node dies, and linearly scaling messaging throughput by adding more nodes.
RabbitMQ adeptly satisfi...
In this post, I want to provide some additional insight on how the use of Open vSwitch (OVS) affects—or doesn’t affect, in some cases—how a Linux host directs traffic through physical interfaces, OVS internal interfaces, and OVS bridges. This is something that I had a hard time underst...
1. Introduction
Mutual SSL authentication or certificate based mutual authentication refers to two parties authenticating each other through verifying the provided digital certificate so that both parties are assured of the others' identity. In technology terms, it refers to a client (...
当你想了解OpenStack的Neutron网络,打开下面这张图的时候,心里一定是崩溃的,看起来这些模块连在一起很复杂,但其实和你家里的网络很像,看不出来?看我来慢慢解析。
其实这个网络的样子更像是我上大学的时候的寝室里面的网络。
作为一个已到中年的80后,在两千年初上大学的时候,当...
错误1:
ERROR client.RemoteDriver: Failed to start SparkContext: java.lang.IllegalArgumentException: Executor memory 456340275 must be at least 471859200.
Please increase executor memory using the --executor-memory option or spark.executor.memory in Spark configuration
解决方法:搜...
1、查看多台服务器的UUID网络链接参数是否相同
我这里使用SecureCRT的全部交互功能,直接批量输出 /etc/sysconfig/network-scripts/ifcfg-ens33 的内容,除了具体的IP参数不一样之外,其它都是相同的。按道理来说,一样的内容更有利于批量管理,但是这里由于在克隆vm的时候,部分主机的MAC地址会自...
一、简介
新用户关注微信公众平台,将产生一个订阅事件,即subscribe事件,默认代码中没有对这一事件进行相应回复处理。
在新用户关注公众平台后,可能想知道该平台提供了哪些功能,以及怎样使用该平台,通俗一点讲就是该平台的“使用说明书”。
本文将详细讲述对subscribe事件的处理过程,回复相...