起风了

“路海长 青夜旷 越过群山追斜阳”

CreateFolder

import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;/*** * 创建文件夹 * @author * */public class CreateFolder { public static void ma...

Hadoop学习笔记—17.Hive框架学习

Hadoop学习笔记—17.Hive框架学习缩略图
一、Hive:一个牛逼的数据仓库 1.1 神马是Hive?   Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉 SQL&...

跟玄姐学习技术管理的哲学本质

跟玄姐学习技术管理的哲学本质缩略图
今天,和你分享我学习玄姐(孙玄)在阿里云开发者社区的架构师成长之路系列直播课的第四课《跨越技术和管理的鸿沟,打造一支有战斗力的团队》做的学习总结。 一、技术架构的哲学本质 在上一篇《架构设计思维模型学习总结》中提到,玄姐认为,架构师需要具备几个思维模型,为什么要将思维模型化?其本质目的...

RabbitMQ in Action(5): Clustering and dealing with failure

image
Batteries included: RabbitMQ clustering The clustering built in to RabbitMQ was designed with two goals in mind: allowing consumers and producers to keep running in the event one Rabbit node dies, and linearly scaling messaging throughput by adding more nodes. RabbitMQ adeptly satisfi...

[转]Examining Open vSwitch Traffic Patterns

image
In this post, I want to provide some additional insight on how the use of Open vSwitch (OVS) affects—or doesn’t affect, in some cases—how a Linux host directs traffic through physical interfaces, OVS internal interfaces, and OVS bridges. This is something that I had a hard time underst...

[转] An Introduction to Mutual SSL Authentication

Mutual SSL Authentication - Click to enlarge image
1. Introduction Mutual SSL authentication or certificate based mutual authentication refers to two parties authenticating each other through verifying the provided digital certificate so that both parties are assured of the others' identity. In technology terms, it refers to a client (...

觉得OpenStack的网络复杂?其实你家里就有同样一个网络

觉得OpenStack的网络复杂?其实你家里就有同样一个网络缩略图
当你想了解OpenStack的Neutron网络,打开下面这张图的时候,心里一定是崩溃的,看起来这些模块连在一起很复杂,但其实和你家里的网络很像,看不出来?看我来慢慢解析。     其实这个网络的样子更像是我上大学的时候的寝室里面的网络。   作为一个已到中年的80后,在两千年初上大学的时候,当...

spark运行信息及报错问题解决集锦

spark运行信息及报错问题解决集锦缩略图
错误1: ERROR client.RemoteDriver: Failed to start SparkContext: java.lang.IllegalArgumentException: Executor memory 456340275 must be at least 471859200. Please increase executor memory using the --executor-memory option or spark.executor.memory in Spark configuration 解决方法:搜...

多台Linux 7.x服务器具有相同的UUID网络链接参数,肿么办?

多台Linux 7.x服务器具有相同的UUID网络链接参数,肿么办?缩略图
1、查看多台服务器的UUID网络链接参数是否相同   我这里使用SecureCRT的全部交互功能,直接批量输出  /etc/sysconfig/network-scripts/ifcfg-ens33 的内容,除了具体的IP参数不一样之外,其它都是相同的。按道理来说,一样的内容更有利于批量管理,但是这里由于在克隆vm的时候,部分主机的MAC地址会自...

微信公众平台开发(三) 订阅事件(subscribe)处理

微信公众平台开发(三) 订阅事件(subscribe)处理缩略图
一、简介 新用户关注微信公众平台,将产生一个订阅事件,即subscribe事件,默认代码中没有对这一事件进行相应回复处理。 在新用户关注公众平台后,可能想知道该平台提供了哪些功能,以及怎样使用该平台,通俗一点讲就是该平台的“使用说明书”。 本文将详细讲述对subscribe事件的处理过程,回复相...