转载自公众号：FightingCoder
一、前言
作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图：
image
image
image
Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定...
转载自公众号：easypython
爬虫速度太慢？在这里推荐几个值得关注的异步爬虫库，给你的爬虫提速。看看有没有你没听过的？
类似 Requests 的库
为什么要推荐类似 Requests 的库呢？Requests 不够好吗？
虽然 Requests 对于新手很容易上手，但它是同步的、并不是异步设计的。在 HTTP 请求的时候是需要 IO 等待...
转载自公众号：FightingCoder
一般情况下我们使用爬虫更多的应该是爬数据或者图片吧,今天在这里和大家分享一下关于使用爬虫技术来进行视频下载的方法,不仅可以方便的下载一些体积小的视频,针对大容量的视频下载同样试用。
image
先上个?
requests模块的iter_content方法
这里我们使用的是python的reques...
转载自公众号:FightingCoder
WebSocket 协议和知识
WebSocket是一种在单个TCP连接上进行全双工通信的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455，并由RFC7936补充规范。WebSocket API也被W3C定为标准。
WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据...
摘要： 本文介绍如何自己构建深度学习服务器
注意:本文主要关注服务器设置和与多个用户同时工作，部件组装和软件安装过程是Slav Ivanov关于创建自己的DL Box的文章的简化版本。
我刚刚开始阅读fast.ai课程的第1部分“编码器的实用深度学习”，我想构建自己的服务器，通过使用AWS p2实例和存储对模型进行升级。...
Python中有许多HTTP客户端。使用最广泛且最容易的是requests。
持续连接
持续连接是自HTTP 1.1以来的标准，尽管许多应用程序并未使用它们。以简单模式使用请求时(例如使用get函数)，连接会在返回时关闭，Session对象允许重用已经打开的连接。
import requestssession = requests.Session()session.get("https:...
本节内容：
1、socket
2、IO多路复用
3、socketserver
socket
socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，对于文件用【打开】【读写】【关闭】模式来操作。socket就是该模式的一个实现，socket即是一种特殊的文件，一些socket函数就是对其进行的操...
Go 语言简介
Go 是一个开源的编程语言，它能让构造简单、可靠且高效的软件变得容易。
Go是从2007年末由Robert Griesemer, Rob Pike, Ken Thompson主持开发，后来还加入了Ian Lance Taylor, Russ Cox等人，并最终于2009年11月开源，在2012年早些时候发布了Go 1稳定版本。现在Go的开发已经是完全开放的，并且拥...
高性能IO模型浅析
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种：
（1）同步阻塞IO（Blocking IO）：即传统的IO模型。
（2）同步非阻塞IO（Non-blocking IO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的NIO并非Java的NIO（New&nb...
一、Hadoop HA的Web页面访问
Hadoop开启HA后，会同时存在两个Master组件提供服务，其中正在使用的组件称为Active，另一个作为备份称为Standby，例如HDFS的NameNode、YARN 的ResourceManager。HDFS的web页面只有通过Active的NameNode才能正常访问，同样地，YARN的web页面也只有通过Active的ResouceMana...