前言
之前我们用了 urllib 库，这个作为入门的工具还是不错的，对了解一些爬虫的基本理念，掌握爬虫爬取的流程有所帮助。入门之后，我们就需要学习一些更加高级的内容和工具来方便我们的爬取。那么这一节来简单介绍一下 requests 库的基本用法。
注：Python 版本依然基于 2.7
官方文档
以下内容大多来自于官...
前言
在上一节我们学习了 PhantomJS 的基本用法，归根结底它是一个没有界面的浏览器，而且运行的是 JavaScript 脚本，然而这就能写爬虫了吗？这又和Python有什么关系？说好的Python爬虫呢？库都学完了你给我看这个？客官别急，接下来我们介绍的这个工具，统统解决掉你的疑惑。
简介
Selenium 是什么？一句话...
前言
大家有没有发现之前我们写的爬虫都有一个共性，就是只能爬取单纯的html代码，如果页面是JS渲染的该怎么办呢？如果我们单纯去分析一个个后台的请求，手动去摸索JS渲染的到的一些结果，那简直没天理了。所以，我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。
其中有一个比较常用的工具...
前言
你是否觉得 XPath 的用法多少有点晦涩难记呢？
你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢？
你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢？
你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢？
嗯，那么，前端大大们的福音来了，PyQuery 来了，乍...
关于
首先，在此附上项目的地址，以及官方文档
PySpider 官方文档
安装
1. pip
首先确保你已经安装了pip，若没有安装，请参照
pip安装
2. phantomjs
PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持，其快速、原生支持各种Web标准：DOM 处理、CSS 选择器、JSON...
综述
爬虫入门之后，我们有两条路可以走。
一个是继续深入学习，以及关于设计模式的一些知识，强化Python相关知识，自己动手造轮子，继续为自己的爬虫增加分布式，多线程等功能扩展。另一条路便是学习一些优秀的框架，先把这些框架用熟，可以确保能够应付一些基本的爬虫任务，也就是所谓的解决温饱问题，然后...
前言
我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。
首先声明一点！
多线程和多进程是不一样的！一个是 thread 库，一个是 multiprocessing 库。而多线程 thread 在 Python 里面被称作鸡肋的存在！而没错！本节介绍的...
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了，不过还有更加强大的工具，爬虫框架Scrapy，这安装过程也是煞费苦心哪，在此整理如下。
Windows 平台：
我的系统是 Win7，首先，你要有Python，我用的是2.7.7版本，Python3相仿，只是一些源文件不同。
官网文档：http://doc.scrapy.org/en/la...
审时度势
PySpider 是一个我个人认为非常方便并且功能强大的爬虫框架，支持多线程爬取、JS动态解析，提供了可操作界面、出错重试、定时爬取等等的功能，使用非常人性化。
本篇内容通过跟我做一个好玩的 PySpider 项目，来理解 PySpider 的运行流程。
招兵买马
具体的安装过程请查看本节讲述
安装
嗯，安装好...
# -*- coding: utf-8 -*-"""__mktime__ = '${DATE}'__author__ = '${USER}'__filename__ = '${NAME}'"""
if __name__ == "__main__":pass
文章转载于:https://www.cnblogs.com/BigFishFly/p/6580692.html
原著是一个有趣的人,若有侵权,请通知删除