URL管理器的作用
URL管理器的作用：管理待抓取URL集合和已抓取URL集合。防止重复循环抓取死循环。
URL管理器的实现方式
URL管理器的实现方式有三种：
适合个人的：内存
为啥用set()呢？
因为：python的set可以自动去除重复的元素。
小型企业或个人：关系数据库（永久存储或内存不够用）
用一个字...
Python爬虫架构介绍
1. URL管理器管理着所有URL，把地址交给网页下载器去下载。 2. 下载的内容是一个String，由解析器 分析出有用的数据存储。 3. 解析器还可以解析出 String中的URL再交给URL管理器，进行下一步爬取。
爬虫动态运行流程
原文链接：https://lookme.blog.csdn.net/article/details/7108203...