前言
在上一节我们学习了 PhantomJS 的基本用法,归根结底它是一个没有界面的浏览器,而且运行的是 JavaScript 脚本,然而这就能写爬虫了吗?这又和Python有什么关系?说好的Python爬虫呢?库都学完了你给我看这个?客官别急,接下来我们介绍的这个工具,统统解决掉你的疑惑。
简介
Selenium 是什么?一句话...
前言
大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了。所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。
其中有一个比较常用的工具...
前言
你是否觉得 XPath 的用法多少有点晦涩难记呢?
你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢?
你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢?
你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢?
嗯,那么,前端大大们的福音来了,PyQuery 来了,乍...
转载: http://www.cnblogs.com/fnng/p/3230768.html
本节重点:
调用js方法
execute_script(script, *args)
在当前窗口/框架 同步执行javaScript
脚本:JavaScript的执行。
*参数:适用任何JavaScript脚本。
使用:
driver.execute_script(‘document.title’)
使快播...
注意,虽然在本文中会涉及调度策略等内容,但实际执行效果取决于具体策略实现。
project
脚本分为不同的 project,不同的 project 之间的任务互相独立,建议为不同的站点建立不同的 project
project 属性
group – 分组标识,暂时仅用于区分
name – 脚本的名字,只允许 a-zA-Z0-9_
status – 任务状态,...
Pyspider爬虫教程
一、安装
1、 安装pip
(1)准备工作
yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel
(2)安装setuptools
https://pypi.python.org/pypi/setuptools/
python setup.py install
(3)安装pip
https://pypi.python.org/pypi/pip
python setup.py install
2、 ...
查询目录
一,硬件 十一,数据库
...
ajax简介
AJAX即“Asynchronous Javascript And XML”(异步JavaScript和XML),是指一种创建交互式网页应用的网页开发技术。Ajax不是一种新的编程语言,而是使用现有标准的新方法。AJAX可以在不重新加载整个页面的情况下,与服务器交换数据。这种异步交互的方式,使用户单...
前两部链接
django入门全套(第一部)
Django入门全套(第二部)
本章内容:
Django 发送邮件
Django cookie
Django session
Django CSRF
Django 发送邮件
我们常常会用到一些发送邮件的功能,比如有人提交了应聘的表单,可以向HR的邮箱发邮件,这样,HR不看网站就可以知道有人在网站上提交了应聘信息...
Django与JS交互的示例代码
Django 前后台的数据传递
https://www.cnblogs.com/xibuhaohao/p/10192052.html
应用一:有时候我们想把一个 list 或者 dict 传递给 javascript,处理后显示到网页上,比如要用 js 进行可视化的数据。请注意:如果是不处理,直接显示在网页上,用Django模板就...