起风了

“路海长 青夜旷 越过群山追斜阳”

Python爬虫利器五之Selenium的用法

前言 在上一节我们学习了 PhantomJS 的基本用法,归根结底它是一个没有界面的浏览器,而且运行的是 JavaScript 脚本,然而这就能写爬虫了吗?这又和Python有什么关系?说好的Python爬虫呢?库都学完了你给我看这个?客官别急,接下来我们介绍的这个工具,统统解决掉你的疑惑。 简介 Selenium 是什么?一句话...

Python爬虫利器四之PhantomJS的用法

example
前言 大家有没有发现之前我们写的爬虫都有一个共性,就是只能爬取单纯的html代码,如果页面是JS渲染的该怎么办呢?如果我们单纯去分析一个个后台的请求,手动去摸索JS渲染的到的一些结果,那简直没天理了。所以,我们需要有一些好用的工具来帮助我们像浏览器一样渲染JS处理的页面。 其中有一个比较常用的工具...

Python爬虫利器六之PyQuery的用法

2016-02-11 20.55.36
前言 你是否觉得 XPath 的用法多少有点晦涩难记呢? 你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢? 你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢? 你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢? 嗯,那么,前端大大们的福音来了,PyQuery 来了,乍...

python之selenium调用js(execute_script)

转载: http://www.cnblogs.com/fnng/p/3230768.html 本节重点: 调用js方法 execute_script(script, *args) 在当前窗口/框架 同步执行javaScript 脚本:JavaScript的执行。 *参数:适用任何JavaScript脚本。 使用: driver.execute_script(‘document.title’)     使快播...

pyspider脚本编写指南

ipmi
注意,虽然在本文中会涉及调度策略等内容,但实际执行效果取决于具体策略实现。 project 脚本分为不同的 project,不同的 project 之间的任务互相独立,建议为不同的站点建立不同的 project project 属性 group – 分组标识,暂时仅用于区分 name – 脚本的名字,只允许 a-zA-Z0-9_ status – 任务状态,...

Pyspider爬虫教程

02cb76b9-4463-49bd-bef8-2fd7fca1045c
Pyspider爬虫教程 一、安装 1、 安装pip (1)准备工作 yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel (2)安装setuptools https://pypi.python.org/pypi/setuptools/ python setup.py install (3)安装pip https://pypi.python.org/pypi/pip python setup.py install 2、 ...

ajax应用篇

ajax应用篇缩略图
ajax简介   AJAX即“Asynchronous Javascript And XML”(异步JavaScript和XML),是指一种创建交互式网页应用的网页开发技术。Ajax不是一种新的编程语言,而是使用现有标准的新方法。AJAX可以在不重新加载整个页面的情况下,与服务器交换数据。这种异步交互的方式,使用户单...

Django知识(三)

前两部链接 django入门全套(第一部) Django入门全套(第二部) 本章内容: Django 发送邮件 Django cookie Django session Django CSRF  Django 发送邮件 我们常常会用到一些发送邮件的功能,比如有人提交了应聘的表单,可以向HR的邮箱发邮件,这样,HR不看网站就可以知道有人在网站上提交了应聘信息...

Django与JS交互的示例代码-django js 获取 python 字典-Django 前后台的数据传递

image
Django与JS交互的示例代码   Django 前后台的数据传递   https://www.cnblogs.com/xibuhaohao/p/10192052.html   应用一:有时候我们想把一个 list 或者 dict 传递给 javascript,处理后显示到网页上,比如要用 js 进行可视化的数据。请注意:如果是不处理,直接显示在网页上,用Django模板就...