起风了

“路海长 青夜旷 越过群山追斜阳”

Python爬虫实战七之计算大学本学期绩点

QQ截图20150220211218
大家好,本次为大家带来的项目是计算大学本学期绩点。首先说明的是,博主来自山东大学,有属于个人的学生成绩管理系统,需要学号密码才可以登录,不过可能广大读者没有这个学号密码,不能实际进行操作,所以最主要的还是获取它的原理。最主要的是了解cookie的相关操作。 本篇目标 1.模拟登录学生成绩管理系统...

Python爬虫利器二之Beautiful Soup的用法

example
上一节我们介绍了正则表达式,它的内容其实还是蛮多的,如果一个正则匹配稍有差池,那可能程序就处在永久的循环之中,而且有的小伙伴们也对写正则表达式的写法用得不熟练,没关系,我们还有一个更强大的工具,叫Beautiful Soup,有了它我们可以很方便地提取出HTML或XML标签中的内容,实在是方便,这一节就让...

Python爬虫进阶六之多进程的用法

Python爬虫进阶六之多进程的用法缩略图
前言 在上一节中介绍了thread多线程库。python中的多线程其实并不是真正的多线程,并不能做到充分利用多核CPU资源。 如果想要充分利用,在python中大部分情况需要使用多进程,那么这个包就叫做 multiprocessing。 借助它,可以轻松完成从单进程到并发执行的转换。multiprocessing支持子进程、通信和共享数据...

python之selenium调用js(execute_script)

转载: http://www.cnblogs.com/fnng/p/3230768.html 本节重点: 调用js方法 execute_script(script, *args) 在当前窗口/框架 同步执行javaScript 脚本:JavaScript的执行。 *参数:适用任何JavaScript脚本。 使用: driver.execute_script(‘document.title’)     使快播...

解决方案:c调用python,PyImport_Import或者PyImport_ImportModule总是返回为空

image
下面c_python_utils.h是处理工具函数,test.cpp是测试程序,hello.py是python类 可是当我集成到项目中的时候,PyImport_Import总是返回为空,起初我以为是init()中设置目录的问题,但是目录设置的是当前目录,hello.py也放在当前目录。 然而,然后让我发现项目是部署在服务器上的,而服务器上可执行文件在...

参加新工作以来的一些吐槽

image
一、背景 今年3月份辞职,进入了一家新公司,公司是做网络存储和数据智能的。进去不到一个月,老大给我叫我把ipmi集成到项目中。 以前一直未做过将开源项目集成到项目中,对自己来说是一种挑战。 二、探索 ipmi是inter出的一个协议,用于监测服务器硬件状态等,如电源、CPU、风扇、温度等 刚接受任务,满怀信...

Pyspider爬虫教程

02cb76b9-4463-49bd-bef8-2fd7fca1045c
Pyspider爬虫教程 一、安装 1、 安装pip (1)准备工作 yum install –y make gcc-c++ python-devel libxml2-devel libxslt-devel (2)安装setuptools https://pypi.python.org/pypi/setuptools/ python setup.py install (3)安装pip https://pypi.python.org/pypi/pip python setup.py install 2、 ...

每天一点存储知识:集群Nas

de3daa69-60a9-4901-ac87-42b01d8aee72
什么是集群Nas 集群是由多个节点构成的一种松散耦合的计算节点集合,协同起来对外提供服务。集群主要分为高性能集群HPC,高可用集群HAC和负载均衡集群LBC。集群Nas是指协同多个节点(通常称为Nas机头)提供高性能、高可用或高负载均衡的Nas(NFC/CIFS)服务。 Nas三种主流架构 1.san共享存储架构 后端存储采...

Mac下pyspider的安装

最近在学爬虫,在配置环境中遇到几个麻烦,有个困扰不短时间的就是pyspider 的安装。这里把安装完成的步骤捋一捋。我是在anaconda下的虚拟环境中安装的,所以,别的情况我不是很清楚。 安装pycurl$ pip install curl 安装pyspider$ pip install pyspider 尝试运行$ pyspider这里我就出问题了,显示impor...

阿里开源分布式事务解决方案 Fescar 全解析

阿里开源分布式事务解决方案 Fescar 全解析缩略图
广为人知的阿里分布式事务解决方案:GTS(Global Transaction Service),已正式推出开源版本,取名为“Fescar”,希望帮助业界解决微服务架构下的分布式事务问题,今天我们一起来深入了解。 FESCAR on GitHub https://github.com/alibaba/fescar 微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务...