分类
摘要：
一、思路分析：
在之前写拉勾网的爬虫的时候，总是得到下面这个结果（真是头疼），当你看到下面这个结果的时候，也就意味着被反爬了，因为一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问：
对于拉勾网，我们要找到职位信息的a... 阅读原文
2018-11-15 10:42:04 阅读(1011) 评论(0)
摘要：
目录
一、多继承
二、旧式类的MRO
三、新式类的MRO
四、super
一、多继承
之前已经学习过了继承，当出现了x是⼀种y的的时候，就可以使⽤继承关系，即"is-a" 关系。在继承关系中，⼦类⾃动拥有⽗类中除了私有属性外的其他所有内容，ython⽀持多继承，⼀个类可以拥有多个⽗类：
class A:
... 阅读原文
2018-11-15 09:35:03 阅读(1399) 评论(0)
摘要：
python字符串连接
方法一：
info = '''
--------------info of %s -----------------
name:%s
age:%s
'''%s(name,age)
方法二：
# -*- coding:utf-8 -*-_username="Bill"_password="111... 阅读原文
2018-11-15 08:25:02 阅读(1133) 评论(0)
摘要：
Python3（3.5.4）搭建爬虫系统步骤描述：
1.下载python安装包，路径：https://www.python.org/downloads/windows/ 选择3.5.4版本64位的安装文件，如果不能下载可直接联系我,地址见底。
2.下载安装完成后直接cmd输入python，可正常查看版本，以本人为例... 阅读原文
2018-11-15 08:16:05 阅读(1223) 评论(0)
摘要：
刚开始接触 bs4 的时候，我也很迷茫，觉得 string 属性和 text 属性是一样的，不明白为什么要分成两个属性。
html = '<p>hello word</p>'
soup = BeautifulSoup(html, 'lxml')
p = soup.p
print(p.stri... 阅读原文
2018-11-15 06:57:02 阅读(1202) 评论(0)
摘要：
装饰器示例
def w1(func):
def inner():
print('...验证权限...')
func()
return inner
@w1
def f1():
print('f1 called')
f1()
输出结果
1 ...验证权限.... 阅读原文
2018-11-15 06:18:03 阅读(1178) 评论(0)
摘要：
数据类型：计算机顾名思义就是可以做数学计算的机器，因此，计算机程序理所当然地可以处理各种数值。但是，计算机能处理的远不止数值，还可以处理文本、图形、音频、视频、网页等各种各样的数据，不同的数据，需要定义不同的数据类型。在Python中，能够直接处理的数据类型有以下几种：
整数
Python可以处理任意大小的整数... 阅读原文
2018-11-15 06:00:13 阅读(1677) 评论(0)
摘要：
访问列表元素
列表是有序集合，因此要访问列表的任何元素，只需将该元素的位置或索引告诉 Python 即可。要访问列表元素，可指出列表的名称，再指出元素的索引，并将其放在方括号内。
例如，下面的代码从列表 bicycles 中提取第一款自行车：
学习Python中有不明白推荐加入交流群
... 阅读原文
2018-11-15 00:17:02 阅读(1154) 评论(0)
摘要：
要计算1+2+3，我们可以直接写表达式：
>>> 1 + 2 + 3
6
要计算1+2+3+...+10，勉强也能写出来。
但是，要计算1+2+3+...+10000，直接写表达式就不可能了。
为了让计算机能计算成千上万次的重复运算，我们就需要循环语句。
Python的循环有两种，一种是for.... 阅读原文
2018-11-14 22:35:04 阅读(1194) 评论(0)
摘要：
前言
看到越来越多的大佬都在使用python的异步IO，协程等概念来实现高效的IO处理过程，可是我对这些概念还不太懂，就学习了一下。 因为是初学者，在理解上有很多不到位的地方，如果有错误，还希望能够有人积极帮我指出。
下面就使用一个简单的爬虫的例子，通过一步一步的改进，最后来用异步IO的方式实现。
1. 阻塞的IO... 阅读原文
2018-11-14 21:46:02 阅读(852) 评论(0)