python requests库爬虫基础

本次学习的python爬虫所使用的是requests库
下面就是requests库的7种主要方法

get()方法简介

部分语法r=requests.get(url)
表示构造一个向服务器请求资源的Request对象，返回一个包含服务器资源的Respon对象
完整语法requests.get(url,params=None,**kwargs)

基本示例

#在python shell中进行逐行输入
import requests
r=requests.get("http://www.baidu.com")
r.status_code#返回了200表示访问成功
r.text#输出访问内容--发现有部分中文乱码
r.encoding#发现编码为ISO-8859-1
r.apparent_encoding#发现内容编码为UTF-8
r.encoding = 'utf-8'#将读取编码改为utf-8
r.text#此时发现输出内容正常

r.encoding：如果header中不存在charset,则认为默认编码为ISO-8859-1
r.apparent_encoding：根据网页内容分析出的编码方式

Requests库异常

Response异常

爬取网页通用代码框架

import requests
def getHtmlText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()#状态码不是200时,引发HTTPError异常
        r.encoding = r.apparent_encoding#设置读取编码为页面内容编码，防止乱码
        return r.text
    except:
        return "发生异常"
if __name__ == "__main__":
    url="http://www.baidu.com"
    print(getHtmlText(url))

通过r.raise_for_status()以及try--except捕捉访问异常

requests.requests控制访问的参数

params参数的例子:
例：kv={'key1':'value','key2':'value2'} r=requests.request('GET','http://python123.io/ws',params=kv) print(r.url)
输出为:http://python.io/ws?key1=value1&key2=value2

各方法语法以及需要的控制参数