爬虫学习笔记(一)

Posted on | In , , |
Requests库

Requests库

Requests库的7个主要方法 功能
requests.request() 构造一个请求，支撑以下各方法的基础方法
requests.get() 获取HTML网页的主要方法，对于与HTTP的GET
requests.head() 获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post() 向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put() 向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch() 向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete() 向HTML页面提交删除请求，对应于HTTP的DELETE

get方法

r = requests.get(url, params=None, **kwargs)

参数 说明
url: 拟获取页面的url链接
params: url中的额外参数,字典或字节流格式,可选
**kwargs: 12个控制访问的参数
Response对象属性 功能
r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败
r.text HTTP响应内容的字符串形式,即,url对应的页面内容
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)
r.content HTTP响应内容的二进制形式

理解Response的编码

属性 功能
r.encoding 从HTTP header中猜测的响应内容编码方式
r.apparent_encoding 从内容中分析出的响应内容编码方式(备选编码方式)

r.encoding: 如果header中不存在charset,则默认编码为ISO-8859-1

爬取网页的通用代码框架

一些基本的Requests中的异常

异常 说明
requests.ConnectionError 网络连接错误异常,如DNS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timeout 请求URL超时,产生超时异常
r.raise_for_status() 如果不是200,产生异常requests.HTTPError
通用代码框架:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import requests

def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()  # 如果状态不是200,引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"


if __name__ == "__main__":
    url = 'http://www.baidu.com'
    print(getHTMLText(url))

HTTP协议

超文本传输协议（HTTP，HyperText Transfer Protocol)

HTTP是一个基于“请求与响应”模式的、无状态的应用层协议。

HTTP协议采用URL作为定位网络资源的标识。

URL格式 http://host[:port][path]

host: 合法的Internet主机域名或IP地址

port: 端口号,缺失端口为80

path: 请求资源的路径

HTTP协议对资源的操作
方法 说明
GET 请求获取URL位置的资源
HEAD 请求获取URL位置的资源的响应消息报告,即获得该资源的头部消息
POST 请求向URL位置的资源后附加新的数据
PUT 请求想URL位置存储一个资源,覆盖URL位置的资源
PATCH 请求局部更新URL位置的资源,即改变该处资源的部分内容
DELETE 请求删除URL位置存储的资源

理解PATCH和PUT的区别

假设URL位置有一组数据UserInfo,包括UserID、UserName等20个字段。
需求: 用户修改了UserName,其他不变。

  • 采用PATCH,仅向URL提交UserName的局部更新请求。
  • 采用PUT,必须将所有20个字段一并提交到URL,未提交的字段被删除

PATCH的最主要好处: 节省网络带宽

HTTP协议与Requests库是一一对应的

Requests库的post()方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
>>> import requests
>>> payload = {'key1':'value1','key2':'value2'}
>>> r = requests.post('http://httpbin.org/post',data = payload)
>>> print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.11.1"
  }, 
  "json": null, 
  "origin": "116.7.245.180", 
  "url": "http://httpbin.org/post"
}
# 向URL POST一个字典 自动编码为form(表单)

>>> r = requests.post('http://httpbin.org/post',data='ABC')
>>> print(r.text)
{
  "args": {}, 
  "data": "ABC", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "3", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.11.1"
  }, 
  "json": null, 
  "origin": "116.7.245.180", 
  "url": "http://httpbin.org/post"
}
# 向URL POST一个字符串 自动编码为data

Requests库的各个方法

requests.request(method, url, **kwargs)

  • method: 请求方式,对应get/put/post等7种
1
2
3
4
5
6
7
requests.request('GET', url, **kwargs)
requests.request('HEAD', url, **kwargs)
requests.request('POST', url, **kwargs)
requests.request('PUT', url, **kwargs)
requests.request('PATCH', url, **kwargs)
requests.request('DELETE', url, **kwargs)
requests.request('OPTIONS', url, **kwargs)

  • url: 拟获取页面的url链接

  • **kwargs: 控制访问的参数,共13个,均为可选项

参数 功能
params 字典或字节序列,作为参数增加到url中
data 字典、字节序列或文件对象,作为Request的内容
json JSON格式的数据,作为Request的内容
headers 字典,HTTP定制头
cookies 字典或CookieJar,Request中的cookie
auth 元组,支持HTTP认证功能
files 字典类型,传输文件
timeout 设定超时时间,秒为单位
proxies 字典类型,设定访问代理服务器,可以增加登陆认证
allow_redirects True/False,均默认为True,重定向开关
stream True/False,默认为True,获取内容立即下载开关
verify True/False,默认为True,认证SSL证书开关
cert 本地SSL证书路径 
1
2
3
4
5
6
>>> fs = {'file': open('data.xls', 'rb')}
>>> r = requests.request('POST','http://python123.io/ws', files = fs)
 
>>> pxs = {'http': 'http://user:pass@10.10.10.1:1234'
	 		  'https': 'https://0.10.10.1:1234', proxies = pxs}
>>> r = requests.request('GET','https://www.baidu.com', proxies = pxs)

requests.get(url, params=None, **kwargs)

  • url: 拟获取页面的url链接

  • params: url中的额外参数,字典或字节流格式,可选

  • **kwargs: 12个控制访问的参数 (除了params)

requests.head(url, **kwargs)

  • url: 拟获取页面的url链接

  • **kwargs: 13个控制访问的参数

requests.post(url, data=None, json=None, **kwargs)

  • url: 拟更新页面的url链接

  • data: 字典、字节序列或文件,Request的内容

  • json: JSON格式的数据,Request的内容

  • **kwargs: 11个控制访问的参数

requests.put(url, data=None, **kwargs)

  • url: 拟更新页面的url链接

  • data: 字典、字节序列或文件,Request的内容

  • **kwargs: 12个控制访问的参数

requests.patch(url, data=None, **kwargs)

  • url: 拟更新页面的url链接

  • data: 字典、字节序列或文件,Request的内容

  • **kwargs: 12个控制访问的参数

requests.delete(url, **kwargs)

  • url: 拟删除页面的url链接

  • **kwargs: 13个控制访问的参数

Buy me a coffe. XD