本文主要是介绍08—小白学Python爬虫之Requests高级特性，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
上篇文章介绍了Requests及基本使用，在掌握了基础后，那么本篇就来看一下Requests的一些高级特性。
高级使用
会话对象
会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie， 期间使用 urllib3 的 connection pooling 功能。所以如果你向同一主机发送多个请求，底层的 TCP 连接将会被重用，从而带来显著的性能提升。
我们来跨请求保持一些 cookie:
def demo_session():s = requests.session()s.get('http://httpbin.org/cookies/set/sessioncookie/abcsd')r = s.get("http://httpbin.org/cookies")print(r.text)输出为：
{"cookies": {"sessioncookie": "abcsd"}
}会话也可用来为请求方法提供缺省数据。这是通过为会话对象的属性提供数据来实现的：
s = requests.Session()
s.auth = ('user', 'pass')
s.headers.update({'x-test': 'true'})# 'x-test' and 'x-test2' 都会被作为header参数发送出去
s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})任何你传递给请求方法的字典都会与已设置会话层数据合并。方法层的参数覆盖会话的参数。
不过需要注意，就算使用了会话，方法级别的参数也不会被跨请求保持。下面的例子只会和第一个请求发送 cookie ，而非第二个：
s = requests.Session()r = s.get('http://httpbin.org/cookies', cookies={'from-my': 'browser'})
print(r.text)
# '{"cookies": {"from-my": "browser"}}'r = s.get('http://httpbin.org/cookies')
print(r.text)
# '{"cookies": {}}'如果你要手动为会话添加 cookie，就使用Cookie utility 函数 来操纵 Session.cookies。
会话还可以用作前后文管理器：
with requests.Session() as s:s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')这样就能确保 with 区块退出后会话能被关闭，即使发生了异常也一样。
请求与响应
只要做了类似 requests.get() 的操作，其实主要做了两件事。其一，你在构建一个 Request 对象， 该对象将被发送到某个服务器请求或查询一些资源。其二，一旦 requests 得到一个从服务器返回的响应就会产生一个 Response 对象。该响应对象包含服务器返回的所有信息，也包含你原来创建的 Request 对象。
def demo_req_resp():url = 'http://www.baidu.com'resp = requests.get(url)# 响应头部信息print(resp.headers)print('*' * 50)# 请求头信息print(resp.request.headers)输出结果为：
{'Server': 'bfe/1.0.8.18', 'Date': 'Tue, 27 Mar 2018 12:27:22 GMT', 'Content-Type': 'text/html', 'Last-Modified': 'Mon, 23 Jan 2017 13:27:36 GMT', 'Transfer-Encoding': 'chunked', 'Connection': 'Keep-Alive', 'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Pragma': 'no-cache', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Content-Encoding': 'gzip'}
**************************************************
{'User-Agent': 'python-requests/2.18.4', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}SSL证书验证
Requests 可以为 HTTPS 请求验证 SSL 证书，就像 web 浏览器一样。SSL 验证默认是开启的，如果证书验证失败，Requests 会抛出 SSLError。
验证方式一
def demo_ssl():url = 'https://www.12306.cn'resp = requests.get(url)print(resp.status_code)输出为：
Traceback (most recent call last):During handling of the above exception, another exception occurred:Traceback (most recent call last):File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 33, in <module>main()File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 5, in maindemo_ssl()File "/Users/***/Project/PycharmProjects/crawler/01-base/05-requests/02-advance-demo.py", line 10, in demo_sslresp = requests.get(url)File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/api.py", line 72, in getreturn request('get', url, params=params, **kwargs)File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/api.py", line 58, in requestreturn session.request(method=method, url=url, **kwargs)File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/sessions.py", line 508, in requestresp = self.send(prep, **send_kwargs)File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/sessions.py", line 618, in sendr = adapter.send(request, **kwargs)File "/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/requests/adapters.py", line 506, in sendraise SSLError(e, request=request)
requests.exceptions.SSLError: HTTPSConnectionPool(host='www.12306.cn', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:749)'),))默认情况下， verify 是设置为 True 的。选项 verify 仅应用于主机证书。为了避免这种错误，可以将SSL验证设置为false。
def demo_ssl():url = 'https://www.12306.cn'resp = requests.get(url, verify=False)print(resp.status_code)输出为：
/Users/***/.virtualenvs/env3.6/lib/python3.6/site-packages/urllib3/connectionpool.py:858: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warningsInsecureRequestWarning)
200这样，可以看到请求失败，但是会报一个InsecureRequestWarning: Unverified HTTPS request is being made.的警告，不过可以通过设置取消警告信息。
from requests.packages import urllib3
def demo_ssl():urllib3.disable_warnings()url = 'https://www.12306.cn'resp = requests.get(url, verify=False)print(resp.status_code)输出为：
200这样就不会再显示警告信息了。
验证方式二
另外，可以为verify 传入 CA_BUNDLE 文件的路径，或者包含可信任 CA证书文件的文件夹路径：
requests.get('https://www.12306.cn', verify='/path/to/certfile')或者将其保持在会话中
s = requests.Session()
s.verify = '/path/to/certfile'如果 verify 设为文件夹路径，文件夹必须通过 OpenSSL 提供的 c_rehash 工具处理。
客户端证书
你也可以指定一个本地证书用作客户端证书，可以是单个文件（包含密钥和证书）或一个包含两个文件路径的元组：
>>> requests.get('https://kennethreitz.org', cert=('/path/client.cert', '/path/client.key'))
<Response [200]>或者保持在会话中：
s = requests.Session()
s.cert = '/path/client.cert'如果你指定了一个错误路径或一个无效的证书:
>>> requests.get('https://kennethreitz.org', cert='/wrong_path/client.pem')
SSLError: [Errno 336265225] _ssl.c:347: error:140B0009:SSL routines:SSL_CTX_use_PrivateKey_file:PEM lib本地证书的私有 key 必须是解密状态。目前，Requests 不支持使用加密的 key。
CA证书
Requests 默认附带了一套它信任的根证书，来自于 Mozilla trust store。然而它们在每次 Requests 更新时才会更新。这意味着如果你固定使用某一版本的 Requests，你的证书有可能已经 太旧了。
从 Requests 2.4.0 版之后，如果系统中装了 certifi 包，Requests 会试图使用它里边的 证书。这样用户就可以在不修改代码的情况下更新他们的可信任证书。
为了安全起见，建议经常更新 certifi！
流式上传
Requests支持流式上传，这允许你发送大的数据流或文件而无需先把它们读入内存。要使用流式上传，仅需为你的请求体提供一个类文件对象即可。
with open('massive-body') as f:requests.post('http://some.url/streamed', data=f)强烈建议你用二进制模式（binary mode）打开文件。这是因为 requests 可能会为你提供 header 中的 Content-Length，在这种情况下该值会被设为文件的字节数。如果你用文本模式打开文件，就可能碰到错误。
POST 多文件上传
你可以在一个请求中发送多个文件。例如，假设你要上传多个图像文件到一个 HTML 表单，使用一个多文件 field 叫做 “images”:
<input type="file" name="images" multiple="true" required="true"/>要实现，只要把文件设到一个元组的列表中，其中元组结构为 (form_field_name, file_info)：
>>> url = 'http://httpbin.org/post'
>>> multiple_files = [('images', ('foo.png', open('foo.png', 'rb'), 'image/png')),('images', ('bar.png', open('bar.png', 'rb'), 'image/png'))]
>>> r = requests.post(url, files=multiple_files)
>>> r.text
{...'files': {'images': 'data:image/png;base64,iVBORw ....'}'Content-Type': 'multipart/form-data; boundary=3131623adb2043caaeb5538cc7aa0b3a',...
}代理
配置单个请求
def demo_proxy():proxies = {"http": "http://10.10.1.10:3128","https": "http://10.10.1.10:1080",}url = 'http://www.baidu.com'requests.get(url, proxies=proxies)通过环境变量配置
$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"$ python
>>> import requests
>>> requests.get("http://example.org")代理认证
若你的代理需要使用HTTP Basic Auth，可以使用 http://user:password@host/ 语法：
proxies = {"http": "http://user:pwd@10.10.1.10:3128",}为某个特定的连接方式或者主机设置代理
要为某个特定的连接方式或者主机设置代理，使用 scheme://hostname 作为 key， 它会针对指定的主机和连接方式进行匹配。
proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}更多高级用法点我查阅文档
这篇关于08—小白学Python爬虫之Requests高级特性的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
