Python3网络爬虫教程11——Requests包(HTTP for Humans)

2024-06-04 18:08

本文主要是介绍Python3网络爬虫教程11——Requests包(HTTP for Humans),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上接:
Python3网络爬虫教程10——ajax异步请求(爬取豆瓣电影数据 )
https://blog.csdn.net/u011318077/article/details/86633196

7. Requests

  • HTTP for Humans-献给人类,更好用,更简洁
  • 继承了urllib的所有特性
  • 底层使用的是urllib3
  • 开源地址:https://github.com/requests/requests
  • 中文文档:http://docs.python-requests.org/zh_CN/latest/#

7.1. get请求

  • 有两种方式
    • requests.get(url)
    • requests.request(‘get’, url)
    • 可以带有headers和params参数
    • 参考案例43_21
import requests# 两种请求方式url = 'http://www.baidu.com'rsp = requests.get(url)
print(rsp.text)rsp = requests.request('get', url)
print(rsp.text)
  • get返回的内容
    • 参考案例43_22
# 利用参数headers和params研究返回的内容
# 研究返回的结果import  requests# 完整的访问url是下面的url加上参数组成的完整url
url = 'http://www.baidu.com/s?'kw = {'wd': '美女'
}headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2854.400'
}rsp = requests.get(url, params=kw, headers=headers)print(rsp.text)
print(rsp.content)
print(rsp.url)
print(rsp.encoding)
print(rsp.status_code)

7.2. post请求

  • rsp = requests.post(url, data=data)
  • 参考案例43_23
# 本案例来自案例43_5,使用的urllib库
# 本案例使用requests库"""
大致流程:
1. 利用data构造内容
2. 返回一个json格式的内容
3. 结果就应该是girl的释义
"""# 本案例使用requests,会发现会比43_5案例编码简洁很多
# data直接使用字典,不用编码,json数据可以直接读取也不用解码import requestsbaseurl = 'https://fanyi.baidu.com/sug'# 存储用来模拟formdata的数据一定是字典格式
wd = input('Input your keyword: ')
data = {'kw': wd}# 43_5中需要对data进行编码,编码为字节
# data = parse.urlencode(data).encode('utf-8')
# requests中可以直接使用字典格式的data
rsp = requests.post(baseurl, data=data)# 直接取出json数据就是一个python格式的字典了
json_data = rsp.json()# 查看结果是一个字典,取出字典中键data对应的值是一个列表,
# 列表中又是有多个字典,每个字典中有两个键值对,将两个值取出,一一对应
for item in json_data['data']:print(item['k'], "-----", item['v'])

7.3. proxy代理

  • proxy

    proxies = {
    ‘http’: ‘address of proxy’,
    ‘https’: ‘address of proxy’,
    }

    rsp = requests.request(‘get’, ‘http//:xxx’)

  • 代理有可能报错,如果使用人数多,考虑安全问题,代理可能被强行关闭

7.4. 用户验证

  • 代理验证

    • 可能需要使用HTTP basic Auth, 类似下面
    • 格式为:用户名:密码@代理地址:端口地址
      proxy = {‘http’: ‘name:123456@192.168.1.123:4444’}
      rsp = requests.get(‘http://www.baidu.com’, proxies = proxy)
  • web客户端验证

    • 遇到web客户端验证,需要添加auth=(用户名,密码)
      auth=(‘name’, ‘12346’)
      rsp=requests.get(‘http://www.baidu.com’, auth = auth)

7.5. cookie

  • requests可以自动处理cookie信息

    • rsp = requests.get(‘http//:xxx’)
    • 如果对方服务器传送过来cookie信息,则可以通过反馈的cookie属性得到
    • 返回一个cookiejar的实例
      • cookiejar = rsp.cookies
      • cookiejar的实例可以转成字典
      • cookiedict = requests.utils.dict_from_cookiejar(cookiejar)

7.6. session

  • 跟#4.中的服务器中的session不是一个东东

  • 模拟一次会话,从客户端浏览器链接服务器开始,到客户端浏览器断开

  • 上述过程中的信息保存在session中

    创建session对象,可以保持cookie值
    ss = requests.session()
    headers = {‘User-Agent’: ‘xxxxxx’}
    data = {‘name’: ‘xxxxx’}
    此时,由创建的session管理请求,负责发出请求
    ss.post(‘URL’, data = data, headers = headers)
    rsp = ss.get(‘xxxxxx’)

7.7. https请求验证ssl证书

  • 参数verify负责表示是否需要验证ssl证书,默认是True

  • 如果不需要验证ssl证书,则设置成False表示关闭

  • 写法

      rsp = requests.get('https://www.12306.com', verify = False)
    

下接:
Python3网络爬虫教程12——页面解析及正则表达式的使用
https://blog.csdn.net/u011318077/article/details/86633330

这篇关于Python3网络爬虫教程11——Requests包(HTTP for Humans)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1030734

相关文章

如何为Yarn配置国内源的详细教程

《如何为Yarn配置国内源的详细教程》在使用Yarn进行项目开发时,由于网络原因,直接使用官方源可能会导致下载速度慢或连接失败,配置国内源可以显著提高包的下载速度和稳定性,本文将详细介绍如何为Yarn... 目录一、查询当前使用的镜像源二、设置国内源1. 设置为淘宝镜像源2. 设置为其他国内源三、还原为官方

Maven的使用和配置国内源的保姆级教程

《Maven的使用和配置国内源的保姆级教程》Maven是⼀个项目管理工具,基于POM(ProjectObjectModel,项目对象模型)的概念,Maven可以通过一小段描述信息来管理项目的构建,报告... 目录1. 什么是Maven?2.创建⼀个Maven项目3.Maven 核心功能4.使用Maven H

IDEA自动生成注释模板的配置教程

《IDEA自动生成注释模板的配置教程》本文介绍了如何在IntelliJIDEA中配置类和方法的注释模板,包括自动生成项目名称、包名、日期和时间等内容,以及如何定制参数和返回值的注释格式,需要的朋友可以... 目录项目场景配置方法类注释模板定义类开头的注释步骤类注释效果方法注释模板定义方法开头的注释步骤方法注

python3 gunicorn配置文件的用法解读

《python3gunicorn配置文件的用法解读》:本文主要介绍python3gunicorn配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录python3 gunicorn配置文件配置文件服务启动、重启、关闭启动重启关闭总结python3 gun

Python虚拟环境终极(含PyCharm的使用教程)

《Python虚拟环境终极(含PyCharm的使用教程)》:本文主要介绍Python虚拟环境终极(含PyCharm的使用教程),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录一、为什么需要虚拟环境?二、虚拟环境创建方式对比三、命令行创建虚拟环境(venv)3.1 基础命令3

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

python连接本地SQL server详细图文教程

《python连接本地SQLserver详细图文教程》在数据分析领域,经常需要从数据库中获取数据进行分析和处理,下面:本文主要介绍python连接本地SQLserver的相关资料,文中通过代码... 目录一.设置本地账号1.新建用户2.开启双重验证3,开启TCP/IP本地服务二js.python连接实例1.

Nginx中配置HTTP/2协议的详细指南

《Nginx中配置HTTP/2协议的详细指南》HTTP/2是HTTP协议的下一代版本,旨在提高性能、减少延迟并优化现代网络环境中的通信效率,本文将为大家介绍Nginx配置HTTP/2协议想详细步骤,需... 目录一、HTTP/2 协议概述1.HTTP/22. HTTP/2 的核心特性3. HTTP/2 的优

Python 安装和配置flask, flask_cors的图文教程

《Python安装和配置flask,flask_cors的图文教程》:本文主要介绍Python安装和配置flask,flask_cors的图文教程,本文通过图文并茂的形式给大家介绍的非常详细,... 目录一.python安装:二,配置环境变量,三:检查Python安装和环境变量,四:安装flask和flas

Spring Security基于数据库的ABAC属性权限模型实战开发教程

《SpringSecurity基于数据库的ABAC属性权限模型实战开发教程》:本文主要介绍SpringSecurity基于数据库的ABAC属性权限模型实战开发教程,本文给大家介绍的非常详细,对大... 目录1. 前言2. 权限决策依据RBACABAC综合对比3. 数据库表结构说明4. 实战开始5. MyBA