Python3网络爬虫教程11——Requests包(HTTP for Humans)

2024-06-04 18:08

本文主要是介绍Python3网络爬虫教程11——Requests包(HTTP for Humans),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

上接:
Python3网络爬虫教程10——ajax异步请求(爬取豆瓣电影数据 )
https://blog.csdn.net/u011318077/article/details/86633196

7. Requests

  • HTTP for Humans-献给人类,更好用,更简洁
  • 继承了urllib的所有特性
  • 底层使用的是urllib3
  • 开源地址:https://github.com/requests/requests
  • 中文文档:http://docs.python-requests.org/zh_CN/latest/#

7.1. get请求

  • 有两种方式
    • requests.get(url)
    • requests.request(‘get’, url)
    • 可以带有headers和params参数
    • 参考案例43_21
import requests# 两种请求方式url = 'http://www.baidu.com'rsp = requests.get(url)
print(rsp.text)rsp = requests.request('get', url)
print(rsp.text)
  • get返回的内容
    • 参考案例43_22
# 利用参数headers和params研究返回的内容
# 研究返回的结果import  requests# 完整的访问url是下面的url加上参数组成的完整url
url = 'http://www.baidu.com/s?'kw = {'wd': '美女'
}headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2854.400'
}rsp = requests.get(url, params=kw, headers=headers)print(rsp.text)
print(rsp.content)
print(rsp.url)
print(rsp.encoding)
print(rsp.status_code)

7.2. post请求

  • rsp = requests.post(url, data=data)
  • 参考案例43_23
# 本案例来自案例43_5,使用的urllib库
# 本案例使用requests库"""
大致流程:
1. 利用data构造内容
2. 返回一个json格式的内容
3. 结果就应该是girl的释义
"""# 本案例使用requests,会发现会比43_5案例编码简洁很多
# data直接使用字典,不用编码,json数据可以直接读取也不用解码import requestsbaseurl = 'https://fanyi.baidu.com/sug'# 存储用来模拟formdata的数据一定是字典格式
wd = input('Input your keyword: ')
data = {'kw': wd}# 43_5中需要对data进行编码,编码为字节
# data = parse.urlencode(data).encode('utf-8')
# requests中可以直接使用字典格式的data
rsp = requests.post(baseurl, data=data)# 直接取出json数据就是一个python格式的字典了
json_data = rsp.json()# 查看结果是一个字典,取出字典中键data对应的值是一个列表,
# 列表中又是有多个字典,每个字典中有两个键值对,将两个值取出,一一对应
for item in json_data['data']:print(item['k'], "-----", item['v'])

7.3. proxy代理

  • proxy

    proxies = {
    ‘http’: ‘address of proxy’,
    ‘https’: ‘address of proxy’,
    }

    rsp = requests.request(‘get’, ‘http//:xxx’)

  • 代理有可能报错,如果使用人数多,考虑安全问题,代理可能被强行关闭

7.4. 用户验证

  • 代理验证

    • 可能需要使用HTTP basic Auth, 类似下面
    • 格式为:用户名:密码@代理地址:端口地址
      proxy = {‘http’: ‘name:123456@192.168.1.123:4444’}
      rsp = requests.get(‘http://www.baidu.com’, proxies = proxy)
  • web客户端验证

    • 遇到web客户端验证,需要添加auth=(用户名,密码)
      auth=(‘name’, ‘12346’)
      rsp=requests.get(‘http://www.baidu.com’, auth = auth)

7.5. cookie

  • requests可以自动处理cookie信息

    • rsp = requests.get(‘http//:xxx’)
    • 如果对方服务器传送过来cookie信息,则可以通过反馈的cookie属性得到
    • 返回一个cookiejar的实例
      • cookiejar = rsp.cookies
      • cookiejar的实例可以转成字典
      • cookiedict = requests.utils.dict_from_cookiejar(cookiejar)

7.6. session

  • 跟#4.中的服务器中的session不是一个东东

  • 模拟一次会话,从客户端浏览器链接服务器开始,到客户端浏览器断开

  • 上述过程中的信息保存在session中

    创建session对象,可以保持cookie值
    ss = requests.session()
    headers = {‘User-Agent’: ‘xxxxxx’}
    data = {‘name’: ‘xxxxx’}
    此时,由创建的session管理请求,负责发出请求
    ss.post(‘URL’, data = data, headers = headers)
    rsp = ss.get(‘xxxxxx’)

7.7. https请求验证ssl证书

  • 参数verify负责表示是否需要验证ssl证书,默认是True

  • 如果不需要验证ssl证书,则设置成False表示关闭

  • 写法

      rsp = requests.get('https://www.12306.com', verify = False)
    

下接:
Python3网络爬虫教程12——页面解析及正则表达式的使用
https://blog.csdn.net/u011318077/article/details/86633330

这篇关于Python3网络爬虫教程11——Requests包(HTTP for Humans)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1030734

相关文章

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子

揭秘Python Socket网络编程的7种硬核用法

《揭秘PythonSocket网络编程的7种硬核用法》Socket不仅能做聊天室,还能干一大堆硬核操作,这篇文章就带大家看看Python网络编程的7种超实用玩法,感兴趣的小伙伴可以跟随小编一起... 目录1.端口扫描器:探测开放端口2.简易 HTTP 服务器:10 秒搭个网页3.局域网游戏:多人联机对战4.

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

Elasticsearch 在 Java 中的使用教程

《Elasticsearch在Java中的使用教程》Elasticsearch是一个分布式搜索和分析引擎,基于ApacheLucene构建,能够实现实时数据的存储、搜索、和分析,它广泛应用于全文... 目录1. Elasticsearch 简介2. 环境准备2.1 安装 Elasticsearch2.2 J

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Java使用Curator进行ZooKeeper操作的详细教程

《Java使用Curator进行ZooKeeper操作的详细教程》ApacheCurator是一个基于ZooKeeper的Java客户端库,它极大地简化了使用ZooKeeper的开发工作,在分布式系统... 目录1、简述2、核心功能2.1 CuratorFramework2.2 Recipes3、示例实践3

springboot简单集成Security配置的教程

《springboot简单集成Security配置的教程》:本文主要介绍springboot简单集成Security配置的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录集成Security安全框架引入依赖编写配置类WebSecurityConfig(自定义资源权限规则

MySQL Workbench 安装教程(保姆级)

《MySQLWorkbench安装教程(保姆级)》MySQLWorkbench是一款强大的数据库设计和管理工具,本文主要介绍了MySQLWorkbench安装教程,文中通过图文介绍的非常详细,对大... 目录前言:详细步骤:一、检查安装的数据库版本二、在官网下载对应的mysql Workbench版本,要是

SpringBoot使用OkHttp完成高效网络请求详解

《SpringBoot使用OkHttp完成高效网络请求详解》OkHttp是一个高效的HTTP客户端,支持同步和异步请求,且具备自动处理cookie、缓存和连接池等高级功能,下面我们来看看SpringB... 目录一、OkHttp 简介二、在 Spring Boot 中集成 OkHttp三、封装 OkHttp