requests:一个强大的HTTP请求Python库

2024-08-31 20:20

本文主要是介绍requests:一个强大的HTTP请求Python库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

我是东哥,一个热衷于用Python简化日常工作的技术爱好者。今天,我要和大家分享一个网络请求的Python利器——requests库。你是否曾经在编写代码时,需要从网络上获取数据,却对复杂的HTTP协议感到头疼?requests库将帮你轻松解决这个问题。

一、初识requests库

requests库是Python中一个用于发送HTTP请求的第三方库。它基于urllib库进行了封装,提供了更加简洁、易用的API。无论是GET请求、POST请求,还是其他类型的HTTP请求,requests库都能轻松应对。同时,它还支持SSL证书验证、会话管理、代理设置等功能,让你的网络请求更加安全、高效。

项目地址:https://github.com/psf/requests

二、安装requests库

在开始使用requests之前,你需要先安装它。打开你的命令行工具,输入以下命令:

pip install requests

安装完成后,你就可以在Python脚本中导入requests并开始使用了。

三、基本用法:轻松发送HTTP请求

让我们通过几个简单的例子来看看requests的基本用法。

1. 发送GET请求

import requests
# 发送GET请求到百度首页
response = requests.get('https://www.baidu.com')
# 打印响应内容的前500个字符
print(response.text[:500])

在这段代码中,我们向百度首页发送了一个GET请求,并打印出了响应内容的前500个字符,输出内容如下:

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img h

可以看到,此时显示有乱码。

2. 发送POST请求

import requests
# 发送POST请求到Postman的Echo服务
response = requests.post('https://postman-echo.com/post', data={'key': 'value'})
# 打印响应状态码
print(response.status_code)

这里,我们向Postman的Echo服务发送了一个POST请求,并传递了一些数据。然后,我们打印出了响应的状态码,输出内容如下:

{"args": {},"data": "","files": {},"form": {"name": "东哥说AI"},"headers": {"host": "postman-echo.com","x-forwarded-proto": "http","x-request-start": "t=1724975958.023","connection": "close","content-length": "34","x-forwarded-port": "443","x-amzn-trace-id": "Root=1-66d10b56-6b2cb9dd41259dec60d1044e","user-agent": "python-requests/2.32.3","accept-encoding": "gzip, deflate","accept": "*/*","content-type": "application/x-www-form-urlencoded"},"json": {"name": "东哥说AI"},"url": "http://postman-echo.com/post"
}

四、高级用法:玩转requests库

接下来,让我们看看requests的一些高级用法。

1. 传递Headers

有时候,我们需要模拟浏览器发送请求,这时候就需要传递Headers。

import requests
# 定义Headers
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送带Headers的GET请求到百度首页
response = requests.get('https://www.baidu.com', headers=headers)
print(response.text[:500])

在这个例子中,我们通过传递User-Agent来模拟浏览器请求百度首页,并打印出响应内容的前500个字符,输出内容如下:

<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="referrer"><meta name="theme-color" content="#ffffff"><meta name="description" content="全球领先的中文搜索引擎、致力于让网民更便捷地获取信息,找到所求。百度超过千亿的中文网页数据库,可以瞬间找到相关的搜索结果。"><link rel="shortcut icon" href="https://www.baidu.com/favicon.ico" type="image/x-icon" /><link rel="search" type="application/opensearchdescription+xm

此时显示的内容正常。

2. 处理Cookies

有时候我们需要处理Cookies来维持会话。

import requests
# 首先发送一个请求到Stack Overflow,获取Cookies
response = requests.get('https://stackoverflow.com')
# 使用Session对象来维持会话
session = requests.Session()
session.cookies = response.cookies
# 使用Session对象发送请求,Cookies会被自动处理
response = session.get('https://stackoverflow.com/questions')
print(response.text[:500])

这里我们使用了Session对象来维持会话,并自动处理Cookies,然后我们尝试获取Stack Overflow的问答页面,输出内容如下:

<!DOCTYPE html><html class="html__responsive " lang="en"><head><title>Newest Questions - Stack Overflow</title><link rel="shortcut icon" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/favicon.ico?v=ec617d715196"><link rel="apple-touch-icon" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/apple-touch-icon.png?v=c78bd457575a"><link rel="image_src" href="https://cdn.sstatic.net/Sites/stackoverflow/Img/apple-touch-icon.png?v=c78bd457575

五、小结

requests库是一个强大的网络请求工具,它简化了HTTP请求的处理过程,使得网络编程变得更加简单和直观,非常适合Python领域的小白用户。无论你是想要进行网络爬虫API接口调用,还是其他需要发送HTTP请求的场景,requests库都能为你提供有力的支持。

希望这篇文章能让你对requests库有一个基本的了解,并激发你探索更多可能。如果你有任何问题或想要深入探讨requests库的其他用法,请随时留言。

公众号东哥说AI后台回复003获取文中完整代码~

这篇关于requests:一个强大的HTTP请求Python库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1124899

相关文章

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

BUUCTF靶场[web][极客大挑战 2019]Http、[HCTF 2018]admin

目录   [web][极客大挑战 2019]Http 考点:Referer协议、UA协议、X-Forwarded-For协议 [web][HCTF 2018]admin 考点:弱密码字典爆破 四种方法:   [web][极客大挑战 2019]Http 考点:Referer协议、UA协议、X-Forwarded-For协议 访问环境 老规矩,我们先查看源代码

nudepy,一个有趣的 Python 库!

更多资料获取 📚 个人网站:ipengtao.com 大家好,今天为大家分享一个有趣的 Python 库 - nudepy。 Github地址:https://github.com/hhatto/nude.py 在图像处理和计算机视觉应用中,检测图像中的不适当内容(例如裸露图像)是一个重要的任务。nudepy 是一个基于 Python 的库,专门用于检测图像中的不适当内容。该

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

【Linux】应用层http协议

一、HTTP协议 1.1 简要介绍一下HTTP        我们在网络的应用层中可以自己定义协议,但是,已经有大佬定义了一些现成的,非常好用的应用层协议,供我们直接使用,HTTP(超文本传输协议)就是其中之一。        在互联网世界中,HTTP(超文本传输协议)是一个至关重要的协议,他定义了客户端(如浏览器)与服务器之间如何进行通信,以交换或者传输超文本(比如HTML文档)。

HTML提交表单给python

python 代码 from flask import Flask, request, render_template, redirect, url_forapp = Flask(__name__)@app.route('/')def form():# 渲染表单页面return render_template('./index.html')@app.route('/submit_form',

如何确定 Go 语言中 HTTP 连接池的最佳参数?

确定 Go 语言中 HTTP 连接池的最佳参数可以通过以下几种方式: 一、分析应用场景和需求 并发请求量: 确定应用程序在特定时间段内可能同时发起的 HTTP 请求数量。如果并发请求量很高,需要设置较大的连接池参数以满足需求。例如,对于一个高并发的 Web 服务,可能同时有数百个请求在处理,此时需要较大的连接池大小。可以通过压力测试工具模拟高并发场景,观察系统在不同并发请求下的性能表现,从而