Urllib库及其常用的四个模块

2024-08-26 13:36
文章标签 模块 常用 四个 urllib

本文主要是介绍Urllib库及其常用的四个模块,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 1. 什么是Urllib
  • 2. Urllib库的4个核心模块
    • 2.1 request
    • 2.2 error
    • 2.3 parse
    • 2.4 robotparser


1. 什么是Urllib

urllib 是 Python 标准库中的一个模块,用于处理 URL 及其相关操作。它提供了一组用于打开和读取 URL 的功能,支持 HTTP、HTTPS、FTP 等协议。

2. Urllib库的4个核心模块

2.1 request

urllib.request 是 Python 标准库中的一个子模块,用于打开和读取 URL。它提供了一组用于发送 HTTP 请求的功能,包括 GET 和 POST 请求。以下是一些常见的用法示例:

发送GET请求:

import urllib.requestresponse = urllib.request.urlopen("http://www.baidu.com")
print(response.read().decode("utf-8"))

发送POST请求:

import urllib.request# 请求网址
url = "https://www.spiderbuf.cn/playground/e01/login"# 请求体数据
data = {"user_name": "admin","password": "123456",
}# 请求头
headers = {"User-Agent": " Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36",
}# 将数据编码为 URL 编码格式,并转换为字节数据,以便在 POST 请求中发送
encoded_data = urllib.parse.urlencode(data).encode("utf-8")# 创建一个 Request 对象,包含 URL、编码后的数据、请求头和请求方法(POST)
request = urllib.request.Request(url, data=encoded_data, headers=headers, method="POST")# 发送请求并获取响应
response = urllib.request.urlopen(request)# 打印响应内容
print(response.read().decode("utf-8"))

拓展一下,urllib.request.urlopen中的context参数:

# 在发送请求时,可以额外添加 context 参数
context = ssl._create_unverified_context()
response = urllib.request.urlopen(req, context=context)

context=ssl._create_unverified_context()这行代码的确意味着客户端在进行 HTTPS 请求时不会验证服务器的 SSL 证书的真实性。这在开发和测试环境中可能有用,但在生产环境中是不推荐的,因为它会使你的请求容易受到中间人攻击(MITM)。

urllib.request.urlopen中的context参数有什么用?

context参数用于指定 SSL 上下文,以便控制 HTTPS 请求的安全设置。具体来说,context参数允许你自定义 SSL/TLS 设置,例如禁用证书验证、设置证书文件等。

简单介绍一下什么是SSL/TLS

SSL:一种用于保护互联网连接的标准技术,保护方法是对在网站和浏览器(或两个服务器之间)之间发送的数据进行加密。它能防止黑客查看或窃取传输的任何信息,包括个人或财务数据。关于它的应用最直观的就是HTTPSHTTPS是在HTTP上应用SSL来保障HTTP的安全性,对HTTPS可以简单理解为HTTPSHTTP+SSL

TLS:是SSL的经过更新的、更安全的版本。

SSL证书:是一种遵循SSL协议的数字证书,包含拥有者的公钥及相关身份信息,由受信任的数字证书颁发机构(CA)颁发。SSL证书采用SSL协议进行通信,具有服务器身份验证和数据传输加密功能,用于保证设备内的各服务间,以及设备与外部通信的安全性,防止通信数据在传输过程被篡改造成安全风险,提升系统的安全性。数字证书可以说是网络上的安全护照或身份证,提供的是网络上的身份证明。

SSL的工作原理,可参考文章:SSL的工作原理及详细的握手过程

2.2 error

urllib库中的 error 模块用于处理在使用 urllib 进行网络请求时可能出现的各种错误和异常。该模块定义了一些异常类,这些异常类可以帮助我们捕获和处理不同类型的错误情况。

  1. URLError

    • 这是一个通用的异常类,用于捕获由 urllib引发的所有错误。它通常在无法连接到服务器或请求超时时引发。

    • 示例:

      import urllib.request
      import urllib.errortry:response = urllib.request.urlopen("https://non-existent.com")
      except urllib.error.URLError as e:print(f"URL Error: {e.reason}")# 运行结果
      # URL Error: [SSL: UNEXPECTED_EOF_WHILE_READING] EOF occurred in violation of protocol (_ssl.c:1000)
      
  2. HTTPError

    • 这是 URLError 的子类,专门用于处理 HTTP 请求返回的错误状态码(如 404、500 等)。它不仅包含错误信息,还包含 HTTP 响应码和响应头。

    • 示例:

      import urllib.request
      import urllib.errortry:response = urllib.request.urlopen("https://example.com/nonexistentpage")
      except urllib.error.HTTPError as e:print(f"HTTP Error: {e.code} - {e.reason} - {e.headers}")# 运行结果
      # HTTP Error: 404 - Not Found - Accept-Ranges: bytes
      # Age: 516948
      # Cache-Control: max-age=604800
      # Content-Type: text/html; charset=UTF-8
      # Date: Sun, 25 Aug 2024 14:47:42 GMT
      # Expires: Sun, 01 Sep 2024 14:47:42 GMT
      # Last-Modified: Mon, 19 Aug 2024 15:11:54 GMT
      # Server: ECAcc (sac/2574)
      # Vary: Accept-Encoding
      # X-Cache: 404-HIT
      # Content-Length: 1256
      # Connection: close
      
  3. ContentTooShortError

    • 当读取的内容比预期的要短时引发此异常。通常在下载文件时使用。

    • 示例:

      import urllib.request
      import urllib.errortry:response = urllib.request.urlopen("https://example.com/largefile")content = response.read()if len(content) < expected_length:raise urllib.error.ContentTooShortError("Content too short", content)
      except urllib.error.ContentTooShortError as e:print(f"Content Too Short Error: {e.reason}")
      

2.3 parse

urllib 库的 parse 模块提供了一些用于解析 URL 和处理 URL 编码的函数。

from urllib.parse import urlparse, urlunparse, urljoin, urlencode, quote, unquote# 解析 URL
url = "https://www.example.com/path;params?query=arg#frag"
parsed_url = urlparse(url)
print(parsed_url.netloc)
# 运行结果
# ParseResult(scheme='https', netloc='www.example.com', path='/path', params='params', query='query=arg', fragment='frag')# 组合 URL
url_components = ("https", "www.example.com", "/path", "params", "query=arg", "frag")
combined_url = urlunparse(url_components)
print(combined_url)
# 运行结果
# https://www.example.com/path;params?query=arg#frag# 组合基 URL 和相对 URL
base_url = "https://www.example.com/path/"
relative_url = "subpath/file.html"
full_url = urljoin(base_url, relative_url)
print(full_url)
# 运行结果
# https://www.example.com/path/subpath/file.html# URL 编码
params = {"name": "John Doe", "age": 30}
query_string = urlencode(params)
print(query_string)
# 运行结果
# name=John+Doe&age=30# URL 编码和解码
original_string = "Hello World!"
encoded_string = quote(original_string)
decoded_string = unquote(encoded_string)
print(encoded_string)
print(decoded_string)
# 运行结果
# Hello%20World%21
# Hello World!

2.4 robotparser

urllib 库的 robotparser 模块(在 Python 3 中被重命名为 urllib.robotparser)用于解析 robots.txt 文件。robots.txt 文件是网站管理员用来控制搜索引擎爬虫访问其网站的文件。

from urllib.robotparser import RobotFileParser# 创建 RobotFileParser 对象
rp = RobotFileParser()# 设置 robots.txt 文件的 URL
rp.set_url("https://fanyi.baidu.com/mtpe-individual/multimodal#/")# 读取和解析 robots.txt 文件
rp.read()# 检查某个 URL 是否允许被爬取
url = "https://fanyi.baidu.com/mtpe-individual/multimodal#/"
user_agent = "*"
is_allowed = rp.can_fetch(user_agent, url)
print(f"URL {url} is allowed to be fetched: {is_allowed}")
# 运行结果
# URL https://fanyi.baidu.com/mtpe-individual/multimodal#/ is allowed to be fetched: True

这里注意,我们需要执行完 set_urlread() 方法之后,can_fetch 方法返回的结果才是有效的。调用 rp.read()方法后,RobotFileParser 对象会从指定的 URL 下载并解析 robots.txt 文件。这个过程会将文件中的规则加载到内存中,以便后续的访问控制检查。

这篇关于Urllib库及其常用的四个模块的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1108710

相关文章

Python的time模块一些常用功能(各种与时间相关的函数)

《Python的time模块一些常用功能(各种与时间相关的函数)》Python的time模块提供了各种与时间相关的函数,包括获取当前时间、处理时间间隔、执行时间测量等,:本文主要介绍Python的... 目录1. 获取当前时间2. 时间格式化3. 延时执行4. 时间戳运算5. 计算代码执行时间6. 转换为指

Python正则表达式语法及re模块中的常用函数详解

《Python正则表达式语法及re模块中的常用函数详解》这篇文章主要给大家介绍了关于Python正则表达式语法及re模块中常用函数的相关资料,正则表达式是一种强大的字符串处理工具,可以用于匹配、切分、... 目录概念、作用和步骤语法re模块中的常用函数总结 概念、作用和步骤概念: 本身也是一个字符串,其中

Python中的getopt模块用法小结

《Python中的getopt模块用法小结》getopt.getopt()函数是Python中用于解析命令行参数的标准库函数,该函数可以从命令行中提取选项和参数,并对它们进行处理,本文详细介绍了Pyt... 目录getopt模块介绍getopt.getopt函数的介绍getopt模块的常用用法getopt模

usb接口驱动异常问题常用解决方案

《usb接口驱动异常问题常用解决方案》当遇到USB接口驱动异常时,可以通过多种方法来解决,其中主要就包括重装USB控制器、禁用USB选择性暂停设置、更新或安装新的主板驱动等... usb接口驱动异常怎么办,USB接口驱动异常是常见问题,通常由驱动损坏、系统更新冲突、硬件故障或电源管理设置导致。以下是常用解决

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo

springboot项目中常用的工具类和api详解

《springboot项目中常用的工具类和api详解》在SpringBoot项目中,开发者通常会依赖一些工具类和API来简化开发、提高效率,以下是一些常用的工具类及其典型应用场景,涵盖Spring原生... 目录1. Spring Framework 自带工具类(1) StringUtils(2) Coll

Qt spdlog日志模块的使用详解

《Qtspdlog日志模块的使用详解》在Qt应用程序开发中,良好的日志系统至关重要,本文将介绍如何使用spdlog1.5.0创建满足以下要求的日志系统,感兴趣的朋友一起看看吧... 目录版本摘要例子logmanager.cpp文件main.cpp文件版本spdlog版本:1.5.0采用1.5.0版本主要

Java String字符串的常用使用方法

《JavaString字符串的常用使用方法》String是JDK提供的一个类,是引用类型,并不是基本的数据类型,String用于字符串操作,在之前学习c语言的时候,对于一些字符串,会初始化字符数组表... 目录一、什么是String二、如何定义一个String1. 用双引号定义2. 通过构造函数定义三、St

Python使用date模块进行日期处理的终极指南

《Python使用date模块进行日期处理的终极指南》在处理与时间相关的数据时,Python的date模块是开发者最趁手的工具之一,本文将用通俗的语言,结合真实案例,带您掌握date模块的六大核心功能... 目录引言一、date模块的核心功能1.1 日期表示1.2 日期计算1.3 日期比较二、六大常用方法详

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在