Python杂记--使用asyncio构建HTTP代理服务器

2024-04-15 06:20

本文主要是介绍Python杂记--使用asyncio构建HTTP代理服务器,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Python杂记--使用asyncio构建HTTP代理服务器

    • 引言
    • 基础知识
    • 代码实现

引言

        本文将介绍 HTTP 代理的基本原理,并带领读者构建一个自己的 HTTP 代理服务器。代码中不会涉及到任何第三方库,全部由 asyncio 实现,性能优秀,安全可靠。


基础知识

        HTTP 代理(HyperText Transfer Protocol Proxy)是一种网络代理服务器,充当位于客户端和目标服务器之间的中间人。流程为,首先接收来自客户端的 HTTP 请求,然后转发这些请求到目标服务器,并将目标服务器的响应返回给客户端,如下所示:

        在上述流程中,我们需要知道来自客户端的 HTTP 请求的所有内容,包括请求方法,URL等信息,才能实现转发。但众所周知,目前大多数网站都是通过 HTTPS 访问的,而 HTTPS 是加密的,作为代理服务器,拿不到请求方法等敏感信息,那么还能够用 HTTP 代理转发 HTTPS 流量吗?答案是肯定的。此时需要用到 HTTP 中很少见的一种请求方法:CONNECT。客户端首先发送 CONNECT 请求,告诉代理服务器我想连接 A 网站,代理服务器就可以和 A 网站建立连接,实现流量的双向转发,而这不需要对内容进行解密,所以是安全的。具体流程如下所示:


代码实现

        原理其实是很简单的,在 Python 中具体实现如下所示:

import asyncio
from urllib.parse import urlparseasync def pipe(reader: asyncio.StreamReader, writer: asyncio.StreamWriter):while True:data = await reader.read(4096)if len(data) == 0:breakwriter.write(data)async def http_proxy(c_reader: asyncio.StreamReader, c_writer: asyncio.StreamWriter, url: str, header: bytes):result = urlparse(url)host, port = result.hostname, 80 if result.port is None else result.ports_reader, s_writer = await asyncio.open_connection(host, port)s_writer.write(header)async with asyncio.TaskGroup() as tg:tg.create_task(pipe(c_reader, s_writer))tg.create_task(pipe(s_reader, c_writer)).add_done_callback(lambda _: c_reader.feed_eof())s_writer.close()c_writer.close()async def https_proxy(c_reader: asyncio.StreamReader, c_writer: asyncio.StreamWriter, url: str):host, port = url.split(':')s_reader, s_writer = await asyncio.open_connection(host, port)c_writer.write(b'HTTP/1.1 200 Connection Established\r\n\r\n')async with asyncio.TaskGroup() as tg:tg.create_task(pipe(c_reader, s_writer))tg.create_task(pipe(s_reader, c_writer)).add_done_callback(lambda _: c_reader.feed_eof())s_writer.close()c_writer.close()async def handler(reader: asyncio.StreamReader, writer: asyncio.StreamWriter):header = await reader.readuntil(b'\r\n\r\n')method, url, _ = header.decode('utf-8').splitlines()[0].split(' ')if method == 'CONNECT':return await https_proxy(reader, writer, url)await http_proxy(reader, writer, url, header)async def main():server = await asyncio.start_server(handler, '127.0.0.1', 8080)async with server:await server.serve_forever()asyncio.run(main())

        运行后就在本地构建好了代理,我们使用 requests 库进行测试:

import requests
response = requests.get('https://www.baidu.com', proxies={'http': 'http://127.0.0.1:8080', 'https': 'http://127.0.0.1:8080'})

这篇关于Python杂记--使用asyncio构建HTTP代理服务器的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/905066

相关文章

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

java使用protobuf-maven-plugin的插件编译proto文件详解

《java使用protobuf-maven-plugin的插件编译proto文件详解》:本文主要介绍java使用protobuf-maven-plugin的插件编译proto文件,具有很好的参考价... 目录protobuf文件作为数据传输和存储的协议主要介绍在Java使用maven编译proto文件的插件

Python包管理工具pip的升级指南

《Python包管理工具pip的升级指南》本文全面探讨Python包管理工具pip的升级策略,从基础升级方法到高级技巧,涵盖不同操作系统环境下的最佳实践,我们将深入分析pip的工作原理,介绍多种升级方... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected

C++ Log4cpp跨平台日志库的使用小结

《C++Log4cpp跨平台日志库的使用小结》Log4cpp是c++类库,本文详细介绍了C++日志库log4cpp的使用方法,及设置日志输出格式和优先级,具有一定的参考价值,感兴趣的可以了解一下... 目录一、介绍1. log4cpp的日志方式2.设置日志输出的格式3. 设置日志的输出优先级二、Window

Ubuntu如何分配​​未使用的空间

《Ubuntu如何分配​​未使用的空间》Ubuntu磁盘空间不足,实际未分配空间8.2G因LVM卷组名称格式差异(双破折号误写)导致无法扩展,确认正确卷组名后,使用lvextend和resize2fs... 目录1:原因2:操作3:报错5:解决问题:确认卷组名称​6:再次操作7:验证扩展是否成功8:问题已解

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函