Python杂记--使用asyncio构建HTTP代理服务器

本文主要是介绍Python杂记--使用asyncio构建HTTP代理服务器，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

引言

        本文将介绍 HTTP 代理的基本原理，并带领读者构建一个自己的 HTTP 代理服务器。代码中不会涉及到任何第三方库，全部由 asyncio 实现，性能优秀，安全可靠。

---

基础知识

        HTTP 代理（HyperText Transfer Protocol Proxy）是一种网络代理服务器，充当位于客户端和目标服务器之间的中间人。流程为，首先接收来自客户端的 HTTP 请求，然后转发这些请求到目标服务器，并将目标服务器的响应返回给客户端，如下所示：

        在上述流程中，我们需要知道来自客户端的 HTTP 请求的所有内容，包括请求方法，URL等信息，才能实现转发。但众所周知，目前大多数网站都是通过 HTTPS 访问的，而 HTTPS 是加密的，作为代理服务器，拿不到请求方法等敏感信息，那么还能够用 HTTP 代理转发 HTTPS 流量吗？答案是肯定的。此时需要用到 HTTP 中很少见的一种请求方法：CONNECT。客户端首先发送 CONNECT 请求，告诉代理服务器我想连接 A 网站，代理服务器就可以和 A 网站建立连接，实现流量的双向转发，而这不需要对内容进行解密，所以是安全的。具体流程如下所示：

---

代码实现

        原理其实是很简单的，在 Python 中具体实现如下所示：

import asyncio
from urllib.parse import urlparseasync def pipe(reader: asyncio.StreamReader, writer: asyncio.StreamWriter):while True:data = await reader.read(4096)if len(data) == 0:breakwriter.write(data)async def http_proxy(c_reader: asyncio.StreamReader, c_writer: asyncio.StreamWriter, url: str, header: bytes):result = urlparse(url)host, port = result.hostname, 80 if result.port is None else result.ports_reader, s_writer = await asyncio.open_connection(host, port)s_writer.write(header)async with asyncio.TaskGroup() as tg:tg.create_task(pipe(c_reader, s_writer))tg.create_task(pipe(s_reader, c_writer)).add_done_callback(lambda _: c_reader.feed_eof())s_writer.close()c_writer.close()async def https_proxy(c_reader: asyncio.StreamReader, c_writer: asyncio.StreamWriter, url: str):host, port = url.split(':')s_reader, s_writer = await asyncio.open_connection(host, port)c_writer.write(b'HTTP/1.1 200 Connection Established\r\n\r\n')async with asyncio.TaskGroup() as tg:tg.create_task(pipe(c_reader, s_writer))tg.create_task(pipe(s_reader, c_writer)).add_done_callback(lambda _: c_reader.feed_eof())s_writer.close()c_writer.close()async def handler(reader: asyncio.StreamReader, writer: asyncio.StreamWriter):header = await reader.readuntil(b'\r\n\r\n')method, url, _ = header.decode('utf-8').splitlines()[0].split(' ')if method == 'CONNECT':return await https_proxy(reader, writer, url)await http_proxy(reader, writer, url, header)async def main():server = await asyncio.start_server(handler, '127.0.0.1', 8080)async with server:await server.serve_forever()asyncio.run(main())

        运行后就在本地构建好了代理，我们使用 requests 库进行测试：

import requests
response = requests.get('https://www.baidu.com', proxies={'http': 'http://127.0.0.1:8080', 'https': 'http://127.0.0.1:8080'})

这篇关于Python杂记--使用asyncio构建HTTP代理服务器的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---