21. 从零用Rust编写正反向代理,tokio竟然这样对待socket!

2024-01-16 14:28

本文主要是介绍21. 从零用Rust编写正反向代理,tokio竟然这样对待socket!,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

wmproxy

wmproxy已用Rust实现http/https代理, socks5代理, 反向代理, 静态文件服务器,四层TCP/UDP转发,内网穿透,后续将实现websocket代理等,会将实现过程分享出来,感兴趣的可以一起造个轮子

项目地址

国内: https://gitee.com/tickbh/wmproxy

github: https://github.com/tickbh/wmproxy

有请主角上场

Socket是集万千宠爱为一身的王子,在操作系统的王国里,他负责对外的所有通讯,所以要想沟通邻国的公主必须经过他,所以大家对他都是万般友好。

这天一个Rust城市里的大臣tokio对他发起了邀请,邀请他来参观严谨的逻辑庄园。

tokio庄园

庄园中的各成员对即将到来的王子议论纷纷。

  大管家mio说:“大家都想想等下怎么向socket王子介绍自己,好让他配合大家的工作。”

  大管家miotokio的基石,一切和王国打交道的都交由他去打理,他是保证庄园高效运转的关键,此刻他准备好了欢迎宴会。

  在宴会上,socket听说tokio庄园是这座城市异步运行的重要基石,就很好奇的让大伙介绍介绍下怎么工作的。

  庄园主tokio就说:“我是依靠着大管家mio帮我负责处理底层的事,Waker来提醒我有新的事情,PollEvented来帮我管理事件的。下面先让mio来介绍下。”

  管家mio说:“我负责收集庄园中的所有信息,他们告诉我他们要关心的什么比较,比如您的到来(可读),或者您有什么话想说(可写),我会负责和王国的底层进行沟通,我在这个国家用的是epoll,据说在遥远的另一个国家用的是iocp,如果有相应的需求,我将会通知Waker,由他去提醒庄主来及时的处理,这场宴会也是提前得到通知而进行准备的。”

  通知Waker说:“我所做的事情就是微不足道,我的对接对象是PollEvented,当他关心读事件,我会向mio去发起poll_read请求,如果此时mio那边已经知道有新的消息了,那我就直接把他们读出来交给民众Poll::Ready,如果此时还没有新消息,那我会告诉管家,有新消息的时候通知我Poll::Pending,此时我就在这里等待,直到有新的消息到达我就通知给民众。当他关心写事件,我会向mio请求poll_write请求,后续的和收消息的一致。现在给你们展示下包装了一层我的Context和我能换醒的虚表。”

/// 这个在代码里就是经常看到,它就是我的一层浅封装啦。
pub struct Context<'a> {waker: &'a Waker,_marker: PhantomData<fn(&'a ()) -> &'a ()>,
}
/// 我通过他来控制回调,保证唤醒的时候能正确的通知
pub struct RawWakerVTable {clone: unsafe fn(*const ()) -> RawWaker,wake: unsafe fn(*const ()),wake_by_ref: unsafe fn(*const ()),drop: unsafe fn(*const ()),
}

  事件PollEvented说:“庄主要处理的事情太多了,而有些事情又需要等待一层层的反馈,他没法把精力放在一件事情上一直等待,所以就有了我出马,庄主告诉我他关心什么事,我就把它记下来,这样子庄主就可以去处理其它的事,等事件到来的时候我就告诉庄主,这样子庄主就可以高效的处理所有的事件。”

王子觉得他们说了一堆有点啰嗦

  “带我看看你们实际的工坊,我要实地考查下。”王子说。

庄主就带着王子来到了,受理工坊,受理工坊正在处理建立受理点:

TcpListener::bind(addr).await

受理点的内容就是PollEvent

pub struct TcpListener {io: PollEvented<mio::net::TcpListener>,
}

当他接受新的受理者的时候:

pub async fn accept(&self) -> io::Result<(TcpStream, SocketAddr)> {let (mio, addr) = self.io.registration().async_io(Interest::READABLE, || self.io.accept()).await?;let stream = TcpStream::new(mio)?;Ok((stream, addr))
}

他向PollEvent注册了可读事情有的时候通知他,此时PollEvent就建立了一个Waker对象,当有符合条件的时候就来告诉他:

/// 建立一个可读的Future对象
fn readiness_fut(&self, interest: Interest) -> Readiness<'_> {Readiness {scheduled_io: self,state: State::Init,waiter: UnsafeCell::new(Waiter {pointers: linked_list::Pointers::new(),waker: None,is_ready: false,interest,_p: PhantomPinned,}),}
}

底层有mio和系统交互,一旦有数据就通知Waker,他建在runtime/io/driver.rs上面

fn turn(&mut self, handle: &Handle, max_wait: Option<Duration>) {let events = &mut self.events;// 高效的监听端口match self.poll.poll(events, max_wait) {Ok(_) => {}}for event in events.iter() {let token = event.token();if token == TOKEN_WAKEUP {} else if token == TOKEN_SIGNAL {} else {let ready = Ready::from_mio(event);let ptr: *const ScheduledIo = token.0 as *const _;let io: &ScheduledIo = unsafe { &*ptr };io.set_readiness(Tick::Set(self.tick), |curr| curr | ready);// 有相应的事件,进行唤醒然后通知上层处理相应的事件io.wake(ready);}}}

然后看到Waker工坊上处理:

pub(crate) fn wake_all(&mut self) {assert!(self.curr <= NUM_WAKERS);while self.curr > 0 {self.curr -= 1;let waker = unsafe { ptr::read(self.inner[self.curr].as_mut_ptr()) };waker.wake();}
}
pub fn wake(self) {// 存在的回调函数及对应的数据,好进行调用let wake = self.waker.vtable.wake;let data = self.waker.data;crate::mem::forget(self);// 用回调函数的方式处理刚等待执行的线程unsafe { (wake)(data) };
}

最后又回到了受理工坊,我们知道了一个新的来源TcpStream的到来,期间在等待的时候,我们可以去处理其它的事情,不至于空有许多人力物力,却在等我的宝的事情到来没法快速处理事情。

  王子说:“在只有一个受理的时候你们这么高效,如果有同时多个受理,又需要在处理完访问相同的数据,你们又能处理吗?”

  庄主说:“那么接下来就让我带你参观下Poll工坊,他用同步的方式可以同时处理多个链接。”

参观完异步工坊,庄主又带着王子来到了

只见Poll工坊大屏幕上就出现了一个例子:

#[tokio::main]
async fn main() -> std::io::Result<()> {use std::{future::poll_fn, task::Poll, pin::Pin};use tokio::net::TcpListener;let mut listeners = vec![];// 同时监听若干个端口for i in 1024..1099 {listeners.push(TcpListener::bind(format!("127.0.0.1:{}", i)).await?);}loop {let mut pin_listener = Pin::new(&mut listeners);// 同时监听若干个端口,只要有任一个返回则返回数据let fun = poll_fn(|cx| {for l in &*pin_listener.as_mut() {match l.poll_accept(cx) {v @ Poll::Ready(_) => return v,Poll::Pending => {},}}Poll::Pending});let (conn, addr) = fun.await?;println!("receiver conn:{:?} addr:{:?}", conn, addr);}
}

他可快速的在函数中同时等待多个端口数据,这种同步的逻辑可以在复杂结构时很方便的书写代码的逻辑。

王子看完后:“现在你的处理能力已经高效又灵活,真正的可甜可咸了,把我的能力发挥完全又简化了操作。”

点击 [关注][在看][点赞] 是对作者最大的支持

这篇关于21. 从零用Rust编写正反向代理,tokio竟然这样对待socket!的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/612888

相关文章

在Rust中要用Struct和Enum组织数据的原因解析

《在Rust中要用Struct和Enum组织数据的原因解析》在Rust中,Struct和Enum是组织数据的核心工具,Struct用于将相关字段封装为单一实体,便于管理和扩展,Enum用于明确定义所有... 目录为什么在Rust中要用Struct和Enum组织数据?一、使用struct组织数据:将相关字段绑

浅析Rust多线程中如何安全的使用变量

《浅析Rust多线程中如何安全的使用变量》这篇文章主要为大家详细介绍了Rust如何在线程的闭包中安全的使用变量,包括共享变量和修改变量,文中的示例代码讲解详细,有需要的小伙伴可以参考下... 目录1. 向线程传递变量2. 多线程共享变量引用3. 多线程中修改变量4. 总结在Rust语言中,一个既引人入胜又可

利用Python编写一个简单的聊天机器人

《利用Python编写一个简单的聊天机器人》这篇文章主要为大家详细介绍了如何利用Python编写一个简单的聊天机器人,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 使用 python 编写一个简单的聊天机器人可以从最基础的逻辑开始,然后逐步加入更复杂的功能。这里我们将先实现一个简单的

Rust 数据类型详解

《Rust数据类型详解》本文介绍了Rust编程语言中的标量类型和复合类型,标量类型包括整数、浮点数、布尔和字符,而复合类型则包括元组和数组,标量类型用于表示单个值,具有不同的表示和范围,本文介绍的非... 目录一、标量类型(Scalar Types)1. 整数类型(Integer Types)1.1 整数字

使用PyQt5编写一个简单的取色器

《使用PyQt5编写一个简单的取色器》:本文主要介绍PyQt5搭建的一个取色器,一共写了两款应用,一款使用快捷键捕获鼠标附近图像的RGB和16进制颜色编码,一款跟随鼠标刷新图像的RGB和16... 目录取色器1取色器2PyQt5搭建的一个取色器,一共写了两款应用,一款使用快捷键捕获鼠标附近图像的RGB和16

Rust中的Option枚举快速入门教程

《Rust中的Option枚举快速入门教程》Rust中的Option枚举用于表示可能不存在的值,提供了多种方法来处理这些值,避免了空指针异常,文章介绍了Option的定义、常见方法、使用场景以及注意事... 目录引言Option介绍Option的常见方法Option使用场景场景一:函数返回可能不存在的值场景

使用Java编写一个文件批量重命名工具

《使用Java编写一个文件批量重命名工具》这篇文章主要为大家详细介绍了如何使用Java编写一个文件批量重命名工具,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录背景处理1. 文件夹检查与遍历2. 批量重命名3. 输出配置代码片段完整代码背景在开发移动应用时,UI设计通常会提供不

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

在JS中的设计模式的单例模式、策略模式、代理模式、原型模式浅讲

1. 单例模式(Singleton Pattern) 确保一个类只有一个实例,并提供一个全局访问点。 示例代码: class Singleton {constructor() {if (Singleton.instance) {return Singleton.instance;}Singleton.instance = this;this.data = [];}addData(value)

如何编写Linux PCIe设备驱动器 之二

如何编写Linux PCIe设备驱动器 之二 功能(capability)集功能(capability)APIs通过pci_bus_read_config完成功能存取功能APIs参数pos常量值PCI功能结构 PCI功能IDMSI功能电源功率管理功能 功能(capability)集 功能(capability)APIs int pcie_capability_read_wo