基于串流技术的p2p共享桌面共享方案

本文主要是介绍基于串流技术的p2p共享桌面共享方案，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

研究远控有一定时间了，但真正落地运用的不多，所以也不太上心，平时也只是自己diy玩玩，远程共享看看电视剧。

最近生成式ai大火，直接带动了gpu应用的相关场景，相关场景，但gpu卡又贵，对算力共享的渴望让我对桌面分享又一次看到了希望。
很早以前都听说游戏串流以其低延迟高分辨率和跨平台的技术特点引领远控场景，虽然以前基于vpu的硬件版远控也玩得比较熟了。但对gpu版本的远控并不熟悉。于是借这个春节假期好好的研究了一下串流技术。整合进我的闭环p2p边缘级联音视频推流系统中。
整体来看串流技术主要分成三个模块，跟大多数iot音方视频推拉流没有什么两样，也就是采集编码，传输，控制反馈。
为了低延迟，采集编码尽量在gpu中，支持h264 h265 av1 等大分辨率4K高刷60甚至120fps,n卡amd及intel的显卡都有对应的sdk实现，但是要自适应多种平台软硬件还是相当麻烦。
传输基本上串流跟webrtc类似，主要是rtp udp传输加大剂量fec，不吝啬带宽大力出奇迹，为了内网穿透很多用上了upnp技术，不过比起全方位可信令交互生态完善的ice在业务场景上的自由度还是差点意思，所以我改进了传输，优化了底层，融入了我自己写的闭环信令系统，方便业务逻辑控制，也完全实现了内网p2p，甚至多内网级联分享，关键是可以在我的浏览器播放器中使用，支持h265的大分辨率桌面共享，可以像推拉流一样享受远程桌面，同时集成业务级的关联逻辑控制和设备管理。
控制方面，游戏串流真心做得不错，手柄，鼠标，键盘，模拟器驱动应有尽有，控制方案也是采用系统的调用接口比如SendInput 是一个 Windows API 函数，用于模拟用户输入。它可以通过发送鼠标和键盘事件来模拟用户的操作行为，例如键盘按键、鼠标移动、鼠标点击等。

我在我的华硕笔记本电脑和华为手机上做了实测验证，效果令人满意，以下是局域网延迟截图，相比hdmi in的外接硬件采集方案延迟也从最低50-60ms降低至15-16ms ,gpu和网络占用也可以接受，望大佬们指点。