本文主要是介绍WebRTC PeerConnection Client源码分析1-main window,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文分析的webrtc的版本是:m84
平台:win10
WebRTC PeerConnection Client源码分析1-main window
WebRTC PeerConnection Client源码分析2-PeerConnectionClient
WebRTC PeerConnection Client源码分析3-Conductor
PeerConnection是WebRTC官方提供的P2P示例,麻雀虽小五脏俱全,这个示例对于学习WebRTC是非常有帮助,下面我们开始详细的分析其代码逻辑。
在/examples/peerconnection目录下有两个程序,分别是peerconnection_client和peerconnection_server,其关系如下图:
peerconnection_client程序的入口
首先说明一下,我是做linux开发的,对于windows的接口并不懂。peerconnection_client程序是一个win32 Application程序,所以涉及到win32接口的代码我只能读懂个大概,下文中有写错的地方,希望见谅。其实我们的核心是分析webrtc调用逻辑,所以win32相关的知识不是重点。
平时我们写的程序大部分都是console程序,其入口函数是main(),而win32 Application程序的入口函数是winMain()。wWinMain()函数是unicode环境下的win32Application的入口。
/examples/peerconnection/client/main.cc中的wWinMain()函数就是peerconnection_client的入口,其代码如下:
int PASCAL wWinMain(HINSTANCE instance, HINSTANCE prev_instance, wchar_t* cmd_line,int cmd_show)
{/*初始化window下的网络接口*/rtc::WinsockInitializer winsock_init;/*创建一个线程对象*/rtc::Win32SocketServer w32_ss;rtc::Win32Thread w32_thread(&w32_ss);/*将w32_thread线程纳入到Thread对象的管理之中*/rtc::ThreadManager::Instance()->SetCurrentThread(&w32_thread);...
}
class WinsockInitializer {public:WinsockInitializer() { /*构造器*/WSADATA wsaData;WORD wVersionRequested = MAKEWORD(1, 0);err_ = WSAStartup(wVersionRequested, &wsaData);}~WinsockInitializer() { /*析构器*/if (!err_)WSACleanup();}int error() { return err_; }private:int err_;
};
windows在使用socket之前需要调用WSAStartup()函数完成对socket的初始化,在使用结束后需要调用WSACleanup()函数解除Socket库的绑定和释放占用的资源。
winsock_init对象被定义之后,并没有被直接使用,此处使用了RAII
的思想,借用WinsockInitializer的构造器完成WSAStartup()函数的调用,在其析构器中主动调用WSACleanup()。
在定义winsock_init对象时,会在其构造器中主动调用WSAStartup(),winsock_init对象会在wWinMain()函数结束时离开其作用域,当winsock_init对象在离开其作用域时,其析构器会被调用,析构器中的WSACleanup()函数也就被调用了。这样就保证了WSAStartup()和WSACleanup()两个函数始终会配对使用了。
解析命令行
这里在处理命令行参数时使用的是Google自己的absl库。
win32 Application的命令行参数格式和console程序的不同,所以需要先进行命令行参数的转换。console程序的命令行参数是以字符指针数组的方式存储的。例如如下console程序的命令行参数存储如下图:
root@learner:~# ./a.out aa bb cc
WindowsCommandLineArguments win_args;
int argc = win_args.argc();
char** argv = win_args.argv();
通过上面的方式将命令行参数转成字符指针数组的方式。
ABSL_FLAG(bool, autoconnect, false, "Connect to the server without user intervention.");
ABSL_FLAG(std::string, server, "192.168.30.17", "The server to connect to.");
ABSL_FLAG(int, port, kDefaultServerPort, "The port on which the server is listening.");
...
在flag_defs.h文件中预定了命令行参数,并为这些参数设置了默认值。在运行程序时,如果没有提供命令行参数,则会使用设置的默认值。
这里就不详述命令行的解析了,通过下面示例就能大体了解其使用方式:
#include <iostream>
#include <absl/flags/flag.h>
#include <absl/flags/parse.h>
#include <string>ABSL_FLAG(std::string, ip, "192.168.30.232", "server ip");
ABSL_FLAG(uint16_t, port, 9000, "server port");using namespace std;int main(int argc, char** argv)
{absl::ParseCommandLine(argc,argv);const std::string ip = absl::GetFlag(FLAGS_ip);cout<<"ip = "<<ip<<endl;uint16_t port = absl::GetFlag(FLAGS_port);cout<<"port = "<<port<<endl;return 0;
}
root@learner:~# g++ absl.cpp -labsl -lpthread
root@learner:~# ./a.out
ip = 192.168.30.232
port = 9000
root@learner:~# ./a.out --ip=127.0.0.1 --port=8080
ip = 127.0.0.1
port = 8080
不提供命令行参数时,则使用默认值。
root@learner:~# ./a.out --helpfull
a.out: Warning: SetProgramUsageMessage() never calledFlags from absl.cpp:--ip (server ip); default: "192.168.30.232";--port (server port); default: 9000;Flags from opt/abseil-cpp/absl/flags/parse.cc:--flagfile (comma-separated list of files to load flags from); default: ;--fromenv (comma-separated list of flags to set from the environment [use'export FLAGS_flag1=value']); default: ;--tryfromenv (comma-separated list of flags to try to set from theenvironment if present); default: ;--undefok (comma-separated list of flag names that it is okay to specify onthe command line even if the program does not define a flag with thatname); default: ;Try --helpfull to get a list of all flags or --help=substring shows help for
flags which include specified substring in either in the name, or description or
path.
absl库提供了丰富的帮助信息,通过–helpfull参数就可以查看。
/*从命令行获取需要开启的实验特性*/
const std::string forced_field_trials = absl::GetFlag(FLAGS_force_fieldtrials);
/*设置WebRtc的实验特性*/
webrtc::field_trial::InitFieldTrialsFromString(forced_field_trials.c_str());/*检查命令行提供的端口号是否合法*/
if ((absl::GetFlag(FLAGS_port) < 1) || (absl::GetFlag(FLAGS_port) > 65535)) {printf("Error: %i is not a valid port.\n", absl::GetFlag(FLAGS_port));return -1;
}/*获取信令服务器的ip地址*/
const std::string server = absl::GetFlag(FLAGS_server);
webrtc中有很多特性默认是没有开启的,这些特性可以通过InitFieldTrialsFromString()接口通过字符串开启。例如flexfec默认是没有开启的,但通过"WebRTC-FlexFEC-03-Advertised/Enabled/WebRTC-FlexFEC-03/Enabled/"字符串可以开启此特性。
类的关系
Conductor类
:是对WebRTC的封装,实现了P2P的核心逻辑。
PeerConnectionClient类
:和信令服务器之间的信令,都是通过此类处理的。
MainWnd类
:这个类用于实现所有的界面和视频的渲染。
/*创建MainWnd对象*/
MainWnd wnd(server.c_str(), absl::GetFlag(FLAGS_port), absl::GetFlag(FLAGS_autoconnect), absl::GetFlag(FLAGS_autocall));
.../*创建PeerConnectionClient*/
PeerConnectionClient client;/*创建Conductor对象*/
rtc::scoped_refptr<Conductor> conductor(new rtc::RefCountedObject<Conductor>(&client, &wnd));
通过观察者模式将这三个类组织起来,Conductor通过接口订阅PeerConnectionClient和MainWnd中的事件。
创建登录界面、进入事件循环
MainWnd类管理了三种界面:connect界面、peer list界面、视频渲染界面
connect界面
:
peer list界面
:
视频渲染界面
:
/*获取信令服务器的ip地址*/
const std::string server = absl::GetFlag(FLAGS_server);MainWnd wnd(server.c_str(), absl::GetFlag(FLAGS_port), absl::GetFlag(FLAGS_autoconnect), absl::GetFlag(FLAGS_autocall));
if (!wnd.Create()) {RTC_NOTREACHED();return -1;
}
absl::GetFlag(FLAGS_autoconnect)
从命令行获取是否自动连接信令服务器,默认是false。
absl::GetFlag(FLAGS_autocall)
从命令行获取是否自动呼叫,默认是false。
bool MainWnd::Create()
{/*1、注册窗口类*/if (!RegisterWindowClass())return false;
.../*2.1 创建主窗口*/wnd_ =::CreateWindowExW(WS_EX_OVERLAPPEDWINDOW, kClassName, L"WebRTC",WS_OVERLAPPEDWINDOW | WS_VISIBLE | WS_CLIPCHILDREN,CW_USEDEFAULT, CW_USEDEFAULT, CW_USEDEFAULT,CW_USEDEFAULT, NULL, NULL, GetModuleHandle(NULL), this);
.../*2.2 创建其他窗口*/CreateChildWindows();/*转向connect界面*/SwitchToConnectUI();return wnd_ != NULL;
}int PASCAL wWinMain(HINSTANCE instance, HINSTANCE prev_instance, wchar_t* cmd_line,int cmd_show)
{.../*3、进入事件循环,处理windows事件消息。*/MSG msg;BOOL gm;while ((gm = ::GetMessage(&msg, NULL, 0, 0)) != 0 && gm != -1) {if (!wnd.PreTranslateMessage(&msg)) /*先进入MainWnd对象的预处理函数进行处理*/{::TranslateMessage(&msg);::DispatchMessage(&msg);}}...
}
一个Windows应用程序通常需要三大步骤:1、注册窗口类 2、创建窗口 3、进入事件循环处理Windows事件消息
bool MainWnd::RegisterWindowClass()
{
...wcex.lpfnWndProc = &WndProc; /*注册消息处理回调函数*/
...wnd_class_ = ::RegisterClassExW(&wcex); /*注册窗口类*/
...
}
在注册窗口类时,需要注册消息处理回调函数,当有消息到来时,会进入注册的回调函数中处理。
void MainWnd::CreateChildWindows()
{/*connect界面 Server标签*/CreateChildWindow(&label1_, LABEL1_ID, L"Static", ES_CENTER | ES_READONLY, 0);/*connect界面 ip编辑框*/CreateChildWindow(&edit1_, EDIT_ID, L"Edit", ES_LEFT | ES_NOHIDESEL | WS_TABSTOP, WS_EX_CLIENTEDGE);/*connect界面 冒号标签*/CreateChildWindow(&label2_, LABEL2_ID, L"Static", ES_CENTER | ES_READONLY, 0);/*connect界面 port编辑框*/CreateChildWindow(&edit2_, EDIT_ID, L"Edit", ES_LEFT | ES_NOHIDESEL | WS_TABSTOP, WS_EX_CLIENTEDGE);/*connect界面 Connect点击按钮*/CreateChildWindow(&button_, BUTTON_ID, L"Button", BS_CENTER | WS_TABSTOP, 0);/*peer list box*/CreateChildWindow(&listbox_, LISTBOX_ID, L"ListBox", LBS_HASSTRINGS | LBS_NOTIFY, WS_EX_CLIENTEDGE);/*在编辑框中显示默认的IP*/::SetWindowTextA(edit1_, server_.c_str());/*在编辑框中显示默认的port*/::SetWindowTextA(edit2_, port_.c_str());
}
创建界面上需要的子窗口
void MainWnd::SwitchToConnectUI()
{RTC_DCHECK(IsWindow());/*关闭peer list界面*/LayoutPeerListUI(false);/*标识处于connect界面*/ui_ = CONNECT_TO_SERVER;/*打开connect界面*/LayoutConnectUI(true);/*将鼠标放在IP地址编辑框中*/::SetFocus(edit1_);/*如果是自动连接,则向connect按钮发送点击消息。*/if (auto_connect_)::PostMessage(button_, BM_CLICK, 0, 0);
}
显示connect界面
处理事件消息
Windows应用程序在处理消息时,有两种方式将消息送至MainWnd处理。一种是在注册窗口类时注册的回调函数WndProc;另一种方式是在消息处理的循环中直接调用MainWnd类的PreTranslateMessage函数,提前对消息进行预处理,如果消息不能被处理则继续往下分发。
在注册窗口类时,注册了消息处理回调函数WndProc,当有消息需要处理时,会触发该函数。
LRESULT CALLBACK MainWnd::WndProc(HWND hwnd, UINT msg, WPARAM wp, LPARAM lp)
{MainWnd* me = reinterpret_cast<MainWnd*>(::GetWindowLongPtr(hwnd, GWLP_USERDATA));
...if (me) { /*交由MainWnd对象处理*/...bool handled = me->OnMessage(msg, wp, lp, &result); /*将消息进一步分发*/if (WM_NCDESTROY == msg) { /*如果是销毁消息,将主窗口标记为销毁状态。*/me->destroyed_ = true;} else if (!handled) { /*如果没有在OnMessage中处理这条消息*/result = ::DefWindowProc(hwnd, msg, wp, lp); /*没有处理的消息,丢给windows默认消息处理器。*/}/*处理完所有消息后,再销毁主窗口。*/if (me->destroyed_ && prev_nested_msg == NULL) {me->OnDestroyed(); /*销毁主窗口*/...}...} else { /*交由windows提供的默认消息处理函数处理*/result = ::DefWindowProc(hwnd, msg, wp, lp); /*不是主窗口的消息*/}return result;
}
peerconnect_client自己发出的消息交由MainWnd对象的OnMessage函数处理,其他系统消息交由系统提供的默认消息处理函数处理。
bool MainWnd::OnMessage(UINT msg, WPARAM wp, LPARAM lp, LRESULT* result)
{switch (msg) {
...case WM_PAINT:OnPaint(); /*绘制新的视频帧*/return true;
...case WM_COMMAND:if (button_ == reinterpret_cast<HWND>(lp)) { /*Connect按钮被单击*/if (BN_CLICKED == HIWORD(wp)) /*单击事件*/ OnDefaultAction();} else if (listbox_ == reinterpret_cast<HWND>(lp)) { /*Peer list中的条目被双击*/if (LBN_DBLCLK == HIWORD(wp)) { /*双击事件*/OnDefaultAction();}}return true;case WM_CLOSE: /*点击窗口关闭按钮*/if (callback_)callback_->Close(); /*回调Conductor::Close()函数*/break;}return false;
}
WM_PAINT事件用于重绘新的视频帧,在MainWnd::VideoRenderer::OnFrame函数中调用的InvalidateRect函数会触发该事件。后面会详细分析。
WM_CLOSE事件在关闭主窗口时会触发,此时需要退出程序,先进入Conductor中做退出处理工作。Conductor处理完毕后,通过break跳出switch语句,此时OnMessage函数会返回false。结合MainWnd::WndProc处理函数中的逻辑可以看出,会继续将此消息送至系统处理函数DefWindowProc()进一步处理。
WM_COMMAND事件是比较核心的事件了,此事件会进入OnDefaultAction()函数进一步处理。
void MainWnd::OnDefaultAction()
{if (!callback_) /*Conductor为空,直接返回。*/return;if (ui_ == CONNECT_TO_SERVER) /*在Connect界面点击connect按钮*/{/*从窗口中获取server的IP和port*/std::string server(GetWindowText(edit1_));std::string port_str(GetWindowText(edit2_));/*在没有设置port的时候,port被默认设置为0。*/int port = port_str.length() ? atoi(port_str.c_str()) : 0;/*回调Conductor登录信令服务器*/callback_->StartLogin(server, port);} else if (ui_ == LIST_PEERS) /*在peer list界面双击待连接的peer id*/{LRESULT sel = ::SendMessage(listbox_, LB_GETCURSEL, 0, 0);if (sel != LB_ERR) {LRESULT peer_id = ::SendMessage(listbox_, LB_GETITEMDATA, sel, 0);if (peer_id != -1 && callback_) {/*回调Conductor::ConnectToPeer,传入要连接peer的id,开始p2p。*/callback_->ConnectToPeer(peer_id); }}} else {::MessageBoxA(wnd_, "OK!", "Yeah", MB_OK);}
}
在connect界面点击Connect按钮,或按回车键时都会触发Conductor登录信令服务器。
在peer list界面点击peer id,将触发Conductor的ConnectToPeer函数,开始进行p2p连接。当在此界面上直接按回车键时,会默认使用第一个peer id。
bool MainWnd::PreTranslateMessage(MSG* msg)
{bool ret = false;/*用户输入单键*/if (msg->message == WM_CHAR) {if (msg->wParam == VK_TAB) { /*tab键*/HandleTabbing();ret = true;} else if (msg->wParam == VK_RETURN) { /*回车键 在Connect UI则连接信令服务器, 在Peer list UI,则Call第一个条目。*/OnDefaultAction();ret = true;} else if (msg->wParam == VK_ESCAPE) { /*esc键*/if (callback_) {if (ui_ == STREAMING) {callback_->DisconnectFromCurrentPeer(); /*如果在视频界面,则断开当前连接。*/} else {callback_->DisconnectFromServer(); /*在peer list界面,则返回connect界面。*/}}}} else if (msg->hwnd == NULL && msg->message == UI_THREAD_CALLBACK) /*如果消息没有具体的窗体,且消息类型是我们自定义的类型,则说明是Conductor自己发出的消息。*/{callback_->UIThreadCallback(static_cast<int>(msg->wParam), reinterpret_cast<void*>(msg->lParam)); /*进入Conductor处理自己发出的消息*/ret = true;}return ret;
}
在消息处理循环中,在分发消息时,先进入此函数进行处理。
自定义windows消息-UI_THREAD_CALLBACK
enum WindowMessages {UI_THREAD_CALLBACK = WM_APP + 1,
};
可以在Windows应用程序中定义自己的消息UI_THREAD_CALLBACK
void MainWnd::QueueUIThreadCallback(int msg_id, void* data)
{/*投递UI_THREAD_CALLBACK消息*/::PostThreadMessage(ui_thread_id_, UI_THREAD_CALLBACK, static_cast<WPARAM>(msg_id), reinterpret_cast<LPARAM>(data));
}
定义了自己的消息后,可以通过上面封装的函数投递此消息。
bool MainWnd::PreTranslateMessage(MSG* msg)
{.../*处理UI_THREAD_CALLBACK消息*/} else if (msg->hwnd == NULL && msg->message == UI_THREAD_CALLBACK) {callback_->UIThreadCallback(static_cast<int>(msg->wParam), reinterpret_cast<void*>(msg->lParam)); ret = true;}return ret;
}
消息投递后,在这里处理此消息。
UI_THREAD_CALLBACK消息都是从Conductor中发出的,当消息的处理又回到了Conductor了,至于这么做的原因后面再分析。
渲染视频
MainWnd一方面负责界面的管理,同时也负责本端和远端视频的渲染。
MainWnd渲染的视频需要使用VideoRenderer接收视频帧数据,MainWnd将VideoRenderer对象注册到WebRTC中,当WebRTC有需要渲染的视频帧时,通过OnFrame回调函数上传待渲染的YUV视频帧,VideoRenderer负责将YUV数据转成RGB,最后由MainWnd将RGB数据绘制出来。
MainWnd::VideoRenderer::VideoRenderer(HWND wnd, int width, int height, webrtc::VideoTrackInterface* track_to_render): wnd_(wnd), rendered_track_(track_to_render)
{
.../*向VideoTrack订阅视频帧*/rendered_track_->AddOrUpdateSink(this, rtc::VideoSinkWants());
}MainWnd::VideoRenderer::~VideoRenderer()
{/*取消订阅*/rendered_track_->RemoveSink(this); ...
}
VideoRenderer继承自rtc::VideoSinkInterface<webrtc::VideoFrame>接口,这样就可以注册到WebRTC中了。
在构造器中通过AddOrUpdateSink注册到WebRTC中,在析构器中注销。
void MainWnd::VideoRenderer::OnFrame(const webrtc::VideoFrame& video_frame)
{
.../*将获取的视频帧,转成YUV420格式。*/rtc::scoped_refptr<webrtc::I420BufferInterface> buffer(video_frame.video_frame_buffer()->ToI420());
.../*将YUV420格式的图像,转成RGB格式的图像。*/libyuv::I420ToARGB(buffer->DataY(), buffer->StrideY(), buffer->DataU(),buffer->StrideU(), buffer->DataV(), buffer->StrideV(),image_.get(), bmi_.bmiHeader.biWidth * bmi_.bmiHeader.biBitCount / 8,buffer->width(), buffer->height());}/*触发WM_PAINT事件*/InvalidateRect(wnd_, NULL, TRUE);
}
WebRTC中有需要渲染的视频帧时,通过OnFrame函数会将视频帧传递上来。OnFrame函数先是将传上来的视频帧转成yuv420,再通过libyuv库将yuv转成ARGB,并保存在image_成员变量中,最后触发WM_PAINT事件。
bool MainWnd::OnMessage(UINT msg, WPARAM wp, LPARAM lp, LRESULT* result)
{...case WM_PAINT:OnPaint();return true;...
}
在VideoRenderer::OnFrame中触发了WM_PAINT事件后,窗口事件循环会触发OnPaint()函数处理。
void MainWnd::OnPaint()
{
.../*视频渲染器*/VideoRenderer* local_renderer = local_renderer_.get();VideoRenderer* remote_renderer = remote_renderer_.get();/*获取远端视频帧数据*/const uint8_t* image = remote_renderer->image();
.../*获取本端视频帧数据*/image = local_renderer->image();
...
}
在OnPaint()函数中,通过VideoRenderer获取待渲染视频帧数据,然后将视频帧绘制出来。
这篇关于WebRTC PeerConnection Client源码分析1-main window的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!