本文主要是介绍Linux-视频监控系统(11)-监控系统初步完善,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
代码写了这么久,期间也碰到了各种各样的问题,解决方法都记录在了我的博客里面。这里面记录一下自己开发的思路和方法。
现在项目在原来的基础上又增加了以下功能:
1、创建了线程池,支持多个客户机的访问
2、可以保存捕捉到的视频和图片,并存储在当前路径上
注意:
如果要运行这个代码需要安装ffmpeg
为了开发方便,目前安装的是ffmpeg for X86,接下来需要运行在开发板上,所以需要在PC机上和开发板上都需要安装ffmpeg。PC机上需要安装时因为调用arm-linux-gcc的时候需要用到这些库(注意要安装在arm-linux-gcc编译器对应的库下面),开发板上安装时因为代码运行时也需要用到这些库。具体的安装方法网上有很多。
在使用ffmpeg的时候如果有一些问题,可以参考这个博客http://blog.csdn.net/leixiaohua1020/article/details/15811977/
线程池
现在对于客户机服务器模型的项目,加入线程池技术好像都是必需的,线程池的原理和方法可以参考我的博客:http://blog.csdn.net/u013181595/article/details/73771259
创建线程池后,需要拿出一个线程来执行视频和图片的编码工作,这个工作在初始化之后完成。在线程池里面,只需要把摄像头的设备文件加入到Epoll池中,等待摄像头一帧数据的完成之后调用处理函数即可,同时在线程退出时释放相关内存,这段代码如下:
/*摄像头线程的运行程序
*参数为摄像头子系统的结构
*/
void cam_process(void *arg)
{struct cam *c = arg;struct epoll_event events[10]; int fds;int i;struct event_ext *e;uint32_t event;//往Epoll池中加入事件c->v4_dev->ev = epoll_event_create(c->v4_dev->fd, EPOLLIN, cam_handler, c->v4_dev);epoll_add_event(c->epfd, c->v4_dev->ev);//等待事件发生并处理while(1){fds = epoll_wait(c->epfd, events, 10, 1000);for(i=0; i<fds; i++){event = events[i].events;e = events[i].data.ptr;if((event & EPOLLIN) && (e->events & EPOLLIN)){e->handler(e->fd, e->arg);}if((event & EPOLLOUT) && (e->events & EPOLLOUT)){e->handler(e->fd, e->arg);}if((event & EPOLLERR) && (e->events & EPOLLERR)){e->handler(e->fd, e->arg);}}}//写视频文件尾av_write_trailer(c->video->pFormatCtxEnc); if (!(c->video->pFormatCtxEnc->flags & AVFMT_NOFILE))avio_close(c->video->pFormatCtxEnc->pb);pthread_rwlock_destroy(&(c->rwlock));//释放内存free(c);}
同样,当连接到一个新的客户机的时候,就拿出一个线程用来处理这个连接,服务器的连接在主函数里面进行,主函数负责系统的初始化以及线程池任务的分配,主函数代码如下:
int main()
{struct sockaddr_in sin;int new_sock;int len=0;srv_main = calloc(1,sizeof(struct server));//初始化线程池srv_main->pool = pool_init(10);//初始化摄像头子系统srv_main->cam = cam_sys_init();// //初始化网络子系统srv_main->srv = net_sys_init();//添加摄像头的任务pool_add_task (cam_process, srv_main->cam); while(1){//等待客户机连接if(( srv_main->srv->new_sock = accept(srv_main->sock, (struct sockaddr*)&sin, &len)) == -1){perror("accept:"); _exit(0);}//给线程池添加任务pool_add_task(net_process,srv_main->srv);}//关闭线程池pool_destroy();//关闭sockclose(srv_main->srv->sock);//释放申请到的内存free(srv_main);return -1;
}
当由一个客户机连接的时候调用net_process函数,这个函数需要执行的任务和摄像头线程的任务差不多,也是把设备文件加入到Epoll池中,然后等待事件发生后调用相应的处理函数,这里有2个Epoll,一个是摄像头的Epoll池、另一个是网络的Epoll池。net_proess的代码如下:
void net_process(void *arg)
{//保存sockstruct epoll_event events[10]; int fds;int i;struct event_ext *e;uint32_t event;struct tcp_srv *s = arg;//申请并初始化一个sock结构struct tcp_cli *c = calloc(1, sizeof(struct tcp_cli));c->sock = s->new_sock;c->srv = srv_main->srv;//将传输子系统的事件加入Epoll池,tcp_cli作为事件的参数c->ev_rx = epoll_event_create(c->sock, EPOLLIN, rx_app_handler, c);c->ev_tx = epoll_event_create(c->sock, EPOLLOUT, tx_app_handler, c);//先加入rx的事件epoll_add_event(c->srv->epfd, c->ev_rx);//等待事件的发生,注意修改图片获取代码while(1){fds = epoll_wait(c->srv->epfd, events, 10, 1000);for(i=0; i<fds; i++){event = events[i].events;e = events[i].data.ptr;if((event & EPOLLIN) && (e->events & EPOLLIN)){e->handler(e->fd, e->arg);}if((event & EPOLLOUT) && (e->events & EPOLLOUT)){e->handler(e->fd, e->arg);}if((event & EPOLLERR) && (e->events & EPOLLERR)){e->handler(e->fd, e->arg);}}}//关闭sockclose(c->sock);
}
图片的读写
在这个过程中,摄像头线程会一直往图片里面写入数据,而网络线程则负责读取这幅图片并发送到网络上。因此涉及到了读写操作,肯定需要使用线程同步技术,不然的话网络线程读取到数据可能会不完整。索性的是在Linux下有一个非常管用的工具,叫做读写锁(rwlock)。可以非常好的完成读写的同步,同时还提供阻塞和非阻塞的加锁机制。具体可以参考我的博客:http://blog.csdn.net/u013181595/article/details/77618361
源代码
对于这次完善,只对服务器代码进行了修改,对于播放器则没有修改,这次代码运行在Linux的PC机上,源代码已经提交到了GitHub上:
https://github.com/dayL-W/Video-capture-system
碰到的问题
这次完善当然也碰到了很多问题,比如说:
段错误:可能是空指针的使用、数组的越界等等,采用2分的方法,调试出那条语句发生了段错误
客户机连接不上:主要是服务器和客户机的端口对应不上,或者服务器的sock初始化失败等等,还有可能是accept和connect的参数有问题
编码图片的时候提示:"Application provided invalid, non monotonically increasing dts to muxer in stream %d: %s >= %s\n"。意思是说应用程序无效,非单调递增的流什么的,这个问题出现在av_write_frame()里面,这里面会判断一个帧的什么东西,我们只需要改变变量使这个判断不成立即可:jpg_video_st->cur_dts = 0;
当然还有其他一些小问题,相信大家都能够解决,这里不再举例的。
性能测试
性能测试的指标主要要服务器的压力大小,以及客户机的帧率,由于目前还不知道怎么测试服务器的压力,先不管了。
对于帧率,当只有一个客户机连接的时候帧率可以达到60多帧左右,2个客户机连接时只有20多帧,3个客户机连接时只有8帧。显然这个性能下降的是十分快的,原因也显而易见。因为存在存在图片读写同步互斥的问题。这个问题需要优化。
后续移植
服务器代码目前还是运行在Linux的PC机上的,接下来需要移植到树莓派中。具体方法将在后面的博客写到。
更多Linux资料及视频教程点击这里
这篇关于Linux-视频监控系统(11)-监控系统初步完善的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!