Android TRTC实时音视频 推 RTSP视频流方法

2023-11-27 06:10

本文主要是介绍Android TRTC实时音视频 推 RTSP视频流方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

        近期有个Android任务:项目中原本集成了TRTC腾讯云实时音视频SDK,要是有过了解的朋友应该就知道,加入房间后,默认是采用手机的前后摄像头进行视频数据采集,并推流。如今的任务是需要将特定外接摄像头采集的视频也集成到房间中,而外接摄像头采集的是rtsp数据视频流。于是就有了今天的话题blog。

总体思路

        1.既然要在TRTC 中推自己的数据流,那么肯定要按照TRTC中的数据格式去传输视频数据。从TRTC SDK中可以查到,我们可以自定义采集视频数据。并通过sendCustomVideoData()方法进行数据传输。具体可以去查SDK文档,写的挺详细的,这里就不赘述了.附截图。sendCustomVideoData()中有两种数据传输方案,按需设置即可。

         2.数据格式解决了,那就需要看数据来源了。一般外接摄像头采集视频数据后都是rtsp流形式。那么关键问题就是如何获取到rtsp流数据,并转换为TRTC所需要的视频传输格式。

 正文

        既然需要获取rtsp流数据并进行转换。那么如何获取rtsp流中的原数据呢?

        小编这里提供一些可行的方法:1.FFMPEG  2.OPENCV 3.JAVACV

        以上三种方法都是可行的,小编这里使用的是JAVACV,主要是方便集成。

        1.JAVACV集成

                 1.1 build.gradle添加依赖

    //JavaCVdef javacvVersion = '1.4.2'def ffmpegVersion = '4.0.1'def opencvVersion = '3.4.2'implementation(group: 'org.bytedeco', name: 'javacv-platform', version: javacvVersion) {exclude group: 'org.bytedeco.javacpp-presets'}implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}"implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}"implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'

        2.根据根据rtsp获取帧数据

            FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(url);grabber.setOption("rtsp_transport", "tcp"); grabber.setImageWidth(hotWidth);grabber.setImageHeight(hotHeight);grabber.setPixelFormat(AV_PIX_FMT_RGBA);System.out.println("grabber start");grabber.start();AndroidFrameConverter converter = new AndroidFrameConverter();while (HotRunning) {Frame frame = grabber.grabImage();final Bitmap bmp = converter.convert(frame);}

        其中url就是rtsp地址.例如:rtsp://192.168.2.199:8554/stream1

        最后frame就是得到的帧数据,我们将其转换为bitmap,就可以直接显示出来了。

      2.数据转换

         根据TRTC SDK数据格式要求,我们需要将bitmap转换成YUV格式数据,小编这里是将bitmap转换成NV21格式的数据。

    public byte[] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {int[] argb = new int[inputWidth * inputHeight];scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);byte[] yuv = new byte[inputWidth * inputHeight * 3 / 2];encodeYUV420SP(yuv, argb, inputWidth, inputHeight);//scaled.recycle();return yuv;}public static void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {final int frameSize = width * height;int yIndex = 0;int uvIndex = frameSize;int a, R, G, B, Y, U, V;int index = 0;for (int j = 0; j < height; j++) {for (int i = 0; i < width; i++) {a = (argb[index] & 0xff000000) >> 24; // a is not used obviouslyR = (argb[index] & 0xff0000) >> 16;G = (argb[index] & 0xff00) >> 8;B = (argb[index] & 0xff) >> 0;Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));if (j % 2 == 0 && index % 2 == 0) {yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));}index ++;}}}

3.数据推流

        通过getNV21()方法将数据转换好之后,最后再填入sendCustomVideoData()方法中即可。

TRTCCloudDef.TRTCVideoFrame videoFrame = new TRTCCloudDef.TRTCVideoFrame();//videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_I420;videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_NV21;videoFrame.bufferType = TRTCCloudDef.TRTC_VIDEO_BUFFER_TYPE_BYTE_ARRAY;videoFrame.data = sendData;videoFrame.width = hotWidth;videoFrame.height = hotHeight;videoFrame.timestamp = 0;mTRTCCloud.sendCustomVideoData(TRTCCloudDef.TRTC_VIDEO_STREAM_TYPE_BIG,videoFrame);

其中sebdData就是getNV21()转换之后的数据。

至此功能完成。

注意事项

        1.需要将TRTC采集模式设置为自定义采集。

        2.javacv 的 FFmpegFrameGrabber 是采集到每一帧的数据,所以需要放在循环中不断获取。

        3.由于数据量大,转换数据后要注意及时释放内存。

这篇关于Android TRTC实时音视频 推 RTSP视频流方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/427161

相关文章

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

浅谈主机加固,六种有效的主机加固方法

在数字化时代,数据的价值不言而喻,但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露,企业的数据安全面临着前所未有的挑战。为了应对这些挑战,一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案,采用先进的安全容器中间件技术,构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限,即使在管理员权限被恶意利用的情况下,也能确保服务器的安全稳定运行。 普适主机加固措施:

Android平台播放RTSP流的几种方案探究(VLC VS ExoPlayer VS SmartPlayer)

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候,不知道如何选的好,本文针对常用的方案,做个大概的说明: 1. 使用VLC for Android VLC Media Player(VLC多媒体播放器),最初命名为VideoLAN客户端,是VideoLAN品牌产品,是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式,并支持DVD影音光盘,VCD影

webm怎么转换成mp4?这几种方法超多人在用!

webm怎么转换成mp4?WebM作为一种新兴的视频编码格式,近年来逐渐进入大众视野,其背后承载着诸多优势,但同时也伴随着不容忽视的局限性,首要挑战在于其兼容性边界,尽管WebM已广泛适应于众多网站与软件平台,但在特定应用环境或老旧设备上,其兼容难题依旧凸显,为用户体验带来不便,再者,WebM格式的非普适性也体现在编辑流程上,由于它并非行业内的通用标准,编辑过程中可能会遭遇格式不兼容的障碍,导致操

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

android-opencv-jni

//------------------start opencv--------------------@Override public void onResume(){ super.onResume(); //通过OpenCV引擎服务加载并初始化OpenCV类库,所谓OpenCV引擎服务即是 //OpenCV_2.4.3.2_Manager_2.4_*.apk程序包,存

【VUE】跨域问题的概念,以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略,该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同,则需要服务器显式地允许这种跨域请求。一般在springbo