Android TRTC实时音视频 推 RTSP视频流方法

前言

        近期有个Android任务：项目中原本集成了TRTC腾讯云实时音视频SDK，要是有过了解的朋友应该就知道，加入房间后，默认是采用手机的前后摄像头进行视频数据采集，并推流。如今的任务是需要将特定外接摄像头采集的视频也集成到房间中，而外接摄像头采集的是rtsp数据视频流。于是就有了今天的话题blog。

总体思路

        1.既然要在TRTC 中推自己的数据流，那么肯定要按照TRTC中的数据格式去传输视频数据。从TRTC SDK中可以查到，我们可以自定义采集视频数据。并通过sendCustomVideoData（）方法进行数据传输。具体可以去查SDK文档，写的挺详细的，这里就不赘述了.附截图。sendCustomVideoData（）中有两种数据传输方案，按需设置即可。

         2.数据格式解决了，那就需要看数据来源了。一般外接摄像头采集视频数据后都是rtsp流形式。那么关键问题就是如何获取到rtsp流数据，并转换为TRTC所需要的视频传输格式。

 正文

        既然需要获取rtsp流数据并进行转换。那么如何获取rtsp流中的原数据呢？

        小编这里提供一些可行的方法：1.FFMPEG  2.OPENCV 3.JAVACV

        以上三种方法都是可行的，小编这里使用的是JAVACV，主要是方便集成。

        1.JAVACV集成

                 1.1 build.gradle添加依赖

    //JavaCVdef javacvVersion = '1.4.2'def ffmpegVersion = '4.0.1'def opencvVersion = '3.4.2'implementation(group: 'org.bytedeco', name: 'javacv-platform', version: javacvVersion) {exclude group: 'org.bytedeco.javacpp-presets'}implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}"implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}"implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'

        2.根据根据rtsp获取帧数据

            FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(url);grabber.setOption("rtsp_transport", "tcp"); grabber.setImageWidth(hotWidth);grabber.setImageHeight(hotHeight);grabber.setPixelFormat(AV_PIX_FMT_RGBA);System.out.println("grabber start");grabber.start();AndroidFrameConverter converter = new AndroidFrameConverter();while (HotRunning) {Frame frame = grabber.grabImage();final Bitmap bmp = converter.convert(frame);}

        其中url就是rtsp地址.例如：rtsp://192.168.2.199:8554/stream1

        最后frame就是得到的帧数据,我们将其转换为bitmap,就可以直接显示出来了。

      2.数据转换

         根据TRTC SDK数据格式要求，我们需要将bitmap转换成YUV格式数据,小编这里是将bitmap转换成NV21格式的数据。

    public byte[] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {int[] argb = new int[inputWidth * inputHeight];scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);byte[] yuv = new byte[inputWidth * inputHeight * 3 / 2];encodeYUV420SP(yuv, argb, inputWidth, inputHeight);//scaled.recycle();return yuv;}public static void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {final int frameSize = width * height;int yIndex = 0;int uvIndex = frameSize;int a, R, G, B, Y, U, V;int index = 0;for (int j = 0; j < height; j++) {for (int i = 0; i < width; i++) {a = (argb[index] & 0xff000000) >> 24; // a is not used obviouslyR = (argb[index] & 0xff0000) >> 16;G = (argb[index] & 0xff00) >> 8;B = (argb[index] & 0xff) >> 0;Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));if (j % 2 == 0 && index % 2 == 0) {yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));}index ++;}}}

3.数据推流

        通过getNV21（）方法将数据转换好之后，最后再填入sendCustomVideoData（）方法中即可。

TRTCCloudDef.TRTCVideoFrame videoFrame = new TRTCCloudDef.TRTCVideoFrame();//videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_I420;videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_NV21;videoFrame.bufferType = TRTCCloudDef.TRTC_VIDEO_BUFFER_TYPE_BYTE_ARRAY;videoFrame.data = sendData;videoFrame.width = hotWidth;videoFrame.height = hotHeight;videoFrame.timestamp = 0;mTRTCCloud.sendCustomVideoData(TRTCCloudDef.TRTC_VIDEO_STREAM_TYPE_BIG,videoFrame);

其中sebdData就是getNV21（）转换之后的数据。

至此功能完成。

注意事项

        1.需要将TRTC采集模式设置为自定义采集。

        2.javacv 的 FFmpegFrameGrabber 是采集到每一帧的数据,所以需要放在循环中不断获取。

        3.由于数据量大，转换数据后要注意及时释放内存。