鸿蒙（API 12 Beta3版）【使用AVScreenCapture录屏取原始码流(C/C++)】视频播放与录制

2024-08-27 14:52
文章标签 c++ 视频 使用 api 播放 原始 录制 鸿蒙 码流 beta3 avscreencapture 录屏取

本文主要是介绍鸿蒙（API 12 Beta3版）【使用AVScreenCapture录屏取原始码流(C/C++)】视频播放与录制，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

屏幕录制主要为主屏幕录屏功能。

开发者可以调用录屏（AVScreenCapture）模块的C API接口，完成屏幕录制，采集设备内、麦克风等的音视频源数据。当开发直播、办公等应用时，可以调用录屏模块获取音视频原始码流，然后通过流的方式流转到其他模块处理，达成直播时共享桌面的场景。

录屏模块和窗口（Window）、图形（Graphic）等模块协同完成整个视频采集的流程。

当前在进行屏幕录制时默认使用主屏，图形默认根据主屏生产录屏帧数据到显示数据缓冲队列，录屏框架从显示数据缓冲队列获取数据进行相应处理。

使用AVScreenCapture录制屏幕涉及到AVScreenCapture实例的创建、音视频采集参数的配置、采集的开始与停止、资源的释放等。

开始屏幕录制时正在通话中或者屏幕录制过程中来电，录屏将自动停止。因通话中断的录屏会上报OH_SCREEN_CAPTURE_STATE_STOPPED_BY_CALL状态。

本开发指导将以完成一次屏幕数据录制的过程为例，向开发者讲解如何使用AVScreenCapture进行屏幕录制。

如果配置了采集麦克风音频数据，需对应配置麦克风权限ohos.permission.MICROPHONE和申请长时任务，配置方式请参见[向用户申请权限]、[申请长时任务]。

开发步骤及注意事项

使用AVScreenCapture时要明确其状态的变化，在创建实例后，调用对应的方法可以进入指定的状态实现对应的行为。

在确定的状态下执行不合适的方法会导致AVScreenCapture发生错误，开发者需要在调用状态转换的方法前进行状态检查，避免程序运行异常。

在 CMake 脚本中链接动态库

target_link_libraries(entry PUBLIC libnative_avscreen_capture.so libnative_buffer.so libnative_media_core.so)
  1. 添加头文件。
#include "napi/native_api.h"
#include <multimedia/player_framework/native_avscreen_capture.h>
#include <multimedia/player_framework/native_avscreen_capture_base.h>
#include <multimedia/player_framework/native_avscreen_capture_errors.h>
#include <native_buffer/native_buffer.h>
#include <fcntl.h>
#include "string"
#include "unistd.h"

  1. 创建AVScreenCapture实例capture。

    OH_AVScreenCapture* capture = OH_AVScreenCapture_Create();

  2. 配置屏幕录制参数。

    创建AVScreenCapture实例capture后，可以设置屏幕录制所需要的参数。

OH_AudioCaptureInfo miccapinfo = {.audioSampleRate = 16000,.audioChannels = 2,.audioSource = OH_MIC
};OH_VideoCaptureInfo videocapinfo = {.videoFrameWidth = 720,.videoFrameHeight = 1080,.videoSource = OH_VIDEO_SOURCE_SURFACE_RGBA
};OH_AudioInfo audioinfo = {.micCapInfo = miccapinfo,
};OH_VideoInfo videoinfo = {.videoCapInfo = videocapinfo
};OH_AVScreenCaptureConfig config = {.captureMode = OH_CAPTURE_HOME_SCREEN,.dataType = OH_ORIGINAL_STREAM,.audioInfo = audioinfo,.videoInfo = videoinfo
};OH_AVScreenCapture_Init(capture, config);
  1. 设置麦克风开关。
bool isMic = true;
OH_AVScreenCapture_SetMicrophoneEnabled(capture, isMic);
  1. 回调函数的设置，主要监听录屏过程中的错误事件的发生,音频流和视频流数据的产生事件。
OH_AVScreenCapture_SetErrorCallback(capture, OnError, userData);
OH_AVScreenCapture_SetStateCallback(capture, OnStateChange, userData);
OH_AVScreenCapture_SetDataCallback(capture, OnBufferAvailable, userData);

  1. 调用StartScreenCapture()方法开始进行屏幕录制。

    OH_AVScreenCapture_StartScreenCapture(capture);

    或调用StartScreenCaptureWithSurface方法以Surface模式进行屏幕录制。

    OH_AVScreenCapture_StartScreenCaptureWithSurface(capture, window);

  2. 调用StopScreenCapture()方法停止录制。

    OH_AVScreenCapture_StopScreenCapture(capture);

  3. 在回调OnBufferAvailable()中获取并处理音频视频原始码流数据.

OnBufferAvailable(OH_AVScreenCapture *capture, OH_AVBuffer *buffer,OH_AVScreenCaptureBufferType bufferType, int64_t timestamp, void *userData)

  1. 调用Release()方法销毁实例，释放资源。

    OH_AVScreenCapture_Release(capture);

完整示例

下面展示了使用AVScreenCapture屏幕录制的完整示例代码。

目前阶段流程结束后返回的buffer为原始码流，针对原始码流可以进行编码并以mp4等文件格式保存以供播放。

说明

编码格式当前阶段仅作预留，待后续版本实现。

#include "napi/native_api.h"
#include <multimedia/player_framework/native_avscreen_capture.h>
#include <multimedia/player_framework/native_avscreen_capture_base.h>
#include <multimedia/player_framework/native_avscreen_capture_errors.h>
#include <multimedia/player_framework/native_avbuffer.h>
#include <native_buffer/native_buffer.h>
#include <fcntl.h>
#include "string"
#include "unistd.h"void OnError(OH_AVScreenCapture *capture, int32_t errorCode, void *userData) {(void)capture;(void)errorCode;(void)userData;
}void OnStateChange(struct OH_AVScreenCapture *capture, OH_AVScreenCaptureStateCode stateCode, void *userData) {(void)capture;if (stateCode == OH_SCREEN_CAPTURE_STATE_STARTED) {// 处理状态变更}if (stateCode == OH_SCREEN_CAPTURE_STATE_STOPPED_BY_CALL) {// 通话中断状态处理}if (stateCode == OH_SCREEN_CAPTURE_STATE_INTERRUPTED_BY_OTHER) {// 处理状态变更}(void)userData;
}void OnBufferAvailable(OH_AVScreenCapture *capture, OH_AVBuffer *buffer,OH_AVScreenCaptureBufferType bufferType, int64_t timestamp, void *userData) {// 获取解码后信息 可以参考编解码接口int bufferLen = OH_AVBuffer_GetCapacity(buffer);OH_NativeBuffer *nativeBuffer = OH_AVBuffer_GetNativeBuffer(buffer);OH_NativeBuffer_Config config;OH_NativeBuffer_GetConfig(nativeBuffer, &config);int32_t videoSize= config.height * config.width * 4;uint8_t *buf = OH_AVBuffer_GetAddr(buffer);if (bufferType == OH_SCREEN_CAPTURE_BUFFERTYPE_VIDEO) {// 处理视频buffer} else if (bufferType == OH_SCREEN_CAPTURE_BUFFERTYPE_AUDIO_INNER) {// 处理内录buffer} else if (bufferType == OH_SCREEN_CAPTURE_BUFFERTYPE_AUDIO_MIC) {// 处理麦克风buffer}
}struct OH_AVScreenCapture *capture;
static napi_value Screencapture(napi_env env, napi_callback_info info) {// 从js端获取窗口id number[]std::vector<int> windowIdsExclude = {};size_t argc = 1;napi_value args[1] = {nullptr};// 获取参数napi_get_cb_info(env, info, &argc, args, nullptr, nullptr);// 获取数组长度uint32_t array_length;napi_get_array_length(env, args[0], &array_length);// 读初窗口idfor (int32_t i = 0; i < array_length; i++) {napi_value temp;napi_get_element(env, args[0], i, &temp);uint32_t tempValue;napi_get_value_uint32(env, temp, &tempValue);windowIdsExclude.push_back(tempValue);}// 实例化ScreenCapturecapture = OH_AVScreenCapture_Create();// 设置回调 OH_AVScreenCapture_SetErrorCallback(capture, OnError, nullptr);OH_AVScreenCapture_SetStateCallback(capture, OnStateChange, nullptr);OH_AVScreenCapture_SetDataCallback(capture, OnBufferAvailable, nullptr);// 可选 配置录屏旋转，此接口在感知到手机屏幕旋转时调用，如果手机的屏幕实际上没有发生旋转，调用接口是无效的。OH_AVScreenCapture_SetCanvasRotation(capture, true);// 可选 [过滤音频]OH_AVScreenCapture_ContentFilter *contentFilter= OH_AVScreenCapture_CreateContentFilter();// 添加过滤通知音OH_AVScreenCapture_ContentFilter_AddAudioContent(contentFilter, OH_SCREEN_CAPTURE_NOTIFICATION_AUDIO);// 排除指定窗口idOH_AVScreenCapture_ContentFilter_AddWindowContent(contentFilter, &windowIdsExclude[0],static_cast<int32_t>(windowIdsExclude.size()));OH_AVScreenCapture_ExcludeContent(capture, contentFilter);// 初始化录屏，传入配置信息OH_AVScreenRecorderConfigOH_AudioCaptureInfo miccapinfo = {.audioSampleRate = 16000, .audioChannels = 2, .audioSource = OH_MIC};OH_VideoCaptureInfo videocapinfo = {.videoFrameWidth = 720, .videoFrameHeight = 1080, .videoSource = OH_VIDEO_SOURCE_SURFACE_RGBA};OH_AudioInfo audioinfo = {.micCapInfo = miccapinfo,};OH_VideoInfo videoinfo = {.videoCapInfo = videocapinfo};OH_AVScreenCaptureConfig config = {.captureMode = OH_CAPTURE_HOME_SCREEN,.dataType = OH_ORIGINAL_STREAM,.audioInfo = audioinfo,.videoInfo = videoinfo};OH_AVScreenCapture_Init(capture, config);// 可选 [Surface模式]// 通过 MIME TYPE 创建编码器，系统会根据MIME创建最合适的编码器。// OH_AVCodec *codec = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);    // 从视频编码器获取输入Surface// OH_AVErrCode OH_VideoEncoder_GetSurface(codec, window);// 启动编码器// int32_t retEnc = OH_VideoEncoder_Start(codec);// 指定surface开始录屏// int32_t retStart = OH_AVScreenCapture_StartScreenCaptureWithSurface(capture, window); // 开始录屏OH_AVScreenCapture_StartScreenCapture(capture);// mic开关设置OH_AVScreenCapture_SetMicrophoneEnabled(capture, true);sleep(10); // 录制10s// 结束录屏OH_AVScreenCapture_StopScreenCapture(capture);// 释放ScreenCaptureOH_AVScreenCapture_Release(capture);// 返回调用结果，示例仅返回随意值napi_value sum;napi_create_double(env, 5, &sum);return sum;
}

最后呢

很多开发朋友不知道需要学习那些鸿蒙技术？鸿蒙开发岗位需要掌握那些核心技术点？为此鸿蒙的开发学习必须要系统性的进行。

而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走很多弯路，节省没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技术知识点

如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习路线图。

在这里插入图片描述

针对鸿蒙成长路线打造的鸿蒙学习文档。话不多说，我们直接看详细鸿蒙（OpenHarmony ）手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门视频，帮助大家在技术的道路上更进一步。

  • 《鸿蒙 (OpenHarmony)开发学习视频》
  • 《鸿蒙生态应用开发V2.0白皮书》
  • 《鸿蒙 (OpenHarmony)开发基础到实战手册》
  • OpenHarmony北向、南向开发环境搭建
  • 《鸿蒙开发基础》
  • 《鸿蒙开发进阶》
  • 《鸿蒙开发实战》

在这里插入图片描述

总结

鸿蒙—作为国家主力推送的国产操作系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。

并且鸿蒙是完全具备无与伦比的机遇和潜力的；预计到年底将有 5,000 款的应用完成原生鸿蒙开发，未来将会支持 50 万款的应用。那么这么多的应用需要开发，也就意味着需要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来爆发式的增长，学习鸿蒙势在必行！ 自↓↓↓拿
1

这篇关于鸿蒙（API 12 Beta3版）【使用AVScreenCapture录屏取原始码流(C/C++)】视频播放与录制的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1111985。

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台，是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力，在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术，能够处理多种视频流格式，并以多种格式（RTMP、RTSP、HTTP-FLV、WebS
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
【C++ Primer Plus习题】13.4

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
C++包装器

C++包装器

包装器 在 C++ 中，“包装器”通常指的是一种设计模式或编程技巧，用于封装其他代码或对象，使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍，可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型： 1. 函数包装器 函数包装器用于封装一个或多个函数，使其接口更统一或更便于调用。例如，std::function 是一个通用的函数包装器，它可以存储任意可调用对象（函数、函数
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

OpenHarmony鸿蒙开发（ Beta5.0）无感配网详解

1、简介 无感配网是指在设备联网过程中无需输入热点相关账号信息，即可快速实现设备配网，是一种兼顾高效性、可靠性和安全性的配网方式。 2、配网原理 2.1 通信原理 手机和智能设备之间的信息传递，利用特有的NAN协议实现。利用手机和智能设备之间的WiFi 感知订阅、发布能力，实现了数字管家应用和设备之间的发现。在完成设备间的认证和响应后，即可发送相关配网数据。同时还支持与常规Sof
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2