使用libyuv对YUV数据进行缩放，旋转，镜像，裁剪等操作

2024-05-04 04:32
文章标签 进行 镜像 数据 使用 操作 裁剪 旋转 缩放 yuv libyuv

本文主要是介绍使用libyuv对YUV数据进行缩放，旋转，镜像，裁剪等操作，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

https://www.jianshu.com/p/bd0feaf4c0f9

1.背景

  在Android做过自定义Camera的朋友应该都知道，我们可以通过public void onPreviewFrame(byte[] data, Camera camera)回调中获取摄像头采集到的每一帧的数据，但是这个byte[] data的数据格式YUV的，并不能直接给我们进行使用，那么该通过什么样的方法对这个YUV数据进行处理呢？

2.YUV数据格式介绍

  首先我们来了解什么是YUV数据，当然这方面的文章有很多，在这里我就不详细的介绍了，大家可以看下这篇文章 : 图文详解YUV420数据格式
，在这里我们主要用到的是YUV数据格式是NV21(yuv420sp)和I420(yuv420p)，它们都是 4:2:0的格式，唯一的区别就是它们的YUV数据排列不一样，NV21的排列是YYYYYYYY VUVU =>YUV420SP，而I420的排列是YYYYYYYY UU VV =>YUV420P。
  其实我们知道的NV21和I420的数据格式和数据的排列，我们就可以根据排列方式对其进行一些操作，比如在之前的文章分享几个Android摄像头采集的YUV数据旋转与镜像翻转的方法介绍的旋转镜像的操作。但是它的效率并不是很高，如果只是简单的操作单一的YUV数据，那么倒没有太大影响。但是如果要运用于直播推流的话，要保证推流视频的帧率，那么对YUV数据处理的耗时就相当的重要。

2.Libyuv库的介绍

  其实对于YUV数据的处理，Google已经开源了一个叫做libyuv的库专门用于YUV数据的处理。

2.1 什么是libyuv

  libyuv是Google开源的实现各种YUV与RGB之间相互转换、旋转、缩放的库。它是跨平台的，可在Windows、Linux、Mac、Android等操作系统，x86、x64、arm架构上进行编译运行，支持SSE、AVX、NEON等SIMD指令加速。

2.2 Android上如何使用Libyuv

  libyuv并不能直接为Android开发直接进行使用，需要对它进行编译的操作。在这里介绍的是使用Android Studio的Cmake的方式进行libyuv的编译操作，首先从官方网站Libyuv上下载libyuv库，下载的目录结构如下

libyuv.png


  如果无法下载的话，也可以从我文章最后的demo中去进行拷贝。新键Android项目，并且创建的时候勾选项include C++ Support，也就是改android项目支持C,C++的编译，如果对于Android Stuido如何支持C,C++编译不清楚的，请自行百度谷歌，这里就不多细说。项目创建之后将下载的libyuv库直接拷贝到src/main/cpp目录下

libyuv.png


  修改CMakeLists.txt文件，并在src/main/cpp下创建YuvJni.cpp文件，CMakeLists.txt修改如下

 

cmake_minimum_required(VERSION 3.4.1)
include_directories(src/main/cpp/libyuv/include)
add_subdirectory(src/main/cpp/libyuv ./build)
aux_source_directory(src/main/cpp SRC_FILE)
add_library(yuvutil SHARED ${SRC_FILE})
find_library(log-lib log)
target_link_libraries(yuvutil ${log-lib} yuv)

  创建文件YuvUtil.java，在这里我添加了三个方法进行yuv数据的操作

public class YuvUtil {static {System.loadLibrary("yuvutil");}/*** YUV数据的基本的处理** @param src        原始数据* @param width      原始的宽* @param height     原始的高* @param dst        输出数据* @param dst_width  输出的宽* @param dst_height 输出的高* @param mode       压缩模式。这里为0，1，2，3 速度由快到慢，质量由低到高，一般用0就好了，因为0的速度最快* @param degree     旋转的角度，90，180和270三种* @param isMirror   是否镜像，一般只有270的时候才需要镜像**/public static native void compressYUV(byte[] src, int width, int height, byte[] dst, int dst_width, int dst_height, int mode, int degree, boolean isMirror);/*** yuv数据的裁剪操作** @param src        原始数据* @param width      原始的宽* @param height     原始的高* @param dst        输出数据* @param dst_width  输出的宽* @param dst_height 输出的高* @param left       裁剪的x的开始位置，必须为偶数，否则显示会有问题* @param top        裁剪的y的开始位置，必须为偶数，否则显示会有问题**/public static native void cropYUV(byte[] src, int width, int height, byte[] dst, int dst_width, int dst_height, int left, int top);/*** 将I420转化为NV21** @param i420Src 原始I420数据* @param nv21Src 转化后的NV21数据* @param width   输出的宽* @param width   输出的高**/public static native void yuvI420ToNV21(byte[] i420Src, byte[] nv21Src, int width, int height);
}

  同时在前面创建的YuvJni.cpp文件中添加对应的方法

extern "C"
JNIEXPORT void JNICALL
Java_com_libyuv_util_YuvUtil_compressYUV(JNIEnv *env, jclass type,jbyteArray src_, jint width,jint height, jbyteArray dst_,jint dst_width, jint dst_height,jint mode, jint degree,jboolean isMirror) {
}extern "C"
JNIEXPORT void JNICALL
Java_com_libyuv_util_YuvUtil_cropYUV(JNIEnv *env, jclass type, jbyteArray src_, jint width,jint height, jbyteArray dst_, jint dst_width, jint dst_height,jint left, jint top) {
}extern "C"
JNIEXPORT void JNICALL
Java_com_libyuv_util_YuvUtil_yuvI420ToNV21(JNIEnv *env, jclass type, jbyteArray i420Src,jbyteArray nv21Src,jint width, jint height) {}

3.使用Libyuv库进行YUV数据的操作

  接下来就是要libyuv对yuv数据进行缩放，旋转，镜像，裁剪等操作。在libyuv的实际使用过程中，更多的是用于直播推流前对Camera采集到的YUV数据进行处理的操作。对如今，Camera的预览一般采用的是1080p，并且摄像头采集到的数据是旋转之后的，一般来说后置摄像头旋转了90度，前置摄像头旋转了270度并且水平镜像。在下面的例子中，就对Camera返回的yuv数据进行相关的处理操作。

3.1 NV21转化为I420

  对于如何获取Camera返回的YUV数据，不是本篇文章的重点，不了解的请自行百度谷歌。因为Camera返回的YUV数据只能是NV21和YV12两种，而libyuv的缩放旋转镜像的操作需要的是I420的数据格式，那么第一步就是将NV21(例子中Camera返回数据格式设置的是NV21)转化为I420了。方法如下：

#include "libyuv.h"
void nv21ToI420(jbyte *src_nv21_data, jint width, jint height, jbyte *src_i420_data) {jint src_y_size = width * height;jint src_u_size = (width >> 1) * (height >> 1);jbyte *src_nv21_y_data = src_nv21_data;jbyte *src_nv21_vu_data = src_nv21_data + src_y_size;jbyte *src_i420_y_data = src_i420_data;jbyte *src_i420_u_data = src_i420_data + src_y_size;jbyte *src_i420_v_data = src_i420_data + src_y_size + src_u_size;libyuv::NV21ToI420((const uint8 *) src_nv21_y_data, width,(const uint8 *) src_nv21_vu_data, width,(uint8 *) src_i420_y_data, width,(uint8 *) src_i420_u_data, width >> 1,(uint8 *) src_i420_v_data, width >> 1,width, height);
}

  首先我们必须得先导入libyuv(#include "libyuv.h")，在这里我们用到的是libyuv::NV21ToI420方法，我们来看下它传参

// Convert NV21 to I420.  Same as NV12 but u and v pointers swapped.
LIBYUV_API
int NV21ToI420(const uint8* src_y,int src_stride_y,const uint8* src_vu,int src_stride_vu,uint8* dst_y,int dst_stride_y,uint8* dst_u,int dst_stride_u,uint8* dst_v,int dst_stride_v,int width,int height) {return X420ToI420(src_y, src_stride_y, src_stride_y, src_vu, src_stride_vu,dst_y, dst_stride_y, dst_v, dst_stride_v, dst_u,dst_stride_u, width, height);
}

  首先第一个参数src_y指的是NV21数据中的Y的数据，我们知道NV21的数据格式是YYYYYYYY VUVU，同时NV21的数据大小是widthheight3/2，可以知道Y的数据大小是widthheight，而V和U均为widthheight/4。第二个参数src_stride_y表示的是Y的数组行间距，在这里很容易知道是width。以此类推src_vu和src_stride_vu也可以相对应的知道了。对于后面的参数dst_y，dst_stride_y，dst_u，dst_stride_u，dst_v ，dst_stride_v表示分别表示的是输出的I420数据的YUV三个分量的数据，最后的width和height也就是我们设置的Camera的预览的width和height了。

3.2 I420数据的缩放和旋转

  经过上面的NV21转化为I420操作之后，我们就可以对I420数据进行后续的缩放和旋转的操作，它们的传参跟上面的NV21ToI420是类似的，这里就不具体的介绍了。缩放的方法

void scaleI420(jbyte *src_i420_data, jint width, jint height, jbyte *dst_i420_data, jint dst_width,jint dst_height, jint mode) {jint src_i420_y_size = width * height;jint src_i420_u_size = (width >> 1) * (height >> 1);jbyte *src_i420_y_data = src_i420_data;jbyte *src_i420_u_data = src_i420_data + src_i420_y_size;jbyte *src_i420_v_data = src_i420_data + src_i420_y_size + src_i420_u_size;jint dst_i420_y_size = dst_width * dst_height;jint dst_i420_u_size = (dst_width >> 1) * (dst_height >> 1);jbyte *dst_i420_y_data = dst_i420_data;jbyte *dst_i420_u_data = dst_i420_data + dst_i420_y_size;jbyte *dst_i420_v_data = dst_i420_data + dst_i420_y_size + dst_i420_u_size;libyuv::I420Scale((const uint8 *) src_i420_y_data, width,(const uint8 *) src_i420_u_data, width >> 1,(const uint8 *) src_i420_v_data, width >> 1,width, height,(uint8 *) dst_i420_y_data, dst_width,(uint8 *) dst_i420_u_data, dst_width >> 1,(uint8 *) dst_i420_v_data, dst_width >> 1,dst_width, dst_height,(libyuv::FilterMode) mode);
}

  值得注意的是，这边有一个缩放的模式选择 (libyuv::FilterMode)，它的值分别有0，1，2，3四种，代表不同的缩放模式，在我实际的使用过程中，0的缩放速度是最快的，且远远快与其他的3种，并且就缩放的效果来看，以我的肉眼观察，看不出有什么区别，这里为了保证速度，一般用FilterMode.kFilterNone就好了

typedef enum FilterMode {kFilterNone = 0,      // Point sample; Fastest.kFilterLinear = 1,    // Filter horizontally only.kFilterBilinear = 2,  // Faster than box, but lower quality scaling down.kFilterBox = 3        // Highest quality.
} FilterModeEnum;

  旋转的方法如下，不过在这里要注意的是，因为Camera输出的数据是需要进行90度或者是270的旋转，那么要注意的就是旋转之后width和height也就相反了

void rotateI420(jbyte *src_i420_data, jint width, jint height, jbyte *dst_i420_data, jint degree) {jint src_i420_y_size = width * height;jint src_i420_u_size = (width >> 1) * (height >> 1);jbyte *src_i420_y_data = src_i420_data;jbyte *src_i420_u_data = src_i420_data + src_i420_y_size;jbyte *src_i420_v_data = src_i420_data + src_i420_y_size + src_i420_u_size;jbyte *dst_i420_y_data = dst_i420_data;jbyte *dst_i420_u_data = dst_i420_data + src_i420_y_size;jbyte *dst_i420_v_data = dst_i420_data + src_i420_y_size + src_i420_u_size;if (degree == libyuv::kRotate90 || degree == libyuv::kRotate270) {libyuv::I420Rotate((const uint8 *) src_i420_y_data, width,(const uint8 *) src_i420_u_data, width >> 1,(const uint8 *) src_i420_v_data, width >> 1,(uint8 *) dst_i420_y_data, height,(uint8 *) dst_i420_u_data, height >> 1,(uint8 *) dst_i420_v_data, height >> 1,width, height,(libyuv::RotationMode) degree);}
}

3.3 libyuv其他的一些操作

  libyuv的操作不仅仅是上面的这些，它还有镜像，裁剪的一些操作，同时还有一些其他数据格式的转化和对于的操作。包括rgba与yuv数据的转化等。在文章中，镜像和裁剪的操作就不加以叙述了，在demo之中我已经加入了进去了。

4.最后

  最近做直播推流，小视频的录制中才接触到的libyuv库的使用，网上也有一些相关的文章。但是大多不是很详细，要么文章中的方法使用过程中有各种各样的问题，要么就是方法不够全面和具体。这篇文章也主要是做了一些总结。最后贴上demo的Github地址：https://github.com/hzl123456/LibyuvDemo



作者：林志河
链接：https://www.jianshu.com/p/bd0feaf4c0f9
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

这篇关于使用libyuv对YUV数据进行缩放，旋转，镜像，裁剪等操作的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/958343。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2