【海思】利用opencv给海思抓拍图像加OSD

本文主要是介绍【海思】利用opencv给海思抓拍图像加OSD，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

上一篇博文【海思图像视频OSD准备——移植freetype、SDL、SDL_ttf到开发板】已能利用freetype+SDL+SDL_ttf的方式生成字串位图了。现在以抓拍为例，介绍一种OSD的方法。可以明确的是：我们可以通过海思的region区域管理来实现OSD的叠加，也可以通过opencv的方式实现OSD的叠加。由于海思已有现成的sample_region来实现OSD了，那我就通过另一种方式——opencv叠加OSD。

1、图像叠加

摄像头拍照后，将编码数据赋值给opencv的Mat图像处理类，然后读入生成的字符串BMP位图。先利用Rect函数指定需要叠加的区域，再利用copyTo函数实现叠加。简略代码如下。

int api_putText(char *picsrc,int picsize,char *path,char *timestr,char *chnstr)
{Mat image;Mat OSD_region;Mat OSD_time;_InputArray picarray(picsrc,picsize);           //将图片数据赋值到输入数组image = imdecode(picarray,CV_LOAD_IMAGE_COLOR); //将图片数据赋值到Mat类string_to_bmp(timestr,TIME_BMP_PATH);           //调用字符串转位图函数，第一个参数为时间字符串，第二个参数为时间BMP位图的存储路径OSD_time = imread(TIME_BMP_PATH);               //读出上一步保存的位图OSD_region = image(Rect(20,20,OSD_time.cols,OSD_time.rows));    //设置叠加区域OSD_time.copyTo(OSD_region);                    //将位图叠加到叠加区域中imwrite(path,image);                            //保存打上OSD的图像.........
}

查看保存的图片如下
在这里插入图片描述
可以看到，时间虽然打上了，但是背景色不是透明的，多多少少有点丑啊。这是因为我们调用SDL生成字符串位图时，调用的是TTF_RenderUTF8_Solid函数，我们看其函数说明

/* Create an 8-bit palettized surface and render the given text atfast quality with the given font and color.  The 0 pixel is thecolorkey, giving a transparent background, and the 1 pixel is setto the text color.This function returns the new surface, or NULL if there was an error.
*/
extern DECLSPEC SDL_Surface * SDLCALL TTF_RenderText_Solid(TTF_Font *font,const char *text, SDL_Color fg);
extern DECLSPEC SDL_Surface * SDLCALL TTF_RenderUTF8_Solid(TTF_Font *font,const char *text, SDL_Color fg);
extern DECLSPEC SDL_Surface * SDLCALL TTF_RenderUNICODE_Solid(TTF_Font *font,const Uint16 *text, SDL_Color fg);

可以看出，默认的背景色是透明的。之所以叠加上是黑色，是因为以BMP位图保存图像时无法保存透明色，常接触PS的朋友应该也知道这一点。还好opencv另有方法来解决这个问题。

2、让黑色背景透明

在上一步我们使用了Mat::copyTo这个方法，这是个重载函数，上边的OSD_time.copyTo(OSD_region);其实还可以添加第二个参数——蒙版。
当我们将这句话改为OSD_time.copyTo(OSD_region，OSD_time)之后，意味着OSD_time以自己为蒙版，自己作为自己的蒙版，那么必定处处重叠。那么这时重叠、且像素为0(即为黑色)的部分将会被置为透明色，其余部分不变。
通过修改后，添加了“地点”位图，并设置背景透明。最终得到下图，以纪念一下神作马里奥·奥德赛。
在这里插入图片描述
到现在为止，仍然不够完美，因为OSD字体是白色的，当下方区域颜色相近时，将会很难辨认。这可以考虑通过对每个字符下的区域进行平均灰度值分析，然后将字的颜色设为反色来解决。