OpenCV（3）ML库-Expectation - Maximization 算法

2024-02-15 00:08
文章标签 算法 opencv ml maximization expectation

本文主要是介绍OpenCV（3）ML库-Expectation - Maximization 算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

        最大期望算法（Expectation-maximization algorithm，又译期望最大化算法）在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。

在统计计算中，最大期望（EM）算法是在概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。
最大期望算法经过两个步骤交替进行计算：
第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；
第二步是最大化（M），最大化在 E 步上求得的最大似然值来计算参数的值。
M 步上找到的参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。
总体来说，EM的算法流程如下：
1.初始化分布参数
2.重复直到收敛：
E步骤：估计未知参数的期望值，给出当前的参数估计。
M步骤：重新估计分布 参数，以使得数据的似然性最大，给出未知变量的期望估计。 

/****************************************************************************************\
*                              Expectation - Maximization                                *
\****************************************************************************************/struct CV_EXPORTS CvEMParams   //参数设定 EM算法估计混合高斯模型所需要的参数
{CvEMParams() : nclusters(10), cov_mat_type(1/*CvEM::COV_MAT_DIAGONAL*/),start_step(0/*CvEM::START_AUTO_STEP*/), probs(0), weights(0), means(0), covs(0){term_crit=cvTermCriteria( CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 100, FLT_EPSILON );}CvEMParams( int _nclusters, int _cov_mat_type=1/*CvEM::COV_MAT_DIAGONAL*/,int _start_step=0/*CvEM::START_AUTO_STEP*/,CvTermCriteria _term_crit=cvTermCriteria(CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 100, FLT_EPSILON),const CvMat* _probs=0, const CvMat* _weights=0, const CvMat* _means=0, const CvMat** _covs=0 ) :nclusters(_nclusters), cov_mat_type(_cov_mat_type), start_step(_start_step),probs(_probs), weights(_weights), means(_means), covs(_covs), term_crit(_term_crit){}int nclusters;int cov_mat_type;int start_step;  const CvMat* probs; //初始的后验概率 const CvMat* weights; //初始的各个成分的概率const CvMat* means;   //初始的均值const CvMat** covs;  //初始的协方差矩阵CvTermCriteria term_crit; //E步和M步 迭代停止的准则。 EM算法会在一定的迭代次数之后（term_crit.num_iter)，或者当模型参数在两次迭代之间的变化小于预定值（term_crit.epsilon）时停止
};class CV_EXPORTS CvEM : public CvStatModel //模型设置
{
public:// Type of covariation matricesenum { COV_MAT_SPHERICAL=0, COV_MAT_DIAGONAL=1, COV_MAT_GENERIC=2 };   //// The initial stepenum { START_E_STEP=1, START_M_STEP=2, START_AUTO_STEP=0 };CvEM();CvEM( const CvMat* samples, const CvMat* sample_idx=0,CvEMParams params=CvEMParams(), CvMat* labels=0 );//CvEM (CvEMParams params, CvMat * means, CvMat ** covs, CvMat * weights, CvMat * probs, CvMat * log_weight_div_det, CvMat * inv_eigen_values, CvMat** cov_rotate_mats);virtual ~CvEM();virtual bool train( const CvMat* samples, const CvMat* sample_idx=0,CvEMParams params=CvEMParams(), CvMat* labels=0 );virtual float predict( const CvMat* sample, CvMat* probs ) const;#ifndef SWIGCvEM( const cv::Mat& samples, const cv::Mat& sample_idx=cv::Mat(),CvEMParams params=CvEMParams(), cv::Mat* labels=0 );virtual bool train( const cv::Mat& samples, const cv::Mat& sample_idx=cv::Mat(),CvEMParams params=CvEMParams(), cv::Mat* labels=0 );virtual float predict( const cv::Mat& sample, cv::Mat* probs ) const;
#endifvirtual void clear();int           get_nclusters() const;const CvMat*  get_means()     const;const CvMat** get_covs()      const;const CvMat*  get_weights()   const;const CvMat*  get_probs()     const;inline double         get_log_likelihood     () const { return log_likelihood;     };//    inline const CvMat *  get_log_weight_div_det () const { return log_weight_div_det; };
//    inline const CvMat *  get_inv_eigen_values   () const { return inv_eigen_values;   };
//    inline const CvMat ** get_cov_rotate_mats    () const { return cov_rotate_mats;    };protected:virtual void set_params( const CvEMParams& params,const CvVectors& train_data );virtual void init_em( const CvVectors& train_data );virtual double run_em( const CvVectors& train_data );virtual void init_auto( const CvVectors& samples );virtual void kmeans( const CvVectors& train_data, int nclusters,CvMat* labels, CvTermCriteria criteria,const CvMat* means );CvEMParams params;double log_likelihood;CvMat* means;CvMat** covs;CvMat* weights;CvMat* probs;CvMat* log_weight_div_det;CvMat* inv_eigen_values;CvMat** cov_rotate_mats;
};


循环重复直到收敛 {

      （E步）对于每一个i，计算

                  clip_image074

      （M步）计算

                  clip_image075

#include "stdafx.h"
#include <ml.h>   
#include <iostream>
#include <highgui.h>
#include <cv.h>
#include <cxcore.h> 
using namespace cv; 
using namespace std;int main( int argc, char** argv )
{const int N = 4;const int N1 = (int)sqrt((double)N);const CvScalar colors[] = {{{0,0,255}},{{0,255,0}},{{0,255,255}},{{255,255,0}}};int i, j;int nsamples = 100;CvRNG rng_state = cvRNG(-1);CvMat* samples = cvCreateMat( nsamples, 2, CV_32FC1 );CvMat* labels = cvCreateMat( nsamples, 1, CV_32SC1 );IplImage* img = cvCreateImage( cvSize( 500, 500 ), 8, 3 );float _sample[2];CvMat sample = cvMat( 1, 2, CV_32FC1, _sample );//EM算法初始化CvEM em_model;CvEMParams params;CvMat samples_part;cvReshape( samples, samples, 2, 0 );for( i = 0; i < N; i++ ){CvScalar mean, sigma;// form the training samplescvGetRows( samples, &samples_part, i*nsamples/N, (i+1)*nsamples/N );mean = cvScalar(((i%N1)+1.)*img->width/(N1+1), ((i/N1)+1.)*img->height/(N1+1));sigma = cvScalar(30,30);cvRandArr( &rng_state, &samples_part, CV_RAND_NORMAL, mean, sigma );}cvReshape( samples, samples, 1, 0 );// initialize model's parametersparams.covs      = NULL;params.means     = NULL;params.weights   = NULL;params.probs     = NULL;params.nclusters = N;params.cov_mat_type       = CvEM::COV_MAT_SPHERICAL;params.start_step         = CvEM::START_AUTO_STEP;params.term_crit.max_iter = 10;params.term_crit.epsilon  = 0.1;params.term_crit.type     = CV_TERMCRIT_ITER|CV_TERMCRIT_EPS;// cluster the dataem_model.train( samples, 0, params, labels );#if 0// the piece of code shows how to repeatedly optimize the model// with less-constrained parameters (COV_MAT_DIAGONAL instead of COV_MAT_SPHERICAL)// when the output of the first stage is used as input for the second.CvEM em_model2;params.cov_mat_type = CvEM::COV_MAT_DIAGONAL;params.start_step = CvEM::START_E_STEP;params.means = em_model.get_means();params.covs = (const CvMat**)em_model.get_covs();params.weights = em_model.get_weights();em_model2.train( samples, 0, params, labels );// to use em_model2, replace em_model.predict() with em_model2.predict() below
#endif// classify every image pixelcvZero( img );for( i = 0; i < img->height; i++ ){for( j = 0; j < img->width; j++ ){CvPoint pt = cvPoint(j, i);sample.data.fl[0] = (float)j;sample.data.fl[1] = (float)i;int response = cvRound(em_model.predict( &sample, NULL ));CvScalar c = colors[response];cvCircle( img, pt, 1, cvScalar(c.val[0]*0.75,c.val[1]*0.75,c.val[2]*0.75), CV_FILLED );}}//draw the clustered samplesfor( i = 0; i < nsamples; i++ ){CvPoint pt;pt.x = cvRound(samples->data.fl[i*2]);pt.y = cvRound(samples->data.fl[i*2+1]);cvCircle( img, pt, 1, colors[labels->data.i[i]], CV_FILLED );}cvNamedWindow( "EM-clustering result", 1 );cvShowImage( "EM-clustering result", img );cvWaitKey(0);cvReleaseMat( &samples );cvReleaseMat( &labels );return 0;
}



参考：http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html


    http://zhidao.baidu.com/link?url=12xrCFpWm1U-bYb4V8uxf3uu2ZDTFlwpDzbWe7HjOrNWXdsCQTlA466N78ZUDWP-jFAcVsTQo9JyKW28o86ng_

    http://www.360doc.com/content/13/0624/13/10942270_295158557.shtml

     http://fuliang.iteye.com/blog/1621633

  http://wiki.opencv.org.cn/index.php/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E4%B8%AD%E6%96%87%E5%8F%82%E8%80%83%E6%89%8B%E5%86%8C#CvEMParams

     http://www.seas.upenn.edu/~bensapp/opencvdocs/ref/opencvref_ml.htm#ch_em

     http://hi.baidu.com/darkhorse/item/cc58043eb19800159dc65e70

这篇关于OpenCV（3）ML库-Expectation - Maximization 算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/709958。

相关文章

opencv实现像素统计的示例代码

opencv实现像素统计的示例代码

《opencv实现像素统计的示例代码》本文介绍了OpenCV中统计图像像素信息的常用方法和函数,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 统计像素值的基本信息2. 统计像素值的直方图3. 统计像素值的总和4. 统计非零像素的数量
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
康拓展开（hash算法中会用到）

康拓展开（hash算法中会用到）

康拓展开是一个全排列到一个自然数的双射（也就是某个全排列与某个自然数一一对应） 公式： X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。（a[i]在不同应用中的含义不同）； 典型应用： 计算当前排列在所有由小到大全排列中的顺序，也就是说求当前排列是第
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

前言：快速排序的实现最重要的是找基准值，下面让我们来了解如何实现找基准值 基准值的注释：在快排的过程中，每一次我们要取一个元素作为枢纽值，以这个数字来将序列划分为两部分。 在此我们采用三数取中法，也就是取左端、中间、右端三个数，然后进行排序，将中间数作为枢纽值。 快速排序实现主框架： //快速排序 void QuickSort(int* arr, int left, int rig
阅读更多...
poj 3974 and hdu 3068 最长回文串的O（n）解法(Manacher算法)

poj 3974 and hdu 3068 最长回文串的O（n）解法(Manacher算法)

求一段字符串中的最长回文串。 因为数据量比较大，用原来的O（n^2）会爆。 小白上的O(n^2)解法代码：TLE啦~ #include<stdio.h>#include<string.h>const int Maxn = 1000000;char s[Maxn];int main(){char e[] = {"END"};while(scanf("%s", s) != EO
阅读更多...
秋招最新大模型算法面试，熬夜都要肝完它

秋招最新大模型算法面试，熬夜都要肝完它

💥大家在面试大模型LLM这个板块的时候，不知道面试完会不会复盘、总结，做笔记的习惯，这份大模型算法岗面试八股笔记也帮助不少人拿到过offer ✨对于面试大模型算法工程师会有一定的帮助，都附有完整答案，熬夜也要看完，祝大家一臂之力 这份《大模型算法工程师面试题》已经上传CSDN，还有完整版的大模型 AI 学习资料，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
阅读更多...
dp算法练习题【8】

dp算法练习题【8】

不同二叉搜索树 96. 不同的二叉搜索树 给你一个整数 n ，求恰由 n 个节点组成且节点值从 1 到 n 互不相同的 二叉搜索树 有多少种？返回满足题意的二叉搜索树的种数。 示例 1： 输入：n = 3输出：5 示例 2： 输入：n = 1输出：1 class Solution {public int numTrees(int n) {int[] dp = new int
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2