本文主要是介绍十大机器学习算法(五)——无监督聚类算法 EM 聚类算法(以及GMM),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
无监督聚类学习 EM
主要流程:初始化参数 —>> 观察预期结果 —>> 存在误差?重新估计参数
极大似然估计
最大似然估计是假设在总体满足某种分布的情况下 求解满足似然函数(概率密度函数乘积)的最大值的参数 。
目的:利用已知的样本结果,反推最有可能(最大概率)导致这样结果的参数值。
原理:“模型已定,参数未知” 情况下,通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。
前提条件:
-
样本独立同分布 否则无法用概率密度函数乘积的形式
-
假设的分布与真实的分布要一致,否则会南辕北辙。如果对总体分布一无所知是无法使用MLE的。
在样本量足够大时,可以使用样本分布来近似总体分布。
已知样本集 D = { x 1 , x 2 , ⋯ , x N } D = \{x_1, x_2,\cdots,x_N\} D={x1,x2,⋯,xN},则其似然函数形式为:
L ( θ ) = p ( D ∣ θ ) = p ( x 1 , x 2 , ⋯ , x N θ ) = ∏ i = 1 N p ( x i ∣ θ ) L(\theta) = p(D|\theta) = p(x_1, x_2,\cdots,x_N\ \theta) = \prod^{N}_{i=1}p(x_i|\theta) L(θ)=p(D∣θ)=p(x1,x2,⋯,xN θ)=i=1∏Np(xi∣θ)
求解满足 L ( θ ) L(\theta) L(θ)最大值时的 θ ^ \hat{\theta} θ^:
θ ^ = a r g m a x θ L ( θ ) \hat{\theta} = \underset{\theta}{argmax}L(\theta) θ^=θargmaxL(θ)
求解过程自然就是 x x x服从什么分布,就用什么概率密度函数求解其概率,求解 L ( θ ) L(\theta) L(θ)最大值时,使用对数化转为线性更容易求解。
推导可以看这篇文章https://blog.csdn.net/zengxiantao1994/article/details/72787849/
EM聚类算法
EM聚类算法与似然估计的思想一致,最大似然估计一次性找到最大可能性的参数,但对机器来说,根据实验结果,不断迭代以使模型参数不再变化为止。
主要步骤:初始化参数、观察预期、重新估计。
假设有如下问题:
有A和B两枚硬币,我们做了5组实验,每组实验投掷10次,然后统计出现正面的次数(投掷硬币时,我们不知道投掷的硬币是A还是B)(二项分布)。
实验 | 正面次数 |
---|---|
1 | 2 |
2 | 8 |
3 | 6 |
4 | 7 |
5 | 3 |
求每次实验的硬币是 A 还是 B 。
假设我们知道先验分布:
实验 | 硬币 | 正面次数 |
---|---|---|
1 | A | 5 |
2 | B | 7 |
3 | B | 8 |
4 | B | 9 |
5 | A | 4 |
思想:通过对先验分布拟合,找到最适合的模型估计,然后去预测。
step1,初始化参数:每次伯努利实验, p ( 正 ∣ A ) p(正|A) p(正∣A) = 0.5, p ( 正 ∣ B ) p(正|B) p(正∣B) = 0.9。
step2,使用初始化参数,估计先验分布实验1,A,B正面次数为5的概率,
p A ( 10 , 0.5 ) = C 10 5 0. 5 5 0. 5 5 = 0.246 p_A(10,0.5) = C_{10}^50.5^50.5^5 = 0.246 pA(10,0.5)=C1050.550.55=0.246
p B ( 10 , 0.9 ) = C 10 5 0. 9 5 0. 1 5 = 0.0015 p_B(10,0.9) = C_{10}^50.9^50.1^5 = 0.0015 pB(10,0.9)=C1050.950.15=0.0015
所以预估实验 1 的硬币为A。
重复上述步骤,拟合完成五个实验,得到结果:{A, A, B, B, A}。
step3,由于与结果存在不同,需要改进,重复上述步骤,改变 p ( 正 ∣ A ) p(正|A) p(正∣A), p ( 正 ∣ B ) p(正|B) p(正∣B) 的值,知道不发生变化为止。
混合高斯模型(GMM)
混合高斯模型是指使用多个单高斯模型,通过加权得到一个混合的模型。
模型思想:任何一个曲线,无论多么复杂,都可以用若干个高斯曲线来无限逼近它。
假设混合高斯模型由K个高斯模型组成(即K个类),则GMM的概率密度函数为:
p ( x ) = ∑ i = 1 k p ( x ∈ k ) N k ( x ∣ μ k , σ k 2 ) , ∑ i = 1 k p ( x ∈ k ) = 1 p(x) = \sum^k_{i=1}p(x\in k)N_k(x|\mu_k,\sigma^2_k),\sum^k_{i=1}p(x\in k) = 1 p(x)=i=1∑kp(x∈k)Nk(x∣μk,σk2),i=1∑kp(x∈k)=1
模型存在三个三个参数
step1,固定 μ , σ \mu, \sigma μ,σ(初始化) ,求 p ( x ∈ k ) p(x\in k) p(x∈k)的所有概率,并标准化为: ∑ i = 1 k p ( x ∈ k ) = 1 \sum^k_{i=1}p(x\in k) = 1 ∑i=1kp(x∈k)=1。
step2, 哪个 p ( x ∈ k ) p(x\in k) p(x∈k)大, x x x属于哪一个类,每一类的数据点确定后,即可得到这一个类的单高斯分布参数 μ , σ \mu, \sigma μ,σ 。
重复上述过程,即可得到最终的聚类结果。
上述图片来源:https://zhuanlan.zhihu.com/p/30483076
工具
GMM工具:
from sklearn.mixture import GaussianMixture
GaussianMixture(n_components=1, covariance_type="full")
n_components:聚类个数,缺省值为1
covariance_type:协方差类型,一共4种,默认为full
covariance_type="full",完全协方差矩阵(元素都不为零)
covariance_type="tied",相同的完全协方差矩阵(HMM会用到)
covariance_type="diag",对角协方差矩阵(非对角为零,对角不为零)
covariance_type="spherical",球面协方差矩阵(非对角为零,对角完全相同,球面特性)
这篇关于十大机器学习算法(五)——无监督聚类算法 EM 聚类算法(以及GMM)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!