A holistic approach to semi-supervised learning

本文主要是介绍A holistic approach to semi-supervised learning，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Berthelot D, Carlini N, Goodfellow I, et al. Mixmatch: A holistic approach to semi-supervised learning[J]. arXiv preprint arXiv:1905.02249, 2019.
https://github.com/samihaija/mixhop

半监督学习的核心想法是利用无标注的数据来减轻对有标数据的需求。正则项可分为三类：一致性正则化、熵最小化和传统正则化。本文结合了这三种正则，消融实验表明MixMatch效果好于三个正则项每部分提升之和。

正则项

一致性正则化

分类器对于数据增强后的的数据的分类分布应该与之前的类别分布一样：
$$||P(y|Augment(x);\theta )-p(y|x)|{|}_2^2$$

熵最小化

分类器的决策边界不应该穿过数据边缘分布的高密度区域：

• 显式的对unlabeled data加入$P(y|x,\theta )$的熵作为损失函数
• 使用“sharpening”函数来隐式地实现熵的最小化

传统正则化

传统的正则化项位 L2 范数。本文的优化方法为Adam算法，使用权值衰减来替代L2损失项。

MixMatch

使用 MixMatch 生成数据，有标签的数据X和等量的无标数据U，和超参数：锐化（“sharpening”）参数T、对于无标数据强化K次和 Mixup 的参数$\alpha$。

sharpening：

$$sharpen(p,T{)}_i=\frac{p_i^{\frac{1}{T}}}{{\sum }_{j=1}^L{p}_j^{\frac{1}{T}}}$$

MixUp

$$\lambda =Beta(\alpha ,\alpha )$$

$${\lambda }^{’}=max(\lambda ,1-\lambda )$$

$$x’={\lambda }^{’}{x}_1+(1-{\lambda }^{’})x_2$$

$$p’={\lambda }^{’}{p}_1+(1-{\lambda }^{’})p_2$$

loss

$$X’,U’=MixMatch(X,U,T,K,\alpha )$$

$$L_X=\frac{1}{|X’|}\sum _{x,p\in X’}H(p,p_{model}(y|x;\theta ))$$

$$L_U=\frac{1}{L|U’|}\sum _{u,q\in U’}||q-p_{model}(y|x;\theta )|{|}_2^2$$

$$L=L_X+{\lambda }_U{L}_U$$

这篇关于A holistic approach to semi-supervised learning的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---