本文主要是介绍Generative Modeling of Convolutional Neural Networks，生成式CNNs，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
生成式CNNs
标签： CNN，Generative Modeling ，Machine Learning， MCMC
工作思路
- Step 1: 找到切入点，了解生成式模型，及其与CNNs的关系
- 对照论文原文与PPT内容，了解总体框架;
- 找到key word,以此为突破点；
- 生成式模型在CNNs中的应用。
- Step2: 阐述生成式模型的背景、物理含义、优缺点，解决问题的一般方法。
- step3: 重点理解图像的 概率分布 采样方法。对 马尔科夫链蒙特卡洛采样(MCHC) 和 Gibbs采样 等方法进行讨论。
文献阅读
Jifeng Dai.Generative Modeling of Convolutional Neural Networks.ICLR 2015
主要思路
1. A non-parametric generative gradient for pre-training the CNN
采用对数倾斜(exponential tilting)形式的生成式模型来预训练CNN，使得预训练模型可以找到一个较好的极值区域。
2. An generative visualization method,生成式可视化方法
从一个图像分布中采样，使用Hamiltonian Monte Carlo (HMC)算法训练CNN。用生成概率模型来看节点对应的特征图。
两种研究主题的差异主要体现在对于参考分布(Reference distribution)的处理不同：
(1) Generative gradient: 通过从一个参考分布采样的方法近似逼近各参数的梯度。
(2) Generative visualization method需要一个参数化的参考分布q(x),比如高斯白噪声分布，然后采用Hamiltonian Monte Carlo方法从相应的图像分布p(x)采样。
这篇关于Generative Modeling of Convolutional Neural Networks，生成式CNNs的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
