华盛顿大学《生成模型》2020秋季课程完结，课件、讲义全部放出

来源：机器之心

本文约1000字，建议阅读5分钟。

这门课聚焦生成建模技术的理论和数学基础，探讨多种生成模型技术。

在概率统计理论中，生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它能够给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

生成模型是最近较为活跃的研究领域，从事机器学习研究的人有必要了解这一研究主题。去年秋季，华盛顿大学开设了一门主题为「生成模型」的课程 CSE 599，探讨了多种生成模型相关技术。

课程地址：

https://courses.cs.washington.edu/courses/cse599i/20au/

这门课与当前的生成模型研究紧密相关，并提供了阅读该领域近期进展相关论文所需的背景知识。课程聚焦生成建模技术的理论和数学基础，学生在开始本课程前最好了解机器学习领域的基础概念。

该课程于 2020 年 9 月 30 日开始，12 月 7 日结课。目前已放出课程讲义和 slide，每节课还提供额外的补充阅读材料。

CSE 599 课程表部分截图

课程主题

这门课程涉及以下主题：

• 自回归模型

• NADE 框架

• RNN/LSTM 和 Transformer

• 变分自编码器（VAE）

• 高斯 VAE

• ConvNet 与 ResNet

• 后验崩溃

• 离散式 VAE

• 生成对抗网络

• f-GAN

• Wasserstein GAN

• Generative Sinkhorn Modeling

• 生成流

• 自回归流

• 可逆网络

• 神经常微分方程

• 基于能量的模型

• Stein 方法与评分匹配

• 郎格文动力学与扩散 

具备类似主题的课程还有斯坦福大学开设的 CS236（深度生成模型）课程和加州大学伯克利分校的 CS294-158（深度无监督学习）课程。感兴趣的读者可以多了解这两门课。

讲师简介

课程主讲人 John Thickstun 本科毕业于布朗大学应用数学专业，目前在华盛顿大学计算机科学与工程系攻读博士学位。目前的研究兴趣包括生成模型、采样、时序，及其在音乐领域的应用，多篇论文发表在 EMNLP、ICML、ISMIR、ICLR 等学术会议上。

个人主页：

http://homes.cs.washington.edu/~thickstn/

编辑：文婧