美国 AI 顶级院校博士机器学习课程是什么样的？

第一阶段 机器学习基础与凸优化

【核心知识点】

. KNN算法，Weighted KNN算法

. Approximated KNN算法

. KD树，近似KD树

. Locality Sensitivity Hashing

. 线性回归模型

. Bias-Variance Trade-off

. 正则的使用：L1, L2, L-inifity Norm

. LASSO， Coordinate Descent，ElasticNet

. 逻辑回归与最大似然

. 随机梯度下降法与小批量梯度下降法

. 多元逻辑回归模型

. 凸集，凸函数

. 凸函数与判定凸函数

. Linear/Quadratic/Integer Programming

. 对偶理论，Duality Gap，KKT条件

. Projected Gradient Descent

. 迭代式算法的收敛分析

【部分案例讲解】

. 基于QP的股票投资组合策略设计

. 基于LP的短文本相似度计算

. 基于KNN的图像识别

第二阶段 SVM与集成模型

【核心知识点】

. Max-Margin的方法核心思想

. 线性SVM的一步步构建

. Slack Variable以及条件的松弛

. SVM的Dual Formulation

. Kernelized SVM

. 不同核函数的详解以及使用. 核函数设计以及Mercer's Theorem

. Kernelized Linear Regression

. Kernelized PCA, Kernelized K-means

. 集成模型的优势

. Bagging, Boosting, Stacking

. 决策树以及信息论回顾

. 随机森林，完全随机森林

. 基于残差的提升树训练思想

. GBDT与XGBoost

. 集成不同类型的模型

. VC理论

【部分案例讲解】

. 基于XGBoost的金融风控模型

. 基于PCA和Kernel SVM的人脸识别. 基于Kernal PCA和Linear SVM的人脸识别

第三阶段 无监督学习与序列模型

【核心知识点】

. K-means算法， K-means++

. EM算法以及收敛性

. 高斯混合模型以及K-means

. 层次聚类算法

. Spectral Clustering

. DCSCAN

. 隐变量与隐变量模型

. HMM的应用以及参数

. 条件独立、D-separation

. 基于Viterbi的Decoding

. Forward/Backward算法

. 基于EM算法的参数估计

. 有向图与无向图模型区别

. Log-Linear Model

. Feature Function的设计

. Linear CRF以及参数估计

【部分案例讲解】

. 基于HMM和GMM的语音识别

. 基于聚类分析的用户群体分析

. 基于CRF的命名实体识别

第四阶段 深度学习

【核心知识点】

. 神经网络与激活函数

. BP算法

. 卷积层、Pooling层、全连接层

. 卷积神经网络

. 常用的CNN结构

. Dropout与Batch Normalization

. SGD、Adam、Adagrad算法

. RNN与梯度消失

. LSTM与GRU

. Seq2Seq模型与注意力机制

. Word2Vec, Elmo, Bert, XLNet

. 深度学习中的调参技术

. 深度学习与图嵌入（Graph Embedding）

. Translating Embedding (TransE)

. Node2Vec

. Graph Convolutional Network

. Structured Deep Network Embedding

. Dynamic Graph Embedding

【部分案例讲解】

. 基于Seq2Seq和注意力机制的机器翻译

. 基于TransE和GCN的知识图谱推理

. 基于CNN的人脸关键点检测

第五阶段 推荐系统与在线学习

【核心知识点】

. 基于内容的推荐算法

. 基于协同过滤的推荐算法

. 矩阵分解

. 基于内容的Gradient Tree

. 基于深度学习的推荐算法

. 冷启动问题的处理

. Exploration vs Exploitation

. Multi-armed Bandit

. UCB1 algorithm，EXP3 algorithm

. Adversarial Bandit model

. Contexulalized Bandit

. LinUCB

【部分案例讲解】

. 使用Gradient Boosting Tree做基于 interaction 与 content的广告推荐

. 使用深度神经网络做基于interaction 与 content的推荐

. LinUCB做新闻推荐, 最大化rewards

第六阶段 贝叶斯模型

【核心知识点】

. 主题模型（LDA) 以及生成过程

. Dirichlet Distribution, Multinomial Distribution

. 蒙特卡洛与MCMC

. Metropolis Hasting与Gibbs Sampling

. 使用Collapsed Gibbs Sampler求解LDA

. Mean-field variational Inference

. 使用VI求解LDA

. Stochastic Optimization与Bayesian Inference

. 利用SLGD和SVI求解LDA

. 基于分布式计算的贝叶斯模型求解

. 随机过程与无参模型（non-parametric)

. Chinese Retarant Process

. Stick Breaking Process

. Stochastic Block Model与MMSB

. 基于SGLD与SVI的MMSB求解

. Bayesian Deep Learning模型. Deep Generative Model

【部分案例讲解】

. 基于Bayesian LSTM的文本分析

. 使用无参主题模型做文本分类

. 基于贝叶斯模型实现小数量的图像识别

第七阶段 增强学习与其他前沿主题

【核心知识点】

. Policy Learning

. Deep RL

. Variational Autoencoder(VAE)与求解

. 隐变量的Disentangling

. 图像的生成以及Disentangling

. 文本的生成以及Disentangling

. Generative Adversial Network(GAN)

. CycleGan

. 深度学习的可解释性

. Deconvolution与图像特征的解释

. Layer-wise Propagation

. Adversial Machine Learning

. Purturbation Analysis

. Fair Learning

【部分案例讲解】

. 基于GAN的图像生成

. 基于VAE的文本Style Transfer

. 可视化机器翻译系统