computationml专题

读书笔记:Deep Learning [Ada-ComputationML series]--chapter10.Sequence Modeling:RNN

1.RNN的操作基于vecor X(t),长度从1->t,通常作用域这些序列组成的minibatch 2.如果要求h(t)足够丰富,可以近似恢复输入序列,则相当于auto encoder. 3.三种重要的RNN设计模式: 1)每个时间步都有输出,且在 隐单元间有循环链接 2)每个时间步都有输出,且在 当前时序的输出到下一时刻的隐单元之间有循环链接 3)隐单元间有循环连接,全部序列只有一