2017cs231n专题

关于反向传播中矩阵求导的一些想法(2017CS231n斯坦福公开课-第四讲第九课时-46:26关于W的梯度矩阵)

这个梯度矩阵是经过了转置之后的,采用了分母布局形式,而在前面的列向量对列向量的求导中,梯度矩阵则采用了分子布局,写成了雅可比形式 这是因为不是所有的数学教科书和论文都会在整个部分都保持一致性的。也就是有时候在相同的论文的不同部分会使用不同的约定。例如,有些地方选择了分母布局来表示梯度(将它们以列向量表示),而对于向量关于向量的导数却使用分子布局