训练神经网络的几个重要组成部分 一 1，激活函数（activation functions） 激活函数是神经网络之于线性分类器的最大进步，最大贡献，即，引入了非线性。这些非线性函数可以被分成两大类，饱和非线性函数和不饱和非线性函数。 1，1 饱和非线性函数 1，1，1  Sigmoid 原函数： 函数的导数：  sigmoid函数的性质：

训练神经网络的几个重要组成部分 二 2 Data Preprocessing数据的预处理 数据预处理的几种方法 2，1 数据的零点中心化         数据的零点中心化的目的就是为了把数据的整体分布拉回到原点附近，也就是让数据的整体均值变为0。 ​  2，2 数据的标准化         数据的标准化这个词比较难理解，从统计学的角度讲，经过这一步的处理，原

stanford cs231 编程作业(assignment1，Q3: softmax classifier         softmax classifier和svm classifier的assignment绝大多部分都是重复的，这里只捡几个重点。 1，softmax_loss_naive函数，尤其是dW部分 1，1 正向传递 第i张图的在所有分类下的得分

stanford cs231 编程作业之SVM分类器 写在最前面：         深度学习，或者是广义上的任何学习，都是“行千里路”胜过“读万卷书”的学识。这两天光是学了斯坦福cs231n的一些基础理论，越往后学越觉得没什么。但听的云里雾里的地方也越来越多。昨天无意中在这门课的官网上无意中看到了对应的assignments。里面的问题和code都设计的极好！自己在做作业的时候，也才

stanford cs231学习笔记(一)   1，先是讲到了机器学习中的kNN算法，然后因为kNN分类器的一些弊端，引入了线性分类器。 kNN算法的三大弊端： (1)，计算量大，当特征比较多时表示性差 (2)，训练时耗时少，且计算需求低，反而是对测试数据分类时，计算需求量大。 (3)，衡量两幅图像之间的差异时，衡量方式单一，例如L1,L2距离。且仅有的这两种方法效果都