【拔刀吧 TensorFlow】TensorFlow学习笔记四

开篇对霍金爷爷的去世致以沉痛的哀悼及缅怀，愿在那边霍金爷爷可以和爱因斯坦爷爷愉快的探讨宇宙的奥妙。再次感谢这位巨人为人类进步做出的卓著贡献。

========================学习分割线ヽ●*´∀`*●ﾉ终于可以光明正大的学习了======================

这篇开始就要构建神经网络模型了，(*´ｪ｀*)这是第一个自己码出来的网络模型，想想还有点小激动呢。

上一篇说到，我们要用到softmax regression。说到softmax回归，引用台大李宏毅（Hung-yi Lee）教授的一幅图就清晰明了了【没找到……可能是记错了，但是还是十分推荐李宏毅教授的一天搞懂深度学习ppt，286页的样子，很可爱的上课方式】。当然，这里为何要用softmax regression，其实是梯度下降法的一种，何为梯度下降，为什么要用梯度下降这里先不说，日后在表（(灬°ω°灬) 不开车，以后的意思）。

我们搭建模型的目的，就是输入一副手写数字图片，然后让网络告诉我们这个图片对应每个数字的概率。假如我们给定计算机一张手写数字9的图片，那么我们希望得到的结果是9的可能性是90%（只是假如），8是5%左右，其他的数字对应更低的百分比，但是这些数字的可能性加起来是100%。而这一系列的操作，就需要softmax regression。而官方的说明更加贴切：softmax模型可以用来给不同的对象分配概率。

那么softmax regression是如何具体操作的呢？我们要使用的是图片的像素值，也就是上文提到的图片的第二个坐标，来预测一幅图片是否属于某个特定的数字分类。我们需要对像素值进行加权求和，如果有很强的证据（evidence）证明输入的图片就是某一个数字，那么赋予它的像素值一个正数权值，反之，赋予一个负数权值。将结果可视化，显示为下图（引用自官方文档）：

其中红色代表负数权值，蓝色代表正数权值。这个权值我们用w表示（没错啦，就是weight的那个w啦）。当然，我们的数据集很可能会存在干扰，譬如噪点什么的，我们还需要引入一个偏差（bias）b来减弱干扰带来的影响。那么如果用x表示输入的图片，它代表数字i的证据可以表示为：

，j代表像素索引。 将每一个像素输入后（还记得吗，一幅28像素的图片有784个像素）计算求和，最终计算出evidencei。

有了evidencei的值，就可以引入到铺垫许久的softmax函数中了。我们说过，softmax是用来分配概率的，那么我们将结果用y表示，则：

而softmax本身的定义，引用知乎杨思达zzzz的定义，就是给定一个数组x，其中xi表示i个元素，那么这个数的softmax值为：

即xi的指数与这个数组中所有数的指数之和之比。softmax亦可以定义为：

对于softmax很详细的链接为这个。

而上述所有的过程，都可以用下图表示：

这个图等价于：

再将上图用行列式的思维来表达：

官方手册说，这是一种计算效率更高的方式（暂时不太明白，猜测可能和numpy有关？？）