深度学习McCulloch-Pitts模型

1 McCulloch-Pitts模型

1943年，神经学家McCulloch和数学家Pitts共同提出了McCulloch-Pitts模型，这个模型是对生物神经元的一种相当简化的模仿。这个模型认为，树突输入的电信号相当于函数中的自变量，轴突输出的电信号相当于函数中的因变量，一个神经元有几个树突，表征这个神经元直觉活动（意识是人脑特有的机能，故此处不用高级的意识活动，而使用更加原始的直觉活动）的数学函数也就有几个自变量。

2 应用场景

下面假定一个场景，一个生物，其食物是一种有毒的豆子，并且毒性仅与豆子的体积成正比。那么根据McCulloch-Pitts模型，可以构建一个一元函数来模拟这个生物关于是否进食的直觉过程，不妨设这个函数为y=wx,其中w为任意常数。当y大于或小于某一临界值，则表示事物毒性过大，不宜食用，反之则是安全的。

若毒性不仅与豆子的体积有关，还与豆子的颜色有关。那么根据McCulloch-Pitts模型，可以构建一个二元函数来模拟这个生物关于是否进食的直觉过程，不妨设这个函数为y=w1x1+w2x2，其中w1、w2为任意常数。当y大于或小于某一临界值，则表示事物毒性过大，不宜食用，反之则是安全的。

以此类推，可以根据不同的情况设出与之对应的n元函数。

自变量前的常数称其为“权值”，记作w，其表征不同因素（自变量）对结果（因变量）起到影响的大小程度。

权值设定为多少以及怎么设定是个问题。

|w|的值过大，则会使得事物来源变少，不利于个体的生存；|w|的值过小，则容易误食毒性过强的食物，从而也不利于个体的生存。可见，权值应当处于一个合适的区间。

McCulloch-Pitts模型的基本思想时抽象和简化生物神经元的特征性成分。这个模型不需要捕捉神经元的所有属性和行为，但要足以捕获他执行计算的方式。McCulloch-Pitts模型的六个特点中前面4点和之前总结的生物神经元一致，具体对应请看下图：

1、每一个神经元都是多输入单输出的信息处理单元

2、神经元输入兴奋输入和抑制性输入两种类型

3、神经元具有空间整合性和阈值特性

4、神经元输入与输出间有固定的时滞，主要取决于突触延搁

5、忽略时间整合作用和不应期

6、神经元本身是非时变的，即其突触时延和突触强度均为常数

3 实现原理

这发生在1940年代。

这个现在的神经网络基本一样，看起来已经很高级了。不过其最大的局限性应该在于思想上，当时还没有训练的概念，也就是说那些权重、阈值、激活函数都需要提前手算好。

比如用以上MP模型，完成一些逻辑运算。

注意：以上情况指定不需要激活函数。