novikoff专题

感知机学习算法中的Novikoff定理证明中的隐含背景知识

一、引言 《统计学习方法》(李航著)第二章感知机学习时,其中的Novikoff定理是关于感知机算法收敛性的一个重要定理。这个定理保证了对于线性可分的数据集,感知机学习算法最终能够收敛到一个解,即存在一个权重向量 w 和偏置 b,它们定义了一个超平面,能够将所有的训练样本正确分类,对应的由输入空间到输出空间的映射函数如下: f ( x ) = s i g n ( w x ˙ + b )