neighbours专题

K-Nearest-Neighbours 和 kd 树

什么是KNN? KNN算法是没有学习过程的。它将所有已知数据存储起来,当要预测某一新数据时,使用某种距离度量选择离该新数据在特种空间中最近的K个点,根据分类决策规则,一般是多数投票规则对新数据进行分类。   怎样构造KNN: 1)  距离度量 LP距离。在P=1时是曼哈顿距离,P=2时是欧式距离,P为无穷大时是切比雪夫距离。也可以自己定义距离。 2)K值选择 K只选择太小,容易过拟合