【机器学习】K近邻(K-Nearest Neighbors,简称KNN)的基本概念以及消极方法和积极方法的区别

本文主要是介绍【机器学习】K近邻(K-Nearest Neighbors,简称KNN)的基本概念以及消极方法和积极方法的区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

K近邻(K-Nearest Neighbors,简称KNN)算法是一种基础的机器学习方法,属于监督学习范畴

文章目录

  • 引言
  • 一、K近邻(K-Nearest Neighbors,简称KNN)
    • 1.1 原理详述
      • 1.1.1 距离度量
      • 1.1.2 选择k值
      • 1.1.3 投票机制
    • 1.2 实现步骤
    • 1.3 参数选择
    • 1.4 应用场景
    • 1.5 优缺点
      • 1.5.1 优点
      • 1.5.2 缺点
    • 1.6 k-近邻代码实例
  • 三、如何选择k值
    • 3.1 交叉验证
    • 3.2 留出法(Hold-out Method)
    • 3.3 学习曲线
    • 3.4 超参数优化技术
    • 3.5 Elbow Method
    • 3.6 注意事项
  • 四、消极方法和积极方法的区别
    • 4.1 消极方法(Passive Methods)
      • 4.1.1 原理:
      • 4.1.2 性能上的优缺点:
    • 4.2 积极方法(Active Methods)
      • 4.2.1 原理:
      • 4.2.2 性能上的优缺点:
    • 4.3 综合考虑

在这里插入图片描述

一、K近邻(K-Nearest Neighbors,简称KNN)

K近邻的核心思想是,如果一个样本在特征空间中的k个最近邻大多数属于某一个类别,那么该样本也属于这个类别。KNN算法既可以用于分类问题,也可以用于回归问题

1.1 原理详述

1.1.1 距离度量

KNN算法首先需要计算新样本与已有数据集中每个样本的距离。距离度量可以是欧氏距离、曼哈顿距离、汉明距离等。以下是几种常见的距离计算公式:

  • 欧氏距离:对于两个n维向量 A A A B B B,其欧氏距离为
    d ( A , B ) = ∑ i = 1 n ( A i − B i ) 2 d(A, B) = \sqrt{\sum_{i=1}^{n} (A_i - B_i)^2} d(A,B)=i=1n(AiBi)2
  • 曼哈顿距离:其公式为
    d ( A , B ) = ∑ i = 1 n ∣ A i − B i ∣ d(A, B) = \sum_{i=1}^{n} |A_i - B_i| d(A,B)=i=1nAiBi
  • 汉明距离:通常用于布尔值向量,其公式为
    d ( A , B ) = ∑ i = 1 n δ ( A i , B i ) d(A, B) = \sum_{i=1}^{n} \delta(A_i, B_i) d(A,B)=i=1nδ(Ai,Bi)
    其中 δ ( x , y ) \delta(x, y) δ(x,y)是指示函数,当 x ≠ y x \neq y x=y时为1,否则为0

1.1.2 选择k值

k值的选择对KNN算法的性能有重要影响。较小的k值意味着模型对噪声更敏感,而较大的k值可能导致模型对输入数据的特征不敏感

1.1.3 投票机制

对于分类问题,KNN算法通常采用“多数表决”规则,即一个新样本被分配到k个最近邻中最常见的类。如果存在多个类具有相同数量的最近邻,则可以随机选择一个类,或者基于距离加权投票

1.2 实现步骤

  1. 数据预处理:包括特征缩放和归一化,以确保所有特征对距离计算有相同的影响
  2. 选择k值:通过交叉验证等方法选择最优的k值
  3. 训练模型:KNN算法实际上没有显式的训练过程,它只是在预测时计算新样本与训练数据的距离
  4. 预测:对于一个新的样本,计算它与训练集中所有样本的距离,选择最近的k个样本,并根据这些样本的标签进行投票

1.3 参数选择

  • k值:如前所述,k值的选择对算法性能有很大影响。通常通过交叉验证来选择最优k值
  • 距离度量:根据数据的特性选择合适的距离度量方法

1.4 应用场景

  • 文本分类:如垃圾邮件检测
  • 图像识别:如手写数字识别
  • 推荐系统:通过用户之间的相似度来推荐商品或服务
  • 异常检测:识别与大多数数据差异较大的异常点

1.5 优缺点

1.5.1 优点

  • 算法简单,易于理解
  • 不需要建立模型,因此训练时间几乎为零
  • 可以用于分类和回归问题

1.5.2 缺点

  • 计算量大,特别是对于大数据集
  • 对噪声敏感,尤其是当k值较小时
  • 需要大量的内存存储所有训练数据

1.6 k-近邻代码实例

以下是使用Python和Scikit-learn库实现的K近邻算法的完整代码,该代码使用了鸢尾花数据集:

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import accuracy_score
# 加载数据集
iris = datasets.load_iris()
X = iris.data
y = iris.target
# 数据集分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 特征缩放
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
# 创建KNN分类器实例并训练
knn = KNeighborsClassifier(n_neighbors=3)
knn.fit(X_train, y_train)
# 进行预测
y_pred = knn.predict(X_test)
# 计算准确率
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy}')

代码解释:

  • 首先加载了鸢尾花数据集
  • 然后将其分为训练集和测试集
  • 接着对特征进行了标准化处理,以消除不同特征之间的量纲影响
  • 之后创建了一个K近邻分类器实例,并使用训练集进行了训练
  • 最后在测试集上进行了预测,并计算了模型的准确率
  • 在这个例子中,模型的准确率为1.0,即100%

三、如何选择k值

选择最优的k值是K近邻算法中的一个关键步骤,因为它直接影响到模型的性能。以下是一些常用的方法来确定最优的k值:

3.1 交叉验证

交叉验证是一种常用的方法来评估模型的泛化能力。以下是一个使用交叉验证来选择最优k值的步骤:

  1. 分割数据集:将数据集分割成训练集和验证集
  2. 循环遍历k值:对于每个可能的k值,使用训练集来训练模型,并在验证集上进行验证
  3. 评估性能:计算每个k值对应的验证集上的错误率或准确率
  4. 选择最优k值:选择错误率最低或准确率最高的k值

3.2 留出法(Hold-out Method)

与交叉验证类似,但是只将数据集分割一次:

  1. 分割数据集:将数据集分割成较大的训练集和较小的测试集
  2. 训练和测试:对于每个k值,使用训练集训练模型,并在测试集上进行测试
  3. 选择最优k值:根据测试集上的性能选择最优k值

3.3 学习曲线

通过绘制学习曲线,可以观察到随着k值的增加,模型在训练集和验证集上的性能如何变化:

  1. 训练和验证:对于不同的k值,绘制模型在训练集和验证集上的准确率
  2. 观察曲线:选择在验证集上准确率最高且训练集和验证集准确率差距最小的k值

3.4 超参数优化技术

使用如网格搜索(Grid Search)或随机搜索(Random Search)等超参数优化技术来搜索最优k值

3.5 Elbow Method

这是一种直观的方法,通过观察随着k值增加,模型误差的变化情况来确定k值:

  1. 计算误差:对于不同的k值,计算模型在验证集上的误差(例如,分类错误率)
  2. 绘制图表:将k值和对应的误差绘制成图表
  3. 寻找“肘部”:找到图表中误差开始明显减少的点,这个点通常被称为“肘部”,对应的k值就是最优k值

3.6 注意事项

  • 过小的k值可能导致模型对噪声敏感,过大的k值可能导致模型对输入数据的特征不敏感
  • 在实际应用中,k值通常选择为小于训练样本数的平方根
  • 选择最优k值时,应考虑到计算成本,特别是在处理大型数据集时

四、消极方法和积极方法的区别

在机器学习和数据挖掘领域,消极方法和积极方法通常是指处理缺失值的不同策略。这两种方法各有其原理和优缺点

4.1 消极方法(Passive Methods)

消极方法不直接处理缺失值,而是简单地忽略含有缺失值的样本或特征。这种方法的原理是假设缺失值对模型的影响很小,或者可以通过其他方法(如特征选择、数据清洗等)来减轻其影响

4.1.1 原理:

  • 忽略样本:直接从数据集中移除含有缺失值的样本
  • 忽略特征:在某些情况下,可以忽略含有缺失值的特征

4.1.2 性能上的优缺点:

  • 优点:简单易行,计算成本低
  • 缺点:可能导致数据集规模减小,从而影响模型的性能;同时,缺失值的存在可能是数据集中的重要信息,忽略它们可能会导致模型的准确性下降

4.2 积极方法(Active Methods)

积极方法试图通过某种方式估计或填充缺失值,以保留完整的数据集。这种方法的原理是利用现有数据来推断缺失值,从而保持数据的完整性

4.2.1 原理:

  • 插值法:使用相邻或相似数据点的值来估计缺失值。例如,使用线性插值、样条插值等
  • 基于模型的方法:使用机器学习模型(如K近邻、决策树、支持向量机等)来预测缺失值

4.2.2 性能上的优缺点:

  • 优点:保留了完整的数据集,可以更好地利用数据中的信息
  • 缺点:计算成本较高,且填充方法的选择会影响模型的性能。如果填充方法不合适,可能会引入额外的噪声,降低模型的准确性

4.3 综合考虑

在实际应用中,选择消极方法还是积极方法取决于具体问题、数据集的特性以及计算资源的限制

  • 对于大规模数据集,积极方法可能更合适,因为它可以保留更多的信息
  • 对于计算资源有限或缺失值较少的情况,消极方法可能更加实用

在实际操作中,还可以结合使用这两种方法,例如,先使用消极方法删除部分缺失值严重的样本,然后使用积极方法处理剩余的缺失值。这样可以充分利用数据中的信息,同时降低计算成本

这篇关于【机器学习】K近邻(K-Nearest Neighbors,简称KNN)的基本概念以及消极方法和积极方法的区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1124214

相关文章

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》:本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法,简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局,详细内容请阅读本文,希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的

Spring 基于XML配置 bean管理 Bean-IOC的方法

《Spring基于XML配置bean管理Bean-IOC的方法》:本文主要介绍Spring基于XML配置bean管理Bean-IOC的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一... 目录一. spring学习的核心内容二. 基于 XML 配置 bean1. 通过类型来获取 bean2. 通过

基于Python实现读取嵌套压缩包下文件的方法

《基于Python实现读取嵌套压缩包下文件的方法》工作中遇到的问题,需要用Python实现嵌套压缩包下文件读取,本文给大家介绍了详细的解决方法,并有相关的代码示例供大家参考,需要的朋友可以参考下... 目录思路完整代码代码优化思路打开外层zip压缩包并遍历文件:使用with zipfile.ZipFil

Python处理函数调用超时的四种方法

《Python处理函数调用超时的四种方法》在实际开发过程中,我们可能会遇到一些场景,需要对函数的执行时间进行限制,例如,当一个函数执行时间过长时,可能会导致程序卡顿、资源占用过高,因此,在某些情况下,... 目录前言func-timeout1. 安装 func-timeout2. 基本用法自定义进程subp

Python列表去重的4种核心方法与实战指南详解

《Python列表去重的4种核心方法与实战指南详解》在Python开发中,处理列表数据时经常需要去除重复元素,本文将详细介绍4种最实用的列表去重方法,有需要的小伙伴可以根据自己的需要进行选择... 目录方法1:集合(set)去重法(最快速)方法2:顺序遍历法(保持顺序)方法3:副本删除法(原地修改)方法4:

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化

go 指针接收者和值接收者的区别小结

《go指针接收者和值接收者的区别小结》在Go语言中,值接收者和指针接收者是方法定义中的两种接收者类型,本文主要介绍了go指针接收者和值接收者的区别小结,文中通过示例代码介绍的非常详细,需要的朋友们下... 目录go 指针接收者和值接收者的区别易错点辨析go 指针接收者和值接收者的区别指针接收者和值接收者的