【MachineLearning】之 K-近邻分类预测（实战）

本文主要是介绍【MachineLearning】之 K-近邻分类预测（实战），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Topic：

加载数据集
数据划分
训练模型
模型预测
准确率计算
K值选择

一、步骤

（1）加载数据集

本次使用的数据集为丁香花数据集course-9-syringa.csv，丁香花数据集包含 daphne，syringa 和 willow 等 3 个种类，即标签（labels），其中每个种类包含 150 条数据，每条数据包含 4 个特征值：花萼长度，花萼宽度，花瓣长度，花瓣宽度。利用 Pandas 将其导入成 DataFrame 格式。

# 下载数据集
!wget http://labfile.oss.aliyuncs.com/courses/1081/course-9-syringa.csv

"""加载数据集
"""
import pandas as pdlilac_data = pd.read_csv('course-9-syringa.csv')
lilac_data.head()  # 预览前 5 行

为了使我们对数据更加了解，同样我们用 plt 将各个数据的特征绘制出来。由于丁香花数据集有 4 个特征值，在二维空间中无法直接表示，所以只有采用特征组合的方式绘画特征分布图。下面将 4 个特征，进行两两组合得到 6 种情况，并采用子图的方式进行绘制。

from matplotlib import pyplot as plt
"""绘制丁香花特征子图
"""
fig, axes = plt.subplots(2, 3, figsize=(20, 10))  # 构建生成 2*3 的画布，2 行 3 列
fig.subplots_adjust(hspace=0.3, wspace=0.2)  # 定义每个画布内的行间隔和高间隔
axes[0, 0].set_xlabel("sepal_length")  # 定义 x 轴坐标值
axes[0, 0].set_ylabel("sepal_width")  # 定义 y 轴坐标值
axes[0, 0].scatter(lilac_data.sepal_length[:50],lilac_data.sepal_width[:50], c="b")
axes[0, 0].scatter(lilac_data.sepal_length[50:100],lilac_data.sepal_width[50:100], c="g")
axes[0, 0].scatter(lilac_data.sepal_length[100:],lilac_data.sepal_width[100:], c="r")
axes[0, 0].legend(["daphne", "syringa", "willow"], loc=2)  # 定义示例axes[0, 1].set_xlabel("petal_length")
axes[0, 1].set_ylabel("petal_width")
axes[0, 1].scatter(lilac_data.petal_length[:50],lilac_data.petal_width[:50], c="b")
axes[0, 1].scatter(lilac_data.petal_length[50:100],lilac_data.petal_width[50:100], c="g")
axes[0, 1].scatter(lilac_data.petal_length[100:],lilac_data.petal_width[100:], c="r")axes[0, 2].set_xlabel("sepal_length")
axes[0, 2].set_ylabel("petal_length")
axes[0, 2].scatter(lilac_data.sepal_length[:50],lilac_data.petal_length[:50], c="b")
axes[0, 2].scatter(lilac_data.sepal_length[50:100],lilac_data.petal_length[50:100], c="g")
axes[0, 2].scatter(lilac_data.sepal_length[100:],lilac_data.petal_length[100:], c="r")axes[1, 0].set_xlabel("sepal_width")
axes[1, 0].set_ylabel("petal_width")
axes[1, 0].scatter(lilac_data.sepal_width[:50],lilac_data.petal_width[:50], c="b")
axes[1, 0].scatter(lilac_data.sepal_width[50:100],lilac_data.petal_width[50:100], c="g")
axes[1, 0].scatter(lilac_data.sepal_width[100:],lilac_data.petal_width[100:], c="r")axes[1, 1].set_xlabel("sepal_length")
axes[1, 1].set_ylabel("petal_width")
axes[1, 1].scatter(lilac_data.sepal_length[:50],lilac_data.petal_width[:50], c="b")
axes[1, 1].scatter(lilac_data.sepal_length[50:100],lilac_data.petal_width[50:100], c="g")
axes[1, 1].scatter(lilac_data.sepal_length[100:],lilac_data.petal_width[100:], c="r")axes[1, 2].set_xlabel("sepal_width")
axes[1, 2].set_ylabel("petal_length")
axes[1, 2].scatter(lilac_data.sepal_width[:50],lilac_data.petal_length[:50], c="b")
axes[1, 2].scatter(lilac_data.sepal_width[50:100],lilac_data.petal_length[50:100], c="g")
axes[1, 2].scatter(lilac_data.sepal_width[100:],lilac_data.petal_length[100:], c="r")

这里写图片描述

当遇到更多特征时，还可以通过数据特征 降低维度 的方式来进行数据分析

（2）数据划分

当得到一个数据集时，希望通过该数据集得到一个训练模型，我们常常将数据切分为两部分，一部分为训练集，一部分为测试集。根据经验，较好的切分方法为随机切分，切分比例为：70% 作为训练集，30% 作为测试集。

在此我们使用了scikit-learn 模块的 train_test_split 函数完成数据集切分。

from sklearn.model_selection import train_test_splitX_train,X_test, y_train, y_test =train_test_split(train_data,train_target,test_size=0.4, random_state=0)

其中：

X_train,X_test, y_train, y_test 分别表示，切分后的特征的训练集，特征的测试集，标签的训练集，标签的测试集；其中特征和标签的值是一一对应的。
train_data,train_target分别表示为待划分的特征集和待划分的标签集。
test_size：测试样本所占比例。
random_state：随机数种子,在需要重复实验时，保证在随机数种子一样时能得到一组一样的随机数。

from sklearn.model_selection import train_test_split# 得到 lilac 数据集中 feature 的全部序列: sepal_length,sepal_width,petal_length,petal_width
feature_data = lilac_data.iloc[:, :-1]
label_data = lilac_data["labels"]  # 得到 lilac 数据集中 label 的序列
x_train, x_test, y_train, y_test = train_test_split(feature_data, label_data, test_size=0.3, random_state=2)x_test  # 输出 lilac_test 查看

这里写图片描述

（3）训练模型

在实战中，我们更常使用 sicit-learn 库中 KNN 函数实现数据的分类。

from sklearn import neighborsneighbors.KNeighborsClassifier((n_neighbors=5, weights='uniform', algorithm='auto')

其中：

n_neighbors : k 值，表示邻近个数，默认为 5。
weights : 决策规则选择，多数表决或加权表决，可用参数（'uniform','distance'）
algorithm : 搜索算法选择（auto，kd_tree, ball_tree），包括逐一搜索，kd 树搜索或 ball 树搜索

"""使用 sklearn 构建 KNN 预测模型
"""
from sklearn import neighbors
import sklearndef sklearn_classify(train_data, label_data, test_data, k_num):knn = neighbors.KNeighborsClassifier(n_neighbors=k_num)# 训练数据集knn.fit(train_data, label_data)# 预测predict_label = knn.predict(test_data)# 返回预测值return predict_label

（4）模型预测

在上面定义函数之后，接下来就是对丁香花数据集中分出的测试集进行分类，传入 x_train,y_train,x_test以及 K 值 3,通过 KNN 算法分类后，输出测试集的分类结果。

"""使用数据集进行预测
"""
y_predict = sklearn_classify(x_train, y_train, x_test, 3)
y_predict

（5）准确率计算

"""准确率计算
"""def get_accuracy(test_labels, pred_labels):correct = np.sum(test_labels == pred_labels)  # 计算预测正确的数据个数n = len(test_labels)  # 总测试集数据个数accur = correct/nreturn accurget_accuracy(y_test, y_predict)

（6）K 值选择

从 2 到 10 中画出每一个 K 值的准确率从而获得最佳 K 值

normal_accuracy = []  # 建立一个空的准确率列表
k_value = range(2, 11)
for k in k_value:y_predict = sklearn_classify(x_train, y_train, x_test, k)accuracy = get_accuracy(y_test, y_predict)normal_accuracy.append(accuracy)plt.xlabel("k")
plt.ylabel("accuracy")
new_ticks = np.linspace(0.6, 0.9, 10)  # 设定 y 轴显示，从 0.6 到 0.9
plt.yticks(new_ticks)
plt.plot(k_value, normal_accuracy, c='r')
plt.grid(True)  # 给画布增加网格