基于Python实践感知器分类算法

2024-04-15 02:58
文章标签 python 算法 实践 分类 感知器

本文主要是介绍基于Python实践感知器分类算法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

       【翻译自： Perceptron Algorithm for Classification in Python】

      【说明：Jason Brownlee PhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】

  Perceptron是用于二进制分类任务的线性机器学习算法。它可以被认为是人工神经网络的第一种和最简单的类型之一。 绝对不是“深度”学习，而是重要的组成部分。与逻辑回归相似，它可以快速学习两类分类任务在特征空间中的线性分离，尽管与逻辑回归不同，它使用随机梯度下降优化算法学习并且不预测校准概率。

     在本教程中，您将发现Perceptron分类机器学习算法。完成本教程后，您将知道：

Perceptron分类器是一种线性算法，可以应用于二进制分类任务。
如何使用带有Scikit-Learn的Perceptron模型进行拟合，评估和做出预测。
如何在给定的数据集上调整Perceptron算法的超参数。

教程概述

     本教程分为3个部分，共三个部分。他们是：

感知器算法
Perceptron与Scikit-学习
音调感知器超参数

感知器算法

       Perceptron算法是两类（二进制）分类机器学习算法。它是一种神经网络模型，可能是最简单的神经网络模型类型。它由将一行数据作为输入并预测类标签的单个节点或神经元组成。这可以通过计算输入的加权和和偏差（设​​置为1）来实现。模型输入的加权总和称为激活。

      激活=权重*输入+偏差
     如果激活高于0.0，则模型将输出1.0；否则，模型将输出1.0。否则，将输出0.0。

     预测1：如果激活> 0.0
     预测0：如果激活<= 0.0
     假设输入已乘以模型系数，如线性回归和逻辑回归，则优良作法是在使用模型之前对数据进行标准化或标准化。感知器是线性分类算法。这意味着它将学习在特征空间中使用一条线（称为超平面）将两个类别分开的决策边界。因此，适用于那些类别可以通过线性或线性模型（称为线性可分离）很好地分离的问题。该模型的系数称为输入权重，并使用随机梯度下降优化算法进行训练。一次将来自训练数据集的示例显示给模型，模型进行预测并计算误差。然后，更新模型的权重以减少示例的误差。这称为Perceptron更新规则。对于训练数据集中的所有示例（称为时期）都重复此过程。然后，使用示例更新模型的过程会重复很多次。在每批中，使用较小比例的误差来更新模型权重，并且该比例由称为学习率的超参数控制，通常将其设置为较小的值。这是为了确保学习不会太快发生，从而导致技能水平可能较低，这被称为模型权重的优化（搜索）过程的过早收敛。

                                                             权重（t + 1）=权重（t）+学习率*（expected_i –预测值）* input_i
     当模型所产生的误差降至较低水平或不再改善时，或者执行了最大时期数时，训练将停止。

       模型权重的初始值设置为较小的随机值。另外，在每个训练纪元之前对训练数据集进行混洗。这是设计使然，以加速和改善模型训练过程。因此，学习算法是随机的，并且每次运行都会获得不同的结果。因此，优良作法是使用重复评估来总结算法在数据集上的性能，并报告平均分类精度。学习率和训练时期数是算法的超参数，可以使用启发式或超参数调整来设置。

      有关Perceptron算法的更多信息，请参见教程：

                                  如何从头开始在Python中实现感知器算法
      现在我们已经熟悉了Perceptron算法，现在让我们探索如何在Python中使用该算法。

Perceptron与Scikit-Learn

       可通过Perceptron类在scikit-learn Python机器学习库中使用Perceptron算法。该类允许您配置学习率（eta0），默认为1.0。

# define model
model = Perceptron(eta0=1.0)

      该实现还允许您配置训练时期的总数（max_iter），默认为1,000。

# define model
model = Perceptron(max_iter=1000)

     Perceptron算法的scikit-learn实现还提供了您可能想探索的其他配置选项，例如提前停止和使用惩罚损失。我们可以通过一个有效的示例来演示Perceptron分类器。首先，让我们定义一个综合分类数据集。我们将使用make_classification（）函数创建一个包含1,000个示例的数据集，每个示例包含20个输入变量。该示例创建并汇总了数据集。

# test classification dataset
from sklearn.datasets import make_classification
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# summarize the dataset
print(X.shape, y.shape)

       运行示例将创建数据集并确认数据集的行数和列数。

(1000, 10) (1000,)

       我们可以通过RepeatedStratifiedKFold类使用重复的分层k折交叉验证来拟合和评估Perceptron模型。 我们将在测试装置中使用10折和3次重复。

# create the model
model = Perceptron()

       下面列出了为综合二进制分类任务评估Perceptron模型的完整示例。

# evaluate a perceptron model on the dataset
from numpy import mean
from numpy import std
from sklearn.datasets import make_classification
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron()
# define model evaluation method
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
# evaluate model
scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1)
# summarize result
print('Mean Accuracy: %.3f (%.3f)' % (mean(scores), std(scores)))

      运行示例将在综合数据集上评估Perceptron算法，并报告10倍交叉验证的三个重复中的平均准确性。鉴于学习算法的随机性，您的具体结果可能会有所不同。 考虑运行该示例几次。在这种情况下，我们可以看到该模型实现了约84.7％的平均准确度。

Mean Accuracy: 0.847 (0.052)

     我们可能决定使用Perceptron分类器作为最终模型，并对新数据进行预测。这可以通过在所有可用数据上拟合模型管道并调用传递新数据行的predict（）函数来实现。我们可以通过下面列出的完整示例进行演示。

# make a prediction with a perceptron model on the dataset
from sklearn.datasets import make_classification
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron()
# fit model
model.fit(X, y)
# define new data
row = [0.12777556,-3.64400522,-2.23268854,-1.82114386,1.75466361,0.1243966,1.03397657,2.35822076,1.01001752,0.56768485]
# make a prediction
yhat = model.predict([row])
# summarize prediction
print('Predicted Class: %d' % yhat)

       运行示例将使模型适合模型并为新的数据行进行类标签预测。

Predicted Class: 1

       接下来，我们可以看一下配置模型的超参数。

调整感知器超参数

     必须为您的特定数据集配置Perceptron算法的超参数。也许最重要的超参数是学习率。较高的学习速度可能会使模型学习速度加快，但可能是以降低技能为代价的。 较小的学习率可以得到性能更好的模型，但是训练模型可能需要很长时间。您可以在本教程中了解有关探索学习率的更多信息：训练深度学习神经网络时如何配置学习率通常以较小的对数刻度（例如1e-4（或更小）和1.0）测试学习率。 在这种情况下，我们将测试以下值：

# define grid
grid = dict()
grid['eta0'] = [0.0001, 0.001, 0.01, 0.1, 1.0]

       下面的示例使用GridSearchCV类以及我们定义的值网格演示了这一点。

# grid search learning rate for the perceptron
from sklearn.datasets import make_classification
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron()
# define model evaluation method
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
# define grid
grid = dict()
grid['eta0'] = [0.0001, 0.001, 0.01, 0.1, 1.0]
# define search
search = GridSearchCV(model, grid, scoring='accuracy', cv=cv, n_jobs=-1)
# perform the search
results = search.fit(X, y)
# summarize
print('Mean Accuracy: %.3f' % results.best_score_)
print('Config: %s' % results.best_params_)
# summarize all
means = results.cv_results_['mean_test_score']
params = results.cv_results_['params']
for mean, param in zip(means, params):print(">%.3f with: %r" % (mean, param))

     运行示例将使用重复的交叉验证来评估配置的每种组合。鉴于学习算法的随机性，您的具体结果可能会有所不同。 尝试运行该示例几次。在这种情况下，我们可以看到，学习率比默认值小会导致更好的性能，学习率0.0001和0.001均达到约85.7％的分类精度，而默认值1.0则达到约84.7％的精度。

Mean Accuracy: 0.857
Config: {'eta0': 0.0001}
>0.857 with: {'eta0': 0.0001}
>0.857 with: {'eta0': 0.001}
>0.853 with: {'eta0': 0.01}
>0.847 with: {'eta0': 0.1}
>0.847 with: {'eta0': 1.0}

       另一个重要的超参数是使用多少个时期来训练模型。这可能取决于训练数据集，并且可能相差很大。 同样，我们将以1到1e + 4的对数刻度探索配置值。

# define grid
grid = dict()
grid['max_iter'] = [1, 10, 100, 1000, 10000]

      我们将使用上次搜索中的良好学习率0.0001。

# define model
model = Perceptron(eta0=0.0001)

     下面列出了搜索训练时期数的网格的完整示例。

# grid search total epochs for the perceptron
from sklearn.datasets import make_classification
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import RepeatedStratifiedKFold
from sklearn.linear_model import Perceptron
# define dataset
X, y = make_classification(n_samples=1000, n_features=10, n_informative=10, n_redundant=0, random_state=1)
# define model
model = Perceptron(eta0=0.0001)
# define model evaluation method
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
# define grid
grid = dict()
grid['max_iter'] = [1, 10, 100, 1000, 10000]
# define search
search = GridSearchCV(model, grid, scoring='accuracy', cv=cv, n_jobs=-1)
# perform the search
results = search.fit(X, y)
# summarize
print('Mean Accuracy: %.3f' % results.best_score_)
print('Config: %s' % results.best_params_)
# summarize all
means = results.cv_results_['mean_test_score']
params = results.cv_results_['params']
for mean, param in zip(means, params):print(">%.3f with: %r" % (mean, param))

     运行示例将使用重复的交叉验证来评估配置的每种组合。鉴于学习算法的随机性，您的具体结果可能会有所不同。 尝试运行该示例几次。在这种情况下，我们可以看到从10到10,000的时间段，分类精度几乎相同。 一个有趣的例外是探索同时配置学习率和训练时期的数量，以查看是否可以获得更好的结果。

Mean Accuracy: 0.857
Config: {'max_iter': 10}
>0.850 with: {'max_iter': 1}
>0.857 with: {'max_iter': 10}
>0.857 with: {'max_iter': 100}
>0.857 with: {'max_iter': 1000}
>0.857 with: {'max_iter': 10000}

这篇关于基于Python实践感知器分类算法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/904716。

相关文章

不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
康拓展开（hash算法中会用到）

康拓展开（hash算法中会用到）

康拓展开是一个全排列到一个自然数的双射（也就是某个全排列与某个自然数一一对应） 公式： X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。（a[i]在不同应用中的含义不同）； 典型应用： 计算当前排列在所有由小到大全排列中的顺序，也就是说求当前排列是第
阅读更多...
认识、理解、分类——acm之搜索

认识、理解、分类——acm之搜索

普通搜索方法有两种：1、广度优先搜索；2、深度优先搜索； 更多搜索方法： 3、双向广度优先搜索； 4、启发式搜索（包括A*算法等）； 搜索通常会用到的知识点：状态压缩（位压缩，利用hash思想压缩）。
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

【数据结构】——原来排序算法搞懂这些就行，轻松拿捏

前言：快速排序的实现最重要的是找基准值，下面让我们来了解如何实现找基准值 基准值的注释：在快排的过程中，每一次我们要取一个元素作为枢纽值，以这个数字来将序列划分为两部分。 在此我们采用三数取中法，也就是取左端、中间、右端三个数，然后进行排序，将中间数作为枢纽值。 快速排序实现主框架： //快速排序 void QuickSort(int* arr, int left, int rig
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2