PLA Percentron Learning Algorithm #台大 Machine learning #

2024-06-06 09:32

本文主要是介绍PLA Percentron Learning Algorithm #台大 Machine learning #,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

                 Percentron  Learning Algorithm

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述


于垃圾邮件的鉴别
这里肯定会预先给定一个关于垃圾邮件词汇的集合(keyword set),然后根据四组不通过的输入样本里面垃圾词汇出现的频率来鉴别是否是垃圾邮件.系统输出+1判定为垃圾邮件,否则不是.这里答案是第二组.

这里写图片描述

拿二维数据来做例子.我们要选取一条线来划分红色的叉叉,和蓝色的圈圈样本点(线性划分).怎么做呢?这里的困难之处就在于,其实可行的解可能存在无数条直线可以划分这些样本点.很难全部求解,或许实际生活中并不需要全部求解.于是,我们可以先随意的去初始一个假设解,然后不断的去修正这个一开始可能不是正确的解.使之越来越接近正确可行的一个解.

我们一开始把 w 权重系数置为0,然后去修正这个权重系数.怎么修正呢?

这里写图片描述

PLA的重要性质:有错才更新!

IF
如果实际输出wTtxn(t) 和预测输出不一致的话,
将新的权重设置为 wt+1=wt+yn(t)xn(t) .
即,如果输出 y(n) 是个正数,期望输出y和x向量方向一致,试图减小夹角.如果输出 y(n) 是个负数,期望输出y和x向量方向恰好相反,试图减增大夹角.
ELSE
   这里如果实际输出和期望输出无差异,则不需要进行修正了.





关于线性可划分性的探讨:

这里写图片描述

其实关于这一步夹角越来越小的数学推到我也不是很清楚.

这里写图片描述

Funtime

这里写图片描述

下面是PLA的一个demo代码:
这个demo 来自link,之前的源码在我的配置环境下不能跑,我有稍作改动.
https://datasciencelab.wordpress.com/2014/01/10/machine-learning-classics-the-perceptron/

"""
Programmer  :   EOF
file        :   pla.py
date        :   2015.02.22Code description:This program is coded for Perceptron Learning Algorithm."""
import numpy as np
import matplotlib.pyplot as plt
import random
import os, subprocessclass Perceptron:def __init__(self, N):# random linearly seperated dataxA, yA, xB, yB = [random.uniform(-1, 1) for i in range(4)]self.V = np.array([xB*yA - xA*yB, yB - yA, xA - xB])self.X = self.generate_points(N)def generate_points(self, N):X = []for i in range(N):x1, x2 = [random.uniform(-1, 1) for i in range(2)]x = np.array([1, x1, x2])s = int(np.sign(self.V.T.dot(x)))X.append((x, s))return Xdef plot(self, mispts = None, vec = None, save = False):fig = plt.figure(figsize=(5,5))plt.xlim(-1, 1)plt.ylim(-1, 1)V = self.Va, b = -V[1]/V[2], -V[0]/V[2]l = np.linspace(-1, 1)plt.plot(l, a*l + b, 'k-')cols = {1: 'r', -1: 'b'}for x,s in self.X:plt.plot(x[1], x[2], cols[s] + 'o')if mispts:for x, s in mispts:plt.plot(x[1], x[2], cols[s] + '.')if vec != None:aa, bb = -vec[1]/vec[2], -vec[0]/vec[2]plt.plot(l, aa*l + bb, 'g-', lw = 2)if save:if not mispts:plt.title('N = %s' % (str(len(self.X))))else:plt.title('N = %s with % test points' \% (str(len(self.X)), str(len(mispts))))plt.savefig('p_N %s ' % (str(len(self.X))), \dpi = 200, bbox_inches = 'tight')plt.show()def classification_error(self, vec, pts = None):# Error defined as fraction of misclassified pointsif not pts:pts = self.XM = len(pts)n_mispts = 0for x, s in pts:if int(np.sign(vec.T.dot(x))) != s :n_mispts += 1error = n_mispts / float(M)return errordef choose_miscl_point(self, vec):# Choose a random point among the misclassifiedpts = self.Xmispts = []for x, s in pts:if int(np.sign(vec.T.dot(x))) !=s :mispts.append((x, s))return mispts[random.randrange(0, len(mispts))]def pla(self, save = False):# Initialize the weights to zerosw = np.zeros(3)X, N = self.X, len(self.X)it = 0# Iterate until all points are correctly classifiedwhile self.classification_error(w) != 0:it += 1# pick random misclassified pointx, s = self.choose_miscl_point(w)# update weightsw += s*xif save:self.plot(vec = w)plt.title('N = %s, Iteration %s\n' \% (str(N), str(it)))plt.savefig('p_N % s_it %s' % (str(N), str(it)), \dpi = 200, bbox_inches = 'tight')self.w = wdef check_error(self, M, vec):check_pts = self.generate_points(M)return self.classification_error(vec, pts = check_pts)#--------for testing-------------------------
p = Perceptron(20)
#p.plot(p.generate_points(20),p.w, save=True)
p.plot()

这篇关于PLA Percentron Learning Algorithm #台大 Machine learning #的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1035723

相关文章

简单的Q-learning|小明的一维世界(3)

简单的Q-learning|小明的一维世界(1) 简单的Q-learning|小明的一维世界(2) 一维的加速度世界 这个世界,小明只能控制自己的加速度,并且只能对加速度进行如下三种操作:增加1、减少1、或者不变。所以行动空间为: { u 1 = − 1 , u 2 = 0 , u 3 = 1 } \{u_1=-1, u_2=0, u_3=1\} {u1​=−1,u2​=0,u3​=1}

简单的Q-learning|小明的一维世界(2)

上篇介绍了小明的一维世界模型 、Q-learning的状态空间、行动空间、奖励函数、Q-table、Q table更新公式、以及从Q值导出策略的公式等。最后给出最简单的一维位置世界的Q-learning例子,从给出其状态空间、行动空间、以及稠密与稀疏两种奖励函数的设置方式。下面将继续深入,GO! 一维的速度世界 这个世界,小明只能控制自己的速度,并且只能对速度进行如下三种操作:增加1、减

ZOJ 3324 Machine(线段树区间合并)

这道题网上很多代码是错误的,由于后台数据水,他们可以AC。 比如这组数据 10 3 p 0 9 r 0 5 r 6 9 输出应该是 0 1 1 所以有的人直接记录该区间是否被覆盖过的方法是错误的 正确方法应该是记录这段区间的最小高度(就是最接近初始位置的高度),和最小高度对应的最长左区间和右区间 开一个sum记录这段区间最小高度的块数,min_v 记录该区间最小高度 cover

【tensorflow 使用错误】tensorflow2.0 过程中出现 Error : Failed to get convolution algorithm

如果在使用 tensorflow 过程中出现 Error : Failed to get convolution algorithm ,这是因为显卡内存被耗尽了。 解决办法: 在代码的开头加入如下两句,动态分配显存 physical_device = tf.config.experimental.list_physical_devices("GPU")tf.config.experiment

Learning Memory-guided Normality for Anomaly Detection——学习记忆引导的常态异常检测

又是一篇在自编码器框架中研究使用记忆模块的论文,可以看做19年的iccv的论文的衍生,在我的博客中对19年iccv这篇论文也做了简单介绍。韩国人写的,应该是吧,这名字听起来就像。 摘要abstract 我们解决异常检测的问题,即检测视频序列中的异常事件。基于卷积神经网络的异常检测方法通常利用代理任务(如重建输入视频帧)来学习描述正常情况的模型,而在训练时看不到异常样本,并在测试时使用重建误

Learning Temporal Regularity in Video Sequences——视频序列的时间规则性学习

Learning Temporal Regularity in Video Sequences CVPR2016 无监督视频异常事件检测早期工作 摘要 由于对“有意义”的定义不明确以及场景混乱,因此在较长的视频序列中感知有意义的活动是一个具有挑战性的问题。我们通过在非常有限的监督下使用多种来源学习常规运动模式的生成模型(称为规律性)来解决此问题。体来说,我们提出了两种基于自动编码器的方法,以

COD论文笔记 Adaptive Guidance Learning for Camouflaged Object Detection

论文的主要动机、现有方法的不足、拟解决的问题、主要贡献和创新点如下: 动机: 论文的核心动机是解决伪装目标检测(COD)中的挑战性任务。伪装目标检测旨在识别和分割那些在视觉上与周围环境高度相似的目标,这对于计算机视觉来说是非常困难的任务。尽管深度学习方法在该领域取得了一定进展,但现有方法仍面临有效分离目标和背景的难题,尤其是在伪装目标与背景特征高度相似的情况下。 现有方法的不足之处: 过于

One-Shot Imitation Learning

发表时间:NIPS2017 论文链接:https://readpaper.com/pdf-annotate/note?pdfId=4557560538297540609&noteId=2424799047081637376 作者单位:Berkeley AI Research Lab, Work done while at OpenAI Yan Duan†§ , Marcin Andrychow

Introduction to Deep Learning with PyTorch

1、Introduction to PyTorch, a Deep Learning Library 1.1、Importing PyTorch and related packages import torch# supports:## image data with torchvision## audio data with torchaudio## text data with t

《Learning To Count Everything》CVPR2021

摘要 论文提出了一种新的方法来解决视觉计数问题,即在给定类别中仅有少量标注实例的情况下,对任何类别的对象进行计数。将计数问题视为一个少样本回归任务,并提出了一种新颖的方法,该方法通过查询图像和查询图像中的少量示例对象来预测图像中所有感兴趣对象的存在密度图。此外,还提出了一种新颖的适应策略,使网络能够在测试时仅使用新类别中的少量示例对象来适应任何新的视觉类别。为了支持这一任务,作者还引入了一个包含