【机器学习】逻辑斯谛回归模型实现

2023-10-31 08:30

本文主要是介绍【机器学习】逻辑斯谛回归模型实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 数据准备
  • 逻辑斯谛回归模型
  • 模型参数估计
  • 总结
  • 参考


数据准备

本文实现的是二项逻辑斯谛回归模型,因此使用的是处理过后的两类别数据 mnist_binary.csv,表中对原手写数据中0~4取作负类 -1,将5~9取作正类 +1。

另根据逻辑斯谛回归模型按条件概率分布定义:
P ( Y = 1 ∣ x ) = e x p ( w ⋅ x ) 1 + e x p ( w ⋅ x ) P(Y=1|x)=\frac{exp(w\cdot x)}{1 + exp(w\cdot x)} P(Y=1∣x)=1+exp(wx)exp(wx)
P ( Y = 0 ∣ x ) = 1 1 + e x p ( w ⋅ x ) P(Y=0|x)=\frac{1}{1 + exp(w\cdot x)} P(Y=0∣x)=1+exp(wx)1

Y的取值应为0,1,因此需要将表中的-1类转换为0后再进行训练;此外由于要计算指数函数,特征取值过多会导致指数函数计算过程中的溢出,因此还需要将图像数据进行二值化操作。此部分直接在代码中完成,就不生成相应的数据集了。


逻辑斯谛回归模型

上面提到的逻辑斯谛回归模型的条件概率分布定义,可以看作是模型将线性函数 w ⋅ x w\cdot x wx通过其定义式转换为概率表现形式:
P ( Y = 1 ∣ x ) = e x p ( w ⋅ x ) 1 + e x p ( w ⋅ x ) P(Y=1|x)=\frac{exp(w\cdot x)}{1 + exp(w\cdot x)} P(Y=1∣x)=1+exp(wx)exp(wx)

上式中表示事情发生的概率,在线性函数趋近于无穷大时,概率值越接近于1;线性函数趋近于负无穷时,概率值就接近于0;函数图像如下所示,模型的临界点在线性函数为零时,条件概率值为0.5。
逻辑斯谛

逻辑斯谛回归模型也可以推广至多分类,见总结部分。


模型参数估计

设上述逻辑斯谛回归模型可改写为如下格式:

P ( Y = 1 ∣ x ) = π ( x ) , P ( Y = 0 ∣ x ) = 1 − π ( x ) P(Y=1|x)=\pi(x),P(Y=0|x)=1-\pi(x) P(Y=1∣x)=π(x)P(Y=0∣x)=1π(x)

其似然函数为:

∏ i = 1 N [ π ( x i ) ] y i [ 1 − π ( x i ) ] 1 − y i \prod_{i=1}^{N}[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i} i=1N[π(xi)]yi[1π(xi)]1yi

对数似然函数:
L ( w ) = ∑ i = 1 N [ y i l o g π ( x i ) + ( 1 − y i ) l o g ( 1 − π ( x i ) ) ] = ∑ i = 1 N [ y i l o g π ( x i ) 1 − π ( x i ) + l o g ( 1 − π ( x i ) ) ] = ∑ i = 1 N [ y i ( w ⋅ x i ) − l o g ( 1 + e x p ( w ⋅ x i ) ) ] = y i ( w ⋅ x ) − l o g ( 1 + e x p ( w ⋅ x ) ) \begin{aligned} L(w) &= \sum_{i=1}^N[y_ilog\pi(x_i) + (1 - y_i)log(1 - \pi(x_i))] \\ &=\sum_{i=1}^N[y_ilog\frac{\pi(x_i)}{1 - \pi(x_i)} + log(1 - \pi(x_i))] \\ &=\sum_{i=1}^N[y_i(w\cdot x_i) - log(1 + exp(w\cdot x_i))] \\ &=y_i(w\cdot x) - log(1+exp(w\cdot x)) \end{aligned} L(w)=i=1N[yilogπ(xi)+(1yi)log(1π(xi))]=i=1N[yilog1π(xi)π(xi)+log(1π(xi))]=i=1N[yi(wxi)log(1+exp(wxi))]=yi(wx)log(1+exp(wx))

利用随机梯度下降方法优化算法,以向量形式对权重进行求导:
∂ L ( w ) ∂ w = y i x − x ⋅ e x p ( w ⋅ x ) 1 + e x p ( w ⋅ x ) = x [ y i − e x p ( w ⋅ x ) 1 + e x p ( w ⋅ x ) ] \begin{aligned} \frac{\partial L(w)}{\partial w} &= y_ix - \frac{x\cdot exp(w\cdot x)}{1+exp(w\cdot x)} \\ &=x[y_i - \frac{exp(w\cdot x)}{1 + exp(w\cdot x)}] \end{aligned} wL(w)=yix1+exp(wx)xexp(wx)=x[yi1+exp(wx)exp(wx)]

每次迭代过程中更新权重参数:

w = w + α ∂ L ( w ) ∂ w w = w + \alpha\frac{\partial L(w)}{\partial w} w=w+αwL(w)


根据上述算法步骤,可以发现基于随机梯度下降法的二项逻辑斯谛回归和基于梯度下降法的感知机模型学习算法流程基本一致,区别在于参数步骤的更新方式。另外在判别过程中:感知机采用符号函数Sgin,逻辑斯谛回归采用逻辑斯谛分布Sigmoid进行计算,可参考感知机模型学习原始算法。

具体实现代码如下:

# @Author: phd
# @Date: 2019-08-18
# @Site: github.com/phdsky
# @Description: NULLimport time
import logging
import numpy as np
import pandas as pdfrom sklearn.model_selection import train_test_split
from sklearn.preprocessing import Binarizerdef log(func):def wrapper(*args, **kwargs):start_time = time.time()ret = func(*args, **kwargs)end_time = time.time()logging.debug('%s() cost %s seconds' % (func.__name__, end_time - start_time))return retreturn wrapperdef calc_accuracy(y_pred, y_truth):assert len(y_pred) == len(y_truth)n = len(y_pred)hit_count = 0for i in range(0, n):if y_pred[i] == y_truth[i]:hit_count += 1print("Predicting accuracy %f" % (hit_count / n))class LogisticRegression(object):def __init__(self, w, b, learning_rate, max_epoch, learning_period, learning_ratio):self.weight = wself.bias = bself.lr_rate = learning_rateself.max_epoch = max_epochself.lr_period = learning_periodself.lr_ratio = learning_ratiodef calculate(self, feature):# wx = sum([self.weight[j] * feature[j] for j in range(len(self.weight))])wx = np.dot(self.weight.transpose(), feature)exp_wx = np.exp(wx)predicted = 0 if (1 / (1 + exp_wx)) > 0.5 else 1return predicted, exp_wx@logdef train(self, X_train, y_train):# Fuse weight with biasself.weight = np.full((len(X_train[0]), 1), self.weight, dtype=float)self.weight = np.row_stack((self.weight, self.bias))epoch = 0while epoch < self.max_epoch:hit_count = 0data_count = len(X_train)for i in range(data_count):feature = X_train[i].reshape([len(X_train[i]), 1])feature = np.row_stack((feature, 1))label = y_train[i]predicted, exp_wx = self.calculate(feature)if predicted == label:hit_count += 1continue# for k in range(len(self.weight)):#     self.weight[k] += self.lr_rate * (label*feature[k] - ((feature[k] * exp_wx) / (1 + exp_wx)))self.weight += self.lr_rate * feature * (label - (exp_wx / (1 + exp_wx)))epoch += 1print("\rEpoch %d, lr_rate=%f, Acc = %f" % (epoch, self.lr_rate, hit_count / data_count), end='')# Decay learning rateif epoch % self.lr_period == 0:self.lr_rate /= self.lr_ratio# Stop trainingif self.lr_rate <= 1e-6:print("\nLearning rate is too low, Early stopping...\n")break@logdef predict(self, X_test):n = len(X_test)predict_label = np.full(n, -1)for i in range(0, n):to_predict = X_test[i].reshape([len(X_test[i]), 1])vec_predict = np.row_stack((to_predict, 1))predict_label[i], _ = self.calculate(vec_predict)return predict_labelif __name__ == "__main__":logger = logging.getLogger()logger.setLevel(logging.DEBUG)mnist_data = pd.read_csv("../data/mnist_binary.csv")mnist_values = mnist_data.valuesimages = mnist_values[::, 1::]labels = mnist_values[::, 0]X_train, X_test, y_train, y_test = train_test_split(images, labels, test_size=0.33, random_state=42)# Handle all -1 in y_train to 0y_train = y_train * (y_train == 1)y_test = y_test * (y_test == 1)# Binary the image to avoid predict_probability gets 0binarizer_train = Binarizer(threshold=127).fit(X_train)X_train_binary = binarizer_train.transform(X_train)binarizer_test = Binarizer(threshold=127).fit(X_test)X_test_binary = binarizer_test.transform(X_test)lr = LogisticRegression(w=0, b=1, learning_rate=0.001, max_epoch=100,learning_period=10, learning_ratio=3)print("Logistic regression training...")lr.train(X_train=X_train_binary, y_train=y_train)print("\nTraining done...")print("Testing on %d samples..." % len(X_test))y_predicted = lr.predict(X_test=X_test_binary)calc_accuracy(y_pred=y_predicted, y_truth=y_test)

代码输出

/Users/phd/Softwares/anaconda3/bin/python /Users/phd/Desktop/ML/logistic_regression/logistic_regression.py
Logistic regression training...
Epoch 70, lr_rate=0.000001, Acc = 0.818479
Learning rate is too low, Early stopping...Training done...
Testing on 13860 samples...
DEBUG:root:train() cost 38.08758902549744 seconds
Predicting accuracy 0.831097
DEBUG:root:predict() cost 0.2131938934326172 secondsProcess finished with exit code 0

从结果可以看出,在图像二值化后逻辑斯谛算法的训练和测试精度都在80%+,算法效果较好;预测结果优于直接使用原始数据的感知机模型。


总结

  1. 逻辑斯谛回归模型是一种分类模型
  2. 逻辑斯谛回归是由输入线性函数表示的输出对数几率模型;其模型定义由如下条件概率分布表示:(将二项推广为多项模型)

{ P ( Y = k ∣ x ) = e x p ( w k ⋅ x ) 1 + ∑ k = 1 K − 1 e x p ( w k ⋅ x ) , k = 1 , 2 , . . . , K − 1 P ( Y = K ∣ x ) = 1 1 + ∑ k = 1 K − 1 e x p ( w k ⋅ x ) \left\{ \begin{aligned} P(Y=k|x) &= \frac{exp(w_k\cdot x)}{1 + \sum\limits_{k=1}^{K-1}exp(w_k\cdot x)}, k=1,2,...,K-1 \\ P(Y=K|x) &= \frac{1}{1 + \sum\limits_{k=1}^{K-1}exp(w_k\cdot x)} \end{aligned} \right. P(Y=kx)P(Y=Kx)=1+k=1K1exp(wkx)exp(wkx),k=1,2,...,K1=1+k=1K1exp(wkx)1


参考

  1. 《统计学习方法》

这篇关于【机器学习】逻辑斯谛回归模型实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/314073

相关文章

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

SpringBoot基于配置实现短信服务策略的动态切换

《SpringBoot基于配置实现短信服务策略的动态切换》这篇文章主要为大家详细介绍了SpringBoot在接入多个短信服务商(如阿里云、腾讯云、华为云)后,如何根据配置或环境切换使用不同的服务商,需... 目录目标功能示例配置(application.yml)配置类绑定短信发送策略接口示例:阿里云 & 腾

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.