机器学习逻辑回归模型总结——从原理到sklearn实践

2024-06-16 03:32

本文主要是介绍机器学习逻辑回归模型总结——从原理到sklearn实践,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

0x00 基本原理

逻辑回归算法,从名字上看似乎是个回归问题,但实际上逻辑回归是个典型的分类算法。
对于分类问题,一般都是一些离散变量,且y的取值如下:

y{0,1,2,3,...,n}
,显然不能使用线性回归拟合。
以二元分类问题开始讨论,y的取值为“类别1,类别2”,为了表示清楚,这里使用0和1来表示二元分类中的两个类别,即y的取值为: y{0,1}
和线性回归问题一样,我们规定假设函数为: hθ(x) ,设置取值范围: 0hθ(x)1 ,因为我们希望算法得出的结果取值非0即1,所以还要设置一个阈值,如果得出的概率大于这个阈值,则假设函数输出1,否则输出0。
在逻辑回归中,实际上对于假设函数,使用了一种逻辑函数的概念,函数如下:
hθ(x)=11+eθTx

称为S型函数,或者逻辑函数。取值范围为(0,1),符合我们上面对假设函数的要求。通常,设置阈值为0.5,如果训练样本输入到假设函数中,得到的值大于0.5,则认为分类为1,否则分类为0:
P(y=0|x;θ)+P(y=1|x;θ)=1

相应的,我们的损失函数(Cost Function)为:
J(θ)=1mi=1m12(hθ(x(i))y(i))2

如果这里计算折损的形式还是和线性回归一样平方损失函数: mi=112(hθ(x(i))y(i))2 ,实际上,在求minJ的时候,对于J函数,我们很可能得出的不是凸函数的形式,这样再使用梯度下降算法时,会陷入至局部最优解中,很难找到全局最优解。
所以在计算折损值的时候,逻辑回归中使用了对数损失函数来获得一个凸函数的J,整理得到的最终损失函数形式如下,其中省略了若干数学推导:

我们再次使用梯度下降算法来求出最优的参数向量,梯度下降在逻辑回归中表现如下:

可能有人发现,这不和线性拟合问题中的梯度下降公式一样吗?实际上,由于逻辑回归模型中采用了逻辑函数来表示假设函数,所以这两种模型中的梯度下降表达式是完全不同的两回事儿。
有了梯度下降算法,我们就可以使用训练集来求出最优的参数向量。逻辑回归中,为了消除过度拟合问题,有正则化方法,这里就不再赘述。

0x01 算法实现

根据Andrew Ng所提供的资料,我们依旧选择Octave来实现逻辑回归算法。
首先是sigmoid函数(逻辑函数)的表达:

function g = sigmoid(z)
g = zeros(size(z));
g = 1 ./ (1+exp(-z));
end

Cost Function的实现:

function [J, grad] = costFunction(theta, X, y)
% 初始化
m = length(y);
J = 0;
grad = zeros(size(theta));% 损失函数的计算
temp = sigmoid(X*theta);
temp = temp(:,size(temp, 2));
J = (1/m) * sum((-y.*log(temp))-((1-y).*log(1-temp))) ;% 损失函数的导数计算
for i=1:size(theta,1),grad(i) = (1/m) * sum((temp - y).*X(:,i));
end;
end

由于资料中所给的不是直接使用梯度下降算法,而是使用了Octave中的优化方法来求最优参数向量,所以只需要返回损失函数J和各个损失函数的导数grad。实际上,如果改成直接使用梯度下降的话,只需要在求grad的过程中,同步更新我们各个参数即可。
预测函数如下,这里一般选择阈值为0.5,所以大于0.5的假设函数返回值,我们就判断类别为1。

function p = predict(theta, X)
m = size(X, 1); 
p = zeros(m, 1);% 计算类别,使用p向量返回
for i=1:m,prop = sigmoid(X(i,:)*theta) ;if prop >= 0.5,p(i) = 1;end;
end;
end;

0x02 算法运行

运行算法,可以看到可视化的决策边界:

0x03 sklearn库实践

清楚了逻辑回归模型的原理,我们使用python进行机器学习演练,使用sklearn机器学习库,可以很方便地进行实践。
数据集为学生的两次考试成绩以及是否通过大学申请,我们用逻辑回归进行分类,以后给出一个样本,输出成功通过大学申请的概率。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from __future__ import division
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
from sklearn.cross_validation import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report 
from sklearn.metrics import precision_recall_curve, roc_curve, auc data = pd.read_csv('ex2data1.txt', sep=',', \skiprows=[2], names=['score1','score2','result'])
score_data = data.loc[:,['score1','score2']]
result_data = data.resultp = 0
for i in xrange(10):x_train, x_test, y_train, y_test = \train_test_split(score_data, result_data, test_size = 0.2)model = LogisticRegression(C=1e9)model.fit(x_train, y_train)predict_y = model.predict(x_test)p += np.mean(predict_y == y_test)# 绘制图像
pos_data = data[data.result == 1].loc[:,['score1','score2']]
neg_data = data[data.result == 0].loc[:,['score1','score2']]h = 0.02
x_min, x_max = score_data.loc[:, ['score1']].min() - .5, score_data.loc[:, ['score1']].max() + .5
y_min, y_max = score_data.loc[:, ['score2']].min() - .5, score_data.loc[:, ['score2']].max() + .5
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])# 绘制边界和散点
Z = Z.reshape(xx.shape)
plt.pcolormesh(xx, yy, Z, cmap=plt.cm.Paired)
plt.scatter(x=pos_data.score1, y=pos_data.score2, color='black', marker='o')
plt.scatter(x=neg_data.score1, y=neg_data.score2, color='red', marker='*')plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.show()# 模型表现
answer = model.predict_proba(x_test)[:,1]  
precision, recall, thresholds = precision_recall_curve(y_test, answer)      
report = answer > 0.5  
print(classification_report(y_test, report, target_names = ['neg', 'pos']))  
print("average precision:", p/100)  

运行结果如下:

画出了决策边界之后,就可以看到我们最后的分类结果。
当然也可以使用precision_call_curve方法自动计算召回率精度等数据:

               precision    recall  f1-score   supportneg       0.88      0.88      0.88         8pos       0.92      0.92      0.92        12avg / total       0.90      0.90      0.90        20
('average precision:', 0.089999999999999997)

精度达到了90%,模型效果还不错。

0x04 总结

逻辑回归模型实际上是一个典型的监督学习分类算法,配合sklearn库可以很方便的进行逻辑回归处理。前提是要真正理解逻辑回归模型的原理和推导过程。
实战中,机器学习和信息安全结合越来越紧密了,所以这也是我为啥开始学习机器学习的原因,就逻辑回归而言,完全可以用在防爬检测,扫描器检测,恶意URL提取的应用上,实战的前提是了解原理:)

这篇关于机器学习逻辑回归模型总结——从原理到sklearn实践的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1065359

相关文章

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

tomcat多实例部署的项目实践

《tomcat多实例部署的项目实践》Tomcat多实例是指在一台设备上运行多个Tomcat服务,这些Tomcat相互独立,本文主要介绍了tomcat多实例部署的项目实践,具有一定的参考价值,感兴趣的可... 目录1.创建项目目录,测试文China编程件2js.创建实例的安装目录3.准备实例的配置文件4.编辑实例的

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

Python Dash框架在数据可视化仪表板中的应用与实践记录

《PythonDash框架在数据可视化仪表板中的应用与实践记录》Python的PlotlyDash库提供了一种简便且强大的方式来构建和展示互动式数据仪表板,本篇文章将深入探讨如何使用Dash设计一... 目录python Dash框架在数据可视化仪表板中的应用与实践1. 什么是Plotly Dash?1.1

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

springboot集成Deepseek4j的项目实践

《springboot集成Deepseek4j的项目实践》本文主要介绍了springboot集成Deepseek4j的项目实践,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价... 目录Deepseek4j快速开始Maven 依js赖基础配置基础使用示例1. 流式返回示例2. 进阶

java常见报错及解决方案总结

《java常见报错及解决方案总结》:本文主要介绍Java编程中常见错误类型及示例,包括语法错误、空指针异常、数组下标越界、类型转换异常、文件未找到异常、除以零异常、非法线程操作异常、方法未定义异常... 目录1. 语法错误 (Syntax Errors)示例 1:解决方案:2. 空指针异常 (NullPoi

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式