【机器学习笔记2.5】用Softmax回归做二分类(Tensorflow实现)

2024-06-06 05:58

本文主要是介绍【机器学习笔记2.5】用Softmax回归做二分类(Tensorflow实现),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Softmax回归和逻辑回归的区别

  在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签 y y y可以取两个以上的值[1]。当类别数 k = 2 k=2 k=2时,softmax 回归退化为 logistic 回归。

Softmax回归 vs. k个logistic回归

  如果你在开发一个音乐分类的应用,需要对k种类型的音乐进行识别,那么是选择使用 softmax 分类器呢,还是使用 logistic 回归算法建立 k 个独立的二元分类器呢?

  这一选择取决于你的类别之间是否互斥,例如,如果你有四个类别的音乐,分别为:古典音乐、乡村音乐、摇滚乐和爵士乐,那么你可以假设每个训练样本只会被打上一个标签(即:一首歌只能属于这四种音乐类型的其中一种),此时你应该使用类别数 k = 4 的softmax回归。(如果在你的数据集中,有的歌曲不属于以上四类的其中任何一类,那么你可以添加一个“其他类”,并将类别数 k 设为5。)

如果你的四个类别如下:人声音乐、舞曲、影视原声、流行歌曲,那么这些类别之间并不是互斥的。例如:一首歌曲可以来源于影视原声,同时也包含人声 。这种情况下,使用4个二分类的 logistic 回归分类器更为合适。这样,对于每个新的音乐作品 ,我们的算法可以分别判断它是否属于各个类别。

现在我们来看一个计算视觉领域的例子,你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是:室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢? (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片,你又会选择 softmax 回归还是多个 logistic 回归分类器呢?

在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立的 logistic回归分类器更加合适。

代码示例

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as pltdef loadDataSet(file_path):dataMat = []labelMat = []fr = open(file_path)for line in fr.readlines():lineArr = line.strip().split()dataMat.append([float(lineArr[0]), float(lineArr[1])])labelMat.append(int(lineArr[2]))return dataMat, labelMat# 加载数据
dataMat, labelMat = loadDataSet('testSet.txt')  # 《机器学习实战》逻辑回归中用的数据集
dataMat = np.mat(dataMat).astype(np.float32)
labelMat = np.mat(labelMat).transpose()# 制作one-hot格式的label
onehot_list = []
for i in range(len(labelMat)):onehot = [0, 0]onehot[labelMat[i].item()] = 1onehot_list.append(onehot)
labelMat = np.array(onehot_list).astype(np.float32)class_num = 2
threshold = 1.0e-2x_data = tf.placeholder("float32", [None, 2])
y_data = tf.placeholder("float32", [None, class_num])
weight = tf.Variable(tf.ones([2, class_num]))
bias = tf.Variable(tf.ones([class_num]))
y_model = tf.nn.softmax(tf.matmul(x_data, weight) + bias)loss = tf.reduce_sum(tf.pow((y_model - y_data), 2))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)step = 0
loss_buf = []
train_num = 70  # 一共就100个样本,拿出70个出来用于训练,剩下的30个用于测试
for _ in range(100):for data, label in zip(dataMat[0:train_num, :], labelMat[0:train_num, :]):label = label.reshape([1, 2])sess.run(train_step, feed_dict={x_data: data, y_data: label})step += 1'''if step % 10 == 0:print(step, sess.run(weight).flatten(), sess.run(bias).flatten())'''loss_val = sess.run(loss, feed_dict={x_data: data, y_data: label})print('loss_val = ', loss_val)loss_buf.append(loss_val)if loss_val <= threshold:flag = 0#print('weight = ', weight.eval(sess))# 测试准确率
correct_prediction = tf.equal(tf.argmax(y_model, 1), tf.argmax(y_data, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print(sess.run(accuracy, feed_dict={x_data: dataMat[train_num+1:100, :], y_data: labelMat[train_num+1:100, :]}))
sess.close()# 画出loss曲线
loss_ndarray = np.array(loss_buf)
loss_size = np.arange(len(loss_ndarray))
plt.plot(loss_size, loss_ndarray, 'b+', label='loss')
plt.show()
print('end')

loss曲线:
enter image description here

疑问:怎样画出Softmax回归得到的分类直线?
答:会提出这样的问题应该是Softmax回归和逻辑回归的概念还没弄清楚。
(me)在Softmax回归中,输出结果是one-hot形式的向量,向量的每一维的输出非0即1,根据Softmax回归的假设模型 h θ ( x ( i ) ) h_{\theta}(x^{(i)}) hθ(x(i))可知,每一维的参数 θ j {\theta}_j θj都不相同,所以也不能像逻辑回归中那样画出一条分类直线了。

参考文献

[1] Softmax回归

这篇关于【机器学习笔记2.5】用Softmax回归做二分类(Tensorflow实现)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1035276

相关文章

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

opencv图像处理之指纹验证的实现

《opencv图像处理之指纹验证的实现》本文主要介绍了opencv图像处理之指纹验证的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、简介二、具体案例实现1. 图像显示函数2. 指纹验证函数3. 主函数4、运行结果三、总结一、