统计学习方法：罗杰斯特回归及Tensorflow入门

2024-01-24 08:40
文章标签 统计 学习 方法 入门 回归 tensorflow 罗杰斯

本文主要是介绍统计学习方法：罗杰斯特回归及Tensorflow入门，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

作者：桂。

时间：2017-04-21  21:11:23

链接：http://www.cnblogs.com/xingshansi/p/6743780.html 

前言

看到最近大家都在用Tensorflow，一查才发现火的不行。想着入门看一看，Tensorflow使用手册第一篇是基于MNIST的手写数字识别的，用到softmax regression，而这个恰好与我正在看的《统计信号处理》相关。本文借此梳理一下：

　　1）罗杰斯特回归

　　2）Softmax Regression

　　3）基于Tensorflow的MNIST手写数字识别框架

内容为自己的学习记录，其中多有借鉴他人的地方，最后一并给出链接。

一、罗杰斯特回归（Logistic Regression）

　　A-问题描述

 一般说的Logistic回归，是指二分类问题。

对于连续的变量X，如果说它服从Logistic回归，则：

对应概率密度以及分布函数：

F(x)更像是一个threshold，f(x)的表达式也利于求导。

定义Logistic 回归模型：

为输入，为对应输出，二项Logistic回归对应如下模型：

 

联系到之前写的感知机：

分类时，对应概率：

为正的概率大，为负的概率小，这个指数有点像把正/负→进行指数处理，这样就容易理解了。

有时为了表示方便，记：，则表达式简化为：

为什了叫Logistic regression呢？

这样明显是一个线性回归的表达式。

　　B-理论分析

对于参数的求解，同感知机一样，就是求解w。利用最大似然求解：

 

定义sigmoid函数：

准则函数重新写为：

可以借助梯度下降或者牛顿法，这几个方法之前已经有过介绍。

利用求解得到的w，即可以进行概率判断，哪个概率大就判给哪个类别，整个思路与感知机也是一样的：

　　C-理论应用

用一个code说明其工作原理，还是借助之前感知器用的例子，因为Logistic回归可以认为是Softmax回归的特例，这里借用softmax框架给出对应代码：

%Logistic regression
clear all; close all; clc;
%Every category samples
N = 100;
X = [randn(N,2)+2*ones(N,2);...randn(N,2)-2*ones(N,2)];
figure;
subplot 121
label = [ones(N,1);2*ones(N,1)];
plot(X(label==1,1),X(label==1,2),'b.');hold on;
plot(X(label==2,1),X(label==2,2),'r.');hold on;
%%Train
numClass = 2;
parm.learningRate = 0.5;
pram.iter = 5000;
parm.precost = 0;
X = [ones(size(X,1),1), X]';
[nfeatures, nsamples] = size(X);
W = zeros(nfeatures, numClass);
% 1, 2, 3 -> 001, 010, 100.
groundTruth = full(sparse(label, 1:nsamples, 1));
for i = 1:pram.iterrsp = W'*X;rsp = bsxfun(@minus, rsp, max(rsp, [], 1));rsp = exp(rsp);prob = bsxfun(@rdivide, rsp, sum(rsp));% compute gradient based on current probabilitygrad = - X * (groundTruth - prob)' / nsamples ;% update WW(:,2:end) = W(:,2:end) - parm.learningRate * grad(:,2:end);% compute costlogProb = log(prob);idx = sub2ind(size(logProb), label', 1:size(logProb, 2));parm.cost = - sum(logProb(idx)) / nsamples;if i~=0 && abs(parm.cost - parm.precost) / parm.cost <= 1e-4break;endparm.precost = parm.cost;
end
%Predict
rsp = W' * X; 
[~, prediction] = max(rsp, [], 1); 
subplot 122
X = X(2:end,:)';
plot(X(prediction==1,1),X(prediction==1,2),'b.');hold on;
plot(X(prediction==2,1),X(prediction==2,2),'r.');hold on;
x = -5:.1:5;
b = W(1,2);
y = -W(2,2)/W(3,2)*x-b/W(3,2);
plot(x,y,'k','linewidth',2);

　　对应结果图：

 

二、Softmax 回归

 Logistic回归分析的是两类，对于多类的情形，通常称为：Softmax 回归。基于概率所以soft，概率中最大值所以Max。

其实这个式子可以理解为Y=K时，$w_k*x = 0$，上面式子可以表述为，为了与下面表述一致，这里w改为$\theta$表示：

假设样本个数为m,同logistic回归类似，Softmax准则函数可以写为：

进一步写为：

 思路同Logistic回归，同样利用梯度下降/牛顿-Rapson可以求解。求解出w：

其中，

分类的思路与Logistic回归也是完全一致。另外在求解的时候，可以发现：

求解的时候，都减去一个数，是不影响结果的。前面提到Y=K时，$w_k*x = 0$，其实有一个为零就行，哪一类是无所谓的，所以优化只优化K-1，给出代码：

%Test Softmax Regression
clear all; close all; clc;
N = 100;
X = [randn(N,2)+5*ones(N,2);...randn(N,2)-1*ones(N,2);...randn(N,2)-4*ones(N,2)];
figure;
subplot 121
label = [ones(N,1);2*ones(N,1);3*ones(N,1)];
plot(X(label==1,1),X(label==1,2),'b.');hold on;
plot(X(label==2,1),X(label==2,2),'r.');hold on;
plot(X(label==3,1),X(label==3,2),'k.');hold on;
title('Orignal Data')
%%Train
numClass = 3;
learningRate = 0.5;
X = [ones(size(X,1),1), X]';
[nfeatures, nsamples] = size(X);
W = zeros(nfeatures, numClass);
% 1, 2, 3 -> 001, 010, 100.
groundTruth = full(sparse(label, 1:nsamples, 1));
iter = 5000;
precost = 0;
for i = 1:iterrsp = W'*X;rsp = bsxfun(@minus, rsp, max(rsp, [], 1));rsp = exp(rsp);prob = bsxfun(@rdivide, rsp, sum(rsp));% compute gradient based on current probabilitygrad = - X * (groundTruth - prob)' / nsamples ;% update WW(:,2:end) = W(:,2:end) - learningRate * grad(:,2:end);% compute costlogProb = log(prob);idx = sub2ind(size(logProb), label', 1:size(logProb, 2));cost = - sum(logProb(idx)) / nsamples;if i~=0 && abs(cost - precost) / cost <= 1e-4break;endprecost = cost;
end
%Predict
rsp = W' * X; 
[~, prediction] = max(rsp, [], 1); 
subplot 122
X = X(2:end,:)';
plot(X(prediction==1,1),X(prediction==1,2),'b.');hold on;
plot(X(prediction==2,1),X(prediction==2,2),'r.');hold on;
plot(X(prediction==3,1),X(prediction==3,2),'k.');hold on;
title('Prediction')

　对应结果（线性可分时，结果正确，线性不可分时，边界点容易出现错误，如下图）：

而实际应用中，我们不愿将任何一个$\theta$直接置零，而是保留所有，但此时我们需要对代价函数做一个改动：加入权重衰减。准则函数变为：

这个时候只要将上面对应的code按如下修改即可：

    grad = - X * (groundTruth - prob)' / nsamples +.02 * W;%lamdba = 0.02
%     grad = - X * (groundTruth - prob)' / nsamples ;% update W
%     W(:,2:end) = W(:,2:end) - learningRate * grad(:,2:end);W = W - learningRate * grad;

 

三、基于Tensorflow的MNIST手写数字识别

 MNIST数据库是一个手写数字识别数据库，

MNIST(Mixed National Institude of Standards and Technology database)，由几万张图片组成，其中每个照片像素为28*28（在读取时已经被拉成28*28=784的向量了），训练数据集train：55000个样本，验证数据集validation：5000个样本，测试数据集：10000个样本。

首先分别读取训练和测试数据：

import numpy as np
import matplotlib.pyplot as plt
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

　　先看看数据长什么样，任意读取一张图片：

#imshow data
imgTol = mnist.train.images
img = np.reshape(imgTol[1,:],[28,28])
plt.imshow(img)

　　

大概就是这个样子（其实是个gray图）.

下面开始对数据进行基于Softmax Regression的处理。

首先创建一个会话（session），为什么需要创建session可以参考Tensorflow基本用法：

import tensorflow as tf
sess = tf.InteractiveSession()

　　通过为输入图像和目标输出类别创建节点，来开始构建计算图：

sess = tf.InteractiveSession()
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])

　　其中'None'表示该维度大小不指定。

我们现在为模型定义权重W和偏置b。可以将它们当作额外的输入量，但是TensorFlow有一个更好的处理方式：变量。一个变量代表着TensorFlow计算图中的一个值，能够在计算过程中使用，甚至进行修改。在机器学习的应用过程中，模型参数一般用Variable来表示：

W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))

　　变量需要通过seesion初始化后，才能在session中使用。这一初始化步骤为，为初始值指定具体值（本例当中是全为零），并将其分配给每个变量,可以一次性为所有变量完成此操作：

sess.run(tf.initialize_all_variables())

　　初始化完成后，接下来可以实现Softmax Regression了：

y = tf.nn.softmax(tf.matmul(x,W) + b)

　　softmax是tf.nn下的一个函数，tf.nn包含了很多神经网络的组件，tf.matmul在tensorflow里的意义是矩阵相乘。给出损失函数（交叉熵）：

交叉熵没听过其实也不要紧，Maximum Likelihood（ML, 最大似然）估计应该都知道吧？

其中N为样本总数，且

我们频数以及频率是观测得到的，如何估计概率呢？我们通常用最大似然：

如果变形一下呢？同除以N：

最大似然估计不就是最小交叉熵估计？另一方面，交叉熵对误差的衡量类似联合概率密度的作用。给出对应code:

cross_entropy = -tf.reduce_sum(y_*tf.log(y))

　　reduce.sum为求和，reduce.mean为求取均值。有了准则函数以及理论框架，利用梯度下降进行训练：

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

　　这里利用小批量梯度mini-batch下降,batch = 50个训练样本:

for i in range(1100):batch = mnist.train.next_batch(50)train_step.run(feed_dict={x: batch[0], y_: batch[1]})

　　训练后进行预测并打印：

correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

　　给出总的code:

import numpy as np
import matplotlib.pyplot as plt
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)#imshow data
#imgTol = mnist.train.images
#img = np.reshape(imgTol[1,:],[28,28])
#plt.imshow(img)sess = tf.InteractiveSession()
x = tf.placeholder("float", shape=[None, 784])
y_ = tf.placeholder("float", shape=[None, 10])
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
sess.run(tf.global_variables_initializer())
y = tf.nn.softmax(tf.matmul(x,W) + b)
cross_entropy = -tf.reduce_sum(y_*tf.log(y))
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
for i in range(1100):batch = mnist.train.next_batch(50)train_step.run(feed_dict={x: batch[0], y_: batch[1]})correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

　　预测结果为：91.56%.

参考：

  • Softmax regression:http://deeplearning.stanford.edu/wiki/index.php/Softmax_Regression
  • 李航：《统计学习方法》
  • Tensorflow官网文档：https://www.tensorflow.org/get_started/mnist/beginners
  • http://tensorfly.cn/tfdoc/tutorials/mnist_pros.html

这篇关于统计学习方法：罗杰斯特回归及Tensorflow入门的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/639122。

相关文章

Java中读取YAML文件配置信息常见问题及解决方法

Java中读取YAML文件配置信息常见问题及解决方法

《Java中读取YAML文件配置信息常见问题及解决方法》：本文主要介绍Java中读取YAML文件配置信息常见问题及解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要... 目录1 使用Spring Boot的@ConfigurationProperties2. 使用@Valu
阅读更多...
Java 方法重载Overload常见误区及注意事项

Java 方法重载Overload常见误区及注意事项

《Java方法重载Overload常见误区及注意事项》Java方法重载允许同一类中同名方法通过参数类型、数量、顺序差异实现功能扩展,提升代码灵活性,核心条件为参数列表不同,不涉及返回类型、访问修饰符... 目录Java 方法重载（Overload）详解一、方法重载的核心条件二、构成方法重载的具体情况三、不构
阅读更多...
SQL中如何添加数据(常见方法及示例)

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中，有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I
阅读更多...
Python中反转字符串的常见方法小结

Python中反转字符串的常见方法小结

《Python中反转字符串的常见方法小结》在Python中,字符串对象没有内置的反转方法,然而,在实际开发中,我们经常会遇到需要反转字符串的场景,比如处理回文字符串、文本加密等,因此,掌握如何在Pyt... 目录python中反转字符串的方法技术背景实现步骤1. 使用切片2. 使用 reversed() 函
阅读更多...
Python中将嵌套列表扁平化的多种实现方法

Python中将嵌套列表扁平化的多种实现方法

《Python中将嵌套列表扁平化的多种实现方法》在Python编程中,我们常常会遇到需要将嵌套列表（即列表中包含列表）转换为一个一维的扁平列表的需求,本文将给大家介绍了多种实现这一目标的方法,需要的朋... 目录python中将嵌套列表扁平化的方法技术背景实现步骤1. 使用嵌套列表推导式2. 使用itert
阅读更多...
Python使用pip工具实现包自动更新的多种方法

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
在Linux中改变echo输出颜色的实现方法

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu
阅读更多...
Conda与Python venv虚拟环境的区别与使用方法详解

Conda与Python venv虚拟环境的区别与使用方法详解

《Conda与Pythonvenv虚拟环境的区别与使用方法详解》随着Python社区的成长,虚拟环境的概念和技术也在不断发展,：本文主要介绍Conda与Pythonvenv虚拟环境的区别与使用... 目录前言一、Conda 与 python venv 的核心区别1. Conda 的特点2. Python v
阅读更多...
Spring Boot中WebSocket常用使用方法详解

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP
阅读更多...
SQL Server配置管理器无法打开的四种解决方法

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一：桌面图标进入方法二：运行窗口进入检查版本号对照表php方法三：查找文件路径方法四：检查 S
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2