DL_Classification、Logistic Regression、Deep Intro_Day4

2024-04-12 08:32

本文主要是介绍DL_Classification、Logistic Regression、Deep Intro_Day4,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

    • Classification
        • two classes
        • probability from class
            • Gaussian Distribution
            • Maximum Likelihood
        • Modifying Model
    • Logistic Regression
        • function set
        • evaluation
        • find the best function
        • multi-class classification
        • limitation
    • Brief Introduction of DL
        • neural network
        • goodness of function
        • total loss
        • gradient descent
        • backpropagation

Classification

two classes

二分类的问题:某个东西放在两个类别中的概率各为多少

取出一个x,它属于C1的概率。

probability from class
Gaussian Distribution

在这里插入图片描述
这里输出是某个x的概率,的μ是所有x样本的均值,的∑为是方差矩阵。

上面公式的图形分布如下所示:想象一下三维的高斯分布
在这里插入图片描述

Maximum Likelihood

极大似然估计(各项独立同分布)
在这里插入图片描述
要使这些样本都属于这个分布的概率最大,也就是下式要最大。
在这里插入图片描述
所以我们需要求它的最大值:已知条件如下
在这里插入图片描述
我们就用以上的条件,和之前二分类的公式(多分类就贝叶斯公式)来训练模型:
在这里插入图片描述

Modifying Model

在一长串的数学计算之后,我们可以得到下面的模型。也就是可以训练的w和b。
在这里插入图片描述

Logistic Regression

function set

用线性回归的方式来求解分类问题,这里我们可以认为。大于0.5的认为是1,小于0.5的认为是0,从而实现二分类。
核函数如下图右边和左边底下所示 sigmoid function
在这里插入图片描述
下图是W与x乘积的示意图:
在这里插入图片描述

evaluation

我们先假设分类如下图所示:
在这里插入图片描述
我们来写出它的预测好坏的概率公式,默认函数f为分布在C1上的概率,则他们分布正确的总概率为:
在这里插入图片描述
这样我们就要找到合适的W,b是这个方程最大
在这里插入图片描述
通过上面假定,我们可以设置损失函数如下所示:
在这里插入图片描述

find the best function

又是在一堆复杂的计算之后:
在这里插入图片描述
逻辑回归和线性回归的区别
在这里插入图片描述

multi-class classification

多元的分类,可以先利用权重系数对输入的值进行处理,使得其输出类似于one-hot编码
在这里插入图片描述

limitation

因为逻辑回归分类本质上还是在平面中画一条线将不同的区域分割开,但有很多情况这些分类是不能用直线划分出区别的。

比如下面的分类,我们直接用逻辑回归就分不开。
在这里插入图片描述
这时候,我们可以通过类似变换坐标轴的方式(乘上一个矩阵在加上b)类似这样。这种方式其实就是神经网络中把变量训练到隐含层中。
在这里插入图片描述

Brief Introduction of DL

neural network

其实就是和上文中类似的将旧的变量,变成新的变量。在经过多次这样的训练后,其形状类似网络,就可以叫做神经网络。
在这里插入图片描述

goodness of function

在最后训练出来的预测值,与实际值之间按照逻辑回归中损失函数的计算方式来表示训练结果的好坏。
在这里插入图片描述

total loss

在这里插入图片描述

gradient descent

通过每一步损失函数来得出下降的梯度。
在这里插入图片描述

backpropagation

反向传播是计算𝜕𝐿∕𝜕𝑤的有效途径,之后会详细讲述。

这篇关于DL_Classification、Logistic Regression、Deep Intro_Day4的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/896625

相关文章

vue解决子组件样式覆盖问题scoped deep

《vue解决子组件样式覆盖问题scopeddeep》文章主要介绍了在Vue项目中处理全局样式和局部样式的方法,包括使用scoped属性和深度选择器(/deep/)来覆盖子组件的样式,作者建议所有组件... 目录前言scoped分析deep分析使用总结所有组件必须加scoped父组件覆盖子组件使用deep前言

消除安卓SDK更新时的“https://dl-ssl.google.com refused”异常的方法

消除安卓SDK更新时的“https://dl-ssl.google.com refused”异常的方法   消除安卓SDK更新时的“https://dl-ssl.google.com refused”异常的方法 [转载]原地址:http://blog.csdn.net/x605940745/article/details/17911115 消除SDK更新时的“

perl的学习记录——仿真regression

1 记录的背景 之前只知道有这个强大语言的存在,但一直侥幸自己应该不会用到它,所以一直没有开始学习。然而人生这么长,怎就确定自己不会用到呢? 这次要搭建一个可以自动跑完所有case并且打印每个case的pass信息到指定的文件中。从而减轻手动跑仿真,手动查看log信息的重复无效低质量的操作。下面简单记录下自己的思路并贴出自己的代码,方便自己以后使用和修正。 2 思路整理 作为一个IC d

Deep Ocr

1.圈出内容,文本那里要有内容.然后你保存,并'导出数据集'. 2.找出deep_ocr_recognition_training_workflow.hdev 文件.修改“DatasetFilename := 'Test.hdict'” 310行 write_deep_ocr (DeepOcrHandle, BestModelDeepOCRFilename) 3.推理test.hdev

【DL--05】深度学习基本概念—函数式模型

函数式模型 函数式模型算是本文档比较原创的词汇了,所以这里要说一下 在Keras 0.x中,模型其实有两种,一种叫Sequential,称为序贯模型,也就是单输入单输出,一条路通到底,层与层之间只有相邻关系,跨层连接统统没有。这种模型编译速度快,操作上也比较简单。第二种模型称为Graph,即图模型,这个模型支持多输入多输出,层与层之间想怎么连怎么连,但是编译速度慢。可以看到,Sequentia

【DL--04】深度学习基本概念—data_format

data_format 这是一个无可奈何的问题,在如何表示一组彩色图片的问题上,Theano和TensorFlow发生了分歧,’th’模式,也即Theano模式会把100张RGB三通道的16×32(高为16宽为32)彩色图表示为下面这种形式(100,3,16,32),Caffe采取的也是这种方式。第0个维度是样本维,代表样本的数目,第1个维度是通道维,代表颜色通道数。后面两个就是高和宽了。这种t

【DL--03】深度学习基本概念—张量

张量 TensorFlow中的中心数据单位是张量。张量由一组成形为任意数量的数组的原始值组成。张量的等级是其维数。以下是张量的一些例子: 3 # a rank 0 tensor; this is a scalar with shape [][1. ,2., 3.] # a rank 1 tensor; this is a vector with shape [3][[1., 2., 3.]

【DL--02】深度学习基本概念--符号计算

符号计算 Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端。无论是Theano还是TensorFlow,都是一个“符号式”的库。 因此,这也使得Keras的编程与传统的Python代码有所差别。笼统的说,符号主义的计算首先定义各种变量,然后建立一个“计算图”,计算图规定了各个变量之间的计算关系。建立好的计算图需要编译以确定其内部细节,然而,此时的计算图还

【DL--01】深度学习 揭开DL的神秘面纱

什么是深度学习 深度学习=深度神经网络+机器学习 人工智能 > 机器学习 > 表示学习 > 深度学习 神经元模型 输入信号、加权求和、加偏置、激活函数、输出 全连接层 输入信号、输入层、隐层(多个神经元)、输出层(多个输出,每个对应一个分类)、目标函数(交叉熵) 待求的参数:连接矩阵W、偏置b 训练方法:随机梯度下降,BP算法(后向传播) Python中深度学习实现:Ke

【ML--04】第四课 logistic回归

1、什么是逻辑回归? 当要预测的y值不是连续的实数(连续变量),而是定性变量(离散变量),例如某个客户是否购买某件商品,这时线性回归模型不能直接作用,我们就需要用到logistic模型。 逻辑回归是一种分类的算法,它用给定的输入变量(X)来预测二元的结果(Y)(1/0,是/不是,真/假)。我们一般用虚拟变量来表示二元/类别结果。你可以把逻辑回归看成一种特殊的线性回归,只是因为最后的结果是类别变