DL_Classification、Logistic Regression、Deep Intro_Day4

2024-04-12 08:32

本文主要是介绍DL_Classification、Logistic Regression、Deep Intro_Day4,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

    • Classification
        • two classes
        • probability from class
            • Gaussian Distribution
            • Maximum Likelihood
        • Modifying Model
    • Logistic Regression
        • function set
        • evaluation
        • find the best function
        • multi-class classification
        • limitation
    • Brief Introduction of DL
        • neural network
        • goodness of function
        • total loss
        • gradient descent
        • backpropagation

Classification

two classes

二分类的问题:某个东西放在两个类别中的概率各为多少

取出一个x,它属于C1的概率。

probability from class
Gaussian Distribution

在这里插入图片描述
这里输出是某个x的概率,的μ是所有x样本的均值,的∑为是方差矩阵。

上面公式的图形分布如下所示:想象一下三维的高斯分布
在这里插入图片描述

Maximum Likelihood

极大似然估计(各项独立同分布)
在这里插入图片描述
要使这些样本都属于这个分布的概率最大,也就是下式要最大。
在这里插入图片描述
所以我们需要求它的最大值:已知条件如下
在这里插入图片描述
我们就用以上的条件,和之前二分类的公式(多分类就贝叶斯公式)来训练模型:
在这里插入图片描述

Modifying Model

在一长串的数学计算之后,我们可以得到下面的模型。也就是可以训练的w和b。
在这里插入图片描述

Logistic Regression

function set

用线性回归的方式来求解分类问题,这里我们可以认为。大于0.5的认为是1,小于0.5的认为是0,从而实现二分类。
核函数如下图右边和左边底下所示 sigmoid function
在这里插入图片描述
下图是W与x乘积的示意图:
在这里插入图片描述

evaluation

我们先假设分类如下图所示:
在这里插入图片描述
我们来写出它的预测好坏的概率公式,默认函数f为分布在C1上的概率,则他们分布正确的总概率为:
在这里插入图片描述
这样我们就要找到合适的W,b是这个方程最大
在这里插入图片描述
通过上面假定,我们可以设置损失函数如下所示:
在这里插入图片描述

find the best function

又是在一堆复杂的计算之后:
在这里插入图片描述
逻辑回归和线性回归的区别
在这里插入图片描述

multi-class classification

多元的分类,可以先利用权重系数对输入的值进行处理,使得其输出类似于one-hot编码
在这里插入图片描述

limitation

因为逻辑回归分类本质上还是在平面中画一条线将不同的区域分割开,但有很多情况这些分类是不能用直线划分出区别的。

比如下面的分类,我们直接用逻辑回归就分不开。
在这里插入图片描述
这时候,我们可以通过类似变换坐标轴的方式(乘上一个矩阵在加上b)类似这样。这种方式其实就是神经网络中把变量训练到隐含层中。
在这里插入图片描述

Brief Introduction of DL

neural network

其实就是和上文中类似的将旧的变量,变成新的变量。在经过多次这样的训练后,其形状类似网络,就可以叫做神经网络。
在这里插入图片描述

goodness of function

在最后训练出来的预测值,与实际值之间按照逻辑回归中损失函数的计算方式来表示训练结果的好坏。
在这里插入图片描述

total loss

在这里插入图片描述

gradient descent

通过每一步损失函数来得出下降的梯度。
在这里插入图片描述

backpropagation

反向传播是计算𝜕𝐿∕𝜕𝑤的有效途径,之后会详细讲述。

这篇关于DL_Classification、Logistic Regression、Deep Intro_Day4的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/896625

相关文章

Deep Learning复习笔记0

Key Concept: Embedding: learned dense, continuous, low-dimensional representations of object 【将难以表示的对象(如图片,文本等)用连续的低维度的方式表示】 RNN: Recurrent Neural Network -> for processing sequential data (time se

线性回归(Linear Regression)原理详解及Python代码示例

一、线性回归原理详解         线性回归是一种基本的统计方法,用于预测因变量(目标变量)与一个或多个自变量(特征变量)之间的线性关系。线性回归模型通过拟合一条直线(在多变量情况下是一条超平面)来最小化预测值与真实值之间的误差。 1. 线性回归模型         对于单变量线性回归,模型的表达式为:         其中: y是目标变量。x是特征变量。β0是截距项(偏置)。β1

DL理论笔记与理解

gradient的方向代表函数值增大的方向(这个方向由沿着各个轴方向偏导方向综合的方向),大小代表函数值变化的快慢。导数概念很大,偏导是沿着某方向上的导,梯度是沿着各个方向数偏导的向量。softmax函数叫这个的原因,把原来较大的数值压缩成相对的大数,把原来较小的数压缩在密集的空间,把数据间的margin压缩得越来越大,这就类似金字塔效应,你能力比别人强一些,得到的收益可能比别人强太多。CNN中卷

urfread刷算法题day4|27. 移除元素+复习

27. 移除元素 题目描述 给你一个数组 nums 和一个值 val,你需要 原地 移除所有数值等于 val 的元素。元素的顺序可能发生改变。然后返回 nums 中与 val 不同的元素的数量。假设 nums 中不等于 val 的元素数量为 k,要通过此题,您需要执行以下操作:更改 nums 数组,使 nums 的前 k 个元素包含不等于 val 的元素。nums 的其余元素和 nums

ython机器学习分类算法(六)-- 逻辑回归(Logistic Regression)

逻辑回归原理         逻辑回归虽然名为“回归”,但实际上是一种用于处理二分类或多分类问题的分类算法。其核心思想是,利用线性回归模型的预测结果逼近真实标记的对数几率(log odds),因此得名“逻辑回归”。具体来说,逻辑回归通过引入sigmoid函数(或称为逻辑函数),将线性回归模型的输出值映射到0和1之间,从而可以将其解释为某个类别发生的概率。         对于二分类问题,假设输

【Deep Learning】Meta-Learning:训练训练神经网络的神经网络

元学习:训练训练神经网络的神经网络 本文基于清华大学《深度学习》第12节《Beyond Supervised Learning》的内容撰写,既是课堂笔记,亦是作者的一些理解。 1 Meta-Learning 在经典监督学习中,给定训练数据 { ( x i , y i ) } i \{(x_i,y_i)\}_i {(xi​,yi​)}i​,我们需要训练一个神经网络 f f f使得 f (

【Deep Learning】Self-Supervised Learning:自监督学习

自监督学习 本文基于清华大学《深度学习》第12节《Beyond Supervised Learning》的内容撰写,既是课堂笔记,亦是作者的一些理解。 在深度学习领域,传统的监督学习(Supervised Learning)的形式是给你输入 x x x和标签 y y y,你需要训练一个基于参数 θ \theta θ的神经网络 f θ ( x ) f_\theta(x) fθ​(x)使其能

【进阶篇-Day4:使用JAVA编写石头迷阵游戏】

目录 1、绘制界面2、打乱石头方块3、移动业务4、游戏判定胜利5、统计步数6、重新游戏7、完整代码: 1、绘制界面 上述思路是:使用一个二维数组存放图片的编号,然后在后持遍历即可获取对应的图片。 代码如下: package com.itheima.stonepuzzle;import javax.swing.*;public cla

ResNeXt - Aggregated Residual Transformations for Deep Neural Networks

《Aggregated Residual Transformations for Deep Neural Networks》是Saining Xie等人于2016年公开在arXiv上: https://arxiv.org/pdf/1611.05431.pdf 创新点 1.在传统Resnet基础上采用group convolution,在不增加参数量的前提下,获得更强的representat

在深度学习中减少标签需求2~5x,来自Deep Mind的CPC2.0

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶” 作者:Less Wright 编译:ronghuaiyang 导读 通过得到更好的表征来减少对标签的需求。 CPC 2.0的实践 —— 只有1%的标记数据,达到74%的准确性(来自论文) 目前针对视觉、音频等的深度学习需要大量的人工标注数据,每个类别都有很多样本,这样才能训练一个分类器达到可接受的精度。 相比之下,人类只需要看