什么是标准差和方差

2024-06-23 11:36
文章标签 方差 标准差

本文主要是介绍什么是标准差和方差,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

标准差是用于衡量数字是如何分布的指标。用σ (sigma)表示。
标准差=方差的平方根。

什么是方差

方差就是与均值的平方差的平均值。方差的计算过程:

  1. 计算平均值(mean)用μ /读mu/表示。
  2. 用每一个数减去平均值,再平方(对差进行平方)
  3. 将第二步得到的平方值都加起来,再除以数据的个数,就能得到方差。

方差的求值公式:

σ 2 = 1 N ∑ i = 1 n ( x i − μ ) 2 \sigma^2=\frac1N\sum_{i=1}^n ({x}_{i} - \mu)^2 σ2=N1i=1n(xiμ)2

μ:表示平均值

标准差

标准差就是对方差进行开方
σ = σ 2 \sigma=\sqrt{\sigma^2} σ=σ2

一般来说,我们都会直接求标准差,因为标准差用得比较多:
σ = 1 N ∑ i = 1 n ( x i − μ ) 2 \sigma=\sqrt{\frac1N\sum_{i=1}^n ({x}_{i} - \mu)^2} σ=N1i=1n(xiμ)2

有了标准差后,我们就有了一个“标准”的方式去识别哪些数据是正常的,哪些数据是过大,哪些数据是过小的。为什么可以这样呢?
首先,标准差是每个数据点到平均值这个点的最小距离之和的平均,描述了平均下来,每个点到平均值点的距离,以此来说明数据的分布情况。平均值点这个位置就是标准,有了标准差后,就可以用这个值去衡量具体的数据点是过大还是过小,抑或是正常的。

举个例子来说吧:
10个同学的身高(cm)分别为:150,130,160,185,135,168,170,155,120,169

平均值 = 150 + 130 + 160 + 185 + 135 + 168 + 170 + 155 + 120 + 169 10 = 154.2 平均值= \frac{150+130+160+185+135+168+170+155+120+169}{10}=154.2 平均值=10150+130+160+185+135+168+170+155+120+169=154.2

方差 = ( 150 − 154.2 ) 2 + ( 130 − 154.2 ) 2 + ( 160 − 154.2 ) 2 + ( 185 − 154.2 ) 2 + ( 135 − 154.2 ) 2 + ( 168 − 154.2 ) 2 + ( 170 − 154.2 ) 2 + ( 155 − 154.2 ) 2 + ( 120 − 154.2 ) 2 + ( 169 − 154.2 ) 2 10 = 378.36 方差= \frac{(150-154.2)^2 + (130-154.2)^2 + (160-154.2)^2 + (185-154.2)^2 + (135-154.2)^2 + (168-154.2)^2 + (170-154.2)^2 + (155-154.2)^2 + (120-154.2)^2 + (169-154.2)^2}{10} =378.36 方差=10(150154.2)2+(130154.2)2+(160154.2)2+(185154.2)2+(135154.2)2+(168154.2)2+(170154.2)2+(155154.2)2+(120154.2)2+(169154.2)2=378.36

标准差 = 3 78.35 = 19.45147809 标准差=\sqrt378.35=19.45147809 标准差=3 78.35=19.45147809

10个数据点的分布情况:
请添加图片描述
我们有了一个标准差后,我们就有了一个标准的方式去判断哪些同学的身高是太高或太小,或正常。在我们这个实例中,如果我们认为在一个标准差内的身高属于正常范围,那么120,133都显得太矮小了,185就太高了。

上面这个例子是针对10个同学的身高的(也就是说我们只对这10个同学的身高感兴趣,样本空间都是在这了)。

样本标准差

但是,如果数据是样本(从更大的总体中选择),则计算会发生变化!即10个同学的身高是一个样本数据(我们现在感兴趣的是全校同学的身高),因为有时候样本空间太大,不方便操作,我们可以通过样本来评价总体。计算样本标准差就与前面的会有所不同:

s = 1 N − 1 ∑ i = 1 n ( x i − x ˉ ) 2 s=\sqrt{\frac1{N-1}\sum_{i=1}^n ({x}_{i} - \bar{x})^2} s=N11i=1n(xixˉ)2

s:代表样本标准差
样本标准差的计算过程与前面无异,唯一的区别就是前面是除以N,这里是除以N-1,

方差 = ( 150 − 154.2 ) 2 + ( 130 − 154.2 ) 2 + ( 160 − 154.2 ) 2 + ( 185 − 154.2 ) 2 + ( 135 − 154.2 ) 2 + ( 168 − 154.2 ) 2 + ( 170 − 154.2 ) 2 + ( 155 − 154.2 ) 2 + ( 120 − 154.2 ) 2 + ( 169 − 154.2 ) 2 10 − 1 = 420.4 方差= \frac{(150-154.2)^2 + (130-154.2)^2 + (160-154.2)^2 + (185-154.2)^2 + (135-154.2)^2 + (168-154.2)^2 + (170-154.2)^2 + (155-154.2)^2 + (120-154.2)^2 + (169-154.2)^2}{10-1} =420.4 方差=101(150154.2)2+(130154.2)2+(160154.2)2+(185154.2)2+(135154.2)2+(168154.2)2+(170154.2)2+(155154.2)2+(120154.2)2+(169154.2)2=420.4

标准差 = 4 20.4 = 20.50365821 标准差=\sqrt420.4=20.50365821 标准差=4 20.4=20.50365821
样本标准差得到的结果与实际很接近了。为什么要除以N-1而不是除以N呢?当年确实时除以N的,只是当时的人发现样本空间的数据除以N后得到的值往往都比实际的要小,于是想办法纠偏,就想到了一个简单的办法就是少除一个,这样结果就不会太小了,大一些也无所谓。

为什么要对每个差值进行平方,取绝对值不行吗?

σ 2 = 1 N ∑ i = 1 n ( x i − μ ) 2 \sigma^2=\frac1N\sum_{i=1}^n ({x}_{i} - \mu)^2 σ2=N1i=1n(xiμ)2

首先,各个数据点与平均值点的距离是不能直接相加的,因为有可能会出现正负抵消的情况,这就没有办法客观表示点与点之间的距离了。如 下图:
请添加图片描述
那么,直接取它们的差值的绝对值作为两点之间的距离呢?下面两张图都用了绝对值的办法,都得到了相同的值,可是这个值反映不出两个组数据的分布情况,相同的值应该对应类似的数据分布,但是从下面两张图可知,它们各自数据的分布是有很大不同的,但是无法反映出来。
请添加图片描述

请添加图片描述
为什么在计算标准时用平方数据点与平均值点的差,可以客观反映数据的分布特点呢?
首先,平方数据差,可以避免正负相加,互相抵消的问题。其次这种方式是很类似于欧几里德空间里的两点之间的距离的计算的。当数据差异更加分散时,标准差会更大…而这正是我们想要的。

还有一点在平方和平方根上使用代数比在绝对值上更容易。有时候数值的准确性并不是必要的,能说明和反映问题才是必要的,这个思想很重要。

请添加图片描述

这篇关于什么是标准差和方差的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1087043

相关文章

【深度学习 误差计算】10分钟了解下均方差和交叉熵损失函数

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等,其中均方差函数和交叉熵函数在深度学习中比较常见,均方差主要用于回归问题,交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。 1、均方差MSE。 预测值与真实值之差的平方和,再除以样本量。 均方差广泛应用在回归问题中,在分类问题中也可以应用均方差误差。 2、交叉熵 再介绍交叉熵损失函数之前,我们首先来介绍信息

概率学 笔记一 - 概率 - 随机变量 - 期望 - 方差 - 标准差(也不知道会不会有二)

概率不用介绍,它的定义可以用一个公式写出: 事件发生的概率 = 事件可能发生的个数 结果的总数 事件发生的概率=\cfrac{事件可能发生的个数}{结果的总数} 事件发生的概率=结果的总数事件可能发生的个数​ 比如一副标准的 52 张的扑克牌,每张牌都是唯一的,所以,抽一张牌时,每张牌的概率都是 1/52。但是有人就会说了,A 点明明有四张,怎么会是 1/52 的概率。 这就需要精准的指出

方差(Variance) 偏差(bias) 过拟合 欠拟合

机器学习中方差(Variance)和偏差(bias)的区别?与过拟合欠拟合的关系?   (1)bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距,简单讲,就是在样本上拟合的好不好。 低偏差和高方差(对应右上图)是使得模型复杂,增加了模型的参数,这样容易过拟合。 这种情况下,形象的讲,瞄的很准,但手不一定稳。 (2)varience描述的是样本上训练出来的模型

cuda标准差拉伸

标准差拉伸(tif影像波段值类型由16bit转为8bit)cuda实现版本 用gdal2.4.4,cuda10.1 ,thrust库(计算波段均值、方差值) 使用 gdal2.4.4 读取 GTiff 格式影像,读取数据至数组使用 thrust库计算 最大值、最小值、波段均值、方差等cuda10.1 核函数执行条件判断赋值 头文件引用 thrust计算最大值、最小值引用 #include

NumPy(五):数组统计【平均值:mean()、最大值:max()、最小值:min()、标准差:std()、方差:var()、中位数:median()】【axis=0:按列运算;axis=0:按列】

统计运算 np.max()np.min()np.median()np.mean()np.std()np.var()np.argmax(axis=) — 最大元素对应的下标np.argmin(axis=) — 最小元素对应的下标 NumPy提供了一个N维数组类型ndarray,它描述了 相同类型 的“items”的集合。(NumPy provides an N-dimensional array

平均值,标准差,方差,协方差,期望,均方误差

1. 写在前面 平均值,标准差,方差,协方差都属于统计数学;期望属于概率数学。 2. 统计数学 2.1 平均值,标准差,方差 统计学里最基本的概念就是样本的均值、方差、标准差。首先,我们给定一个含有n个样本的集合,下面给出这些概念的公式描述: 均值: 方差: 标准差: 均值描述的是样本集合的中间点,它告诉我们的信息是有限的。 方差(variance)是在概率论和统计方差衡量随机变

吴恩达机器学习课后作业-05偏差与方差

偏差与方差 题目欠拟合改进欠拟合影响偏差和方差因素训练集拟合情况训练集和测试集代价函数选择最优lamda 整体代码 训练集:训练模型 ·验证集︰模型选择,模型的最终优化 ·测试集:利用训练好的模型测试其泛化能力 #训练集x_train,y_train = data['X'],data[ 'y']#验证集x_val,y_val = data['Xval'],dat

机器学习和数据挖掘(8):偏见方差权衡

偏见方差权衡 偏见和方差 我们一直试图在近似和泛化之间找到一个平衡。 我们的目标是得到一个较小的 Eout E_{out},也希望在样例之外也表现得非常棒的 Eout E_{out}。复杂的假设集 H \mathcal H将有机会得到一个接近目标函数的结果。 VC维分析使用的是泛化边界来进行泛化。根据公式 Eout≤Ein+Ω E_{out}\leq E_{in}+\Omega,其中 Ei

回归分析系列18— 平衡偏差与方差

22 平衡偏差与方差 22.1 偏差-方差权衡简介 在模型构建中,我们通常面临偏差(bias)与方差(variance)之间的权衡。偏差是指模型的预测与真实值之间的系统性误差,而方差则是指模型在不同训练集上的波动性。 高偏差通常意味着模型过于简单,无法捕捉数据中的复杂模式(即欠拟合);高方差则意味着模型对训练数据过于敏感,导致在新数据上表现不佳(即过拟合)。 22.2 正则化与偏差-方差

方差:理解数据的离散程度

方差:理解数据的离散程度 文章目录 方差:理解数据的离散程度引言样本与总体的关系什么是方差?方差的数学公式有偏估计 vs. 无偏估计 方差的计算示例无偏估计的推导与重要性从有偏估计到无偏估计的推导Bessel校正的原因是否总是需要无偏估计? 方差的应用场景结论 引言 方差是统计学和数据分析中的重要概念,用于量化数据集中各个观测值与平均值之间的差异程度。理解方差有助