概率论与数理统计 第一章 概率论的基本概念

本文主要是介绍概率论与数理统计 第一章 概率论的基本概念，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

第一章 概率论的基本概念

1.1 随机试验

1.1.1 前言

1.研究对象：

• 确定性现象：必然发生或不发生
• 随机现象：个别试验结果呈现不确定性，大量试验结果呈现统计规律性

2.概率论与数理统计：

​ 该学科是研究和揭示随机现象统计规律性的学科。

1.1.2 随机试验

1.定义：

• 可以在相同条件下重复进行；
• 每次试验的结果可能不止一个，并且能事先明确试验的所有可能结果（明确结果范围也行，如测试灯泡的寿命）；
• 进行一次试验之前不能确定哪一个结果会出现。

2.随机试验（简称试验）用字母E表示。

1.2 样本空间、随机事件

1.2.1 样本空间

1.Def：随机试验所有可能结果组成的$集合$（确定性、互异性、无序性），记为S或Ω 。

2.样本点：随机试验的每个结果，记为e或ω。

3.求样本空间：

​ ①列举法：有限样本空间，例：S={1，2，3，4}

​ ②描述法：无限样本空间，例：S={1，2，3，4，……}， S={ t|t > 0 }

1.2.2 随机事件

1.Def：样本空间S的子集称为E的随机事件，用A，B，……表示，简称事件。

2.事件发生：在每次试验中，当且仅当随机事件中的一个样本点出现。

3.基本事件：由一个样本点组成的单点集。

4.必然事件：样本空间S包含所有样本点，在每次试验中它总发生。

5.不可能事件：空集∅不包含任何样本点，在每次试验中它总不发生。

1.2.3 事件的关系、事件的运算、运算法则

1.2.3.1 事件的关系

1.包含：A⊂B， 事件A发生必然导致事件B发生。

2.相等：A=B， 事件A发生必然导致事件B发生，反之亦然。

3.互斥（互不相容）：AB = ∅， 事件A和B不可能同时发生。

4.对立：A∪B=S 且 AB = ∅。在一次试验中，事件A和B必然有一个发生且仅有一个发生，这时候我们称事件A和B互为对立事件/逆事件，记作B=Ā。

$附：$①A和Ā互为逆事件，且Ā = S - A。

​ ②事件组$A_1,A_2,\dots \dots ,A_n$​中任意两个事件互不相容，则称这些事件两两互不相容 or 两两互斥（完备事件集）。

（$A_i{A}_j$=∅，i ≠ j，i、j = 1，2，3，……，n）

1.2.3.2 事件的运算

1.和事件（并）：A + B 或 A∪B，两个事件A、B中，至少有一个事件发生。

2.积事件（交）：AB 或 A∩B，当且仅当事件A、B同时发生时，事件AB才会发生。

3.差事件：A - B 或 A$\bar{B}$，当且仅当事件A发生，事件B不发生时，事件A - B发生。

$推广:$①称$\bigcup _{i=1}^n{A}_k$为n个事件$A_1,A_2,\dots \dots ,A_n$的和事件。

②称$\bigcap _{i=1}^n{A}_k$为n个事件$A_1,A_2,\dots \dots ,A_n$的积事件。

$附:$可列事件：可以完全列出 or 可以按照一定规律列出的事件$\{\begin{array}{ll}自然数、整数:& \text{可列}\\ 实数:& \text{不可列(有理可列，无理不可列)}\end{array}$​

1.2.3.3 运算法则

1.吸收律：若A⊂B，则A∪B = B，AB = A，$\bar{B}$⊂$\bar{A}$

2.交换律：A∪B = B∪A，AB = BA

3.结合律：A∪（B∪C）=（A∪B）∪C，A（BC）= （AB）C

4.分配律：A∪（B∩C）=（A∪B）∩（B∪C），A∩（B∪C）=（A∩B）∪（A∩C）

A（B - C）= AB - AC，A - （B∪C）= （A - B）∩（A - C），A - （B∩C）= （A - B） ∪（A - C）

5.德摩根律：$\overline{A\cup B}=\bar{A}\cap \bar{B}$，$\overline{A\cap B}=\bar{A}\cup \bar{B}$

6.矛盾律：A∩$\bar{A}=$∅ ，排中律：A ∪$\bar{A}=$E

7.运算符优先级：先逆，再交，最后并 or 差。

$附:$​A - B，AB，B - A 为两两互斥事件，所以有A = （A - B）∪AB，B = （B - A）∪AB。

1.3 频率与概率

1.3.1 概率的描述性定义

1.Def：称随机事件A发生的可能性大小的度量（非负值）为事件A发生的概率。

1.3.2 概率的统计性定义——频率

1.Def：在相同条件下进行n次试验，在这n次试验中，事件A发生的次数$n_A$，称为事件A发生的$频数$，比值$\frac{n_A}{n}$称为事件A发生的$频率$，并记作$f_n(A)$。

2.基本性质：

​ ①0$⩽$$f_n(A)$$\leqslant$1；

​ ②$f_n(S)$ = 1；

​ ③若$A_1，A_2,\dots ,A_n$为两两互不相容事件，则有

​ $f(A_1\cup A_2\cup \dots \cup A_n)=f(A_1)+f(A_2)+\dots +f(A_n)$；

​ ④当n$\to \infty$时，$f_n(A)\to$常数。（频率稳定性 or统计规律性）

1.3.3 概率的公理性定义

1.Def：设E是随机试验，S是它的样本空间，对于E的每一事件A赋予一个实数，记为$P（A）$（A的概率）。它满足以下三个条件：

​ ①非负性：对任意事件A，有P（A）$\geqslant$0;

​ ②规范性：必然事件S，P（S）=1；

​ ③可列可加性：若$A_1,A_2,\dots ,A_n,\dots$为两两互不相容事件，则

​ $P(A_1\cup A_2\cup \dots \cup A_n\cup \dots )=P(A_1)+P(A_2)+\dots +P(A_n)+\dots$

2.重要性质：

​ ①P（∅）=0；

​ ②有限可加性：若$A_1，A_2,\dots ,A_n$为两两互不相容事件，则有

​ $P(A_1\cup A_2\cup \dots \cup A_n)=P(A_1)+P(A_2)+\dots +P(A_n)$；

​ ③设A、B是两个事件，且A⊂B，则有

​ P（A）$⩽$​P（B），P（B - A）= P（B）- P（A）；（单调性）

​ $推论:$对任意两个事件A、B，有 $P(B-A)=P(B)-P(AB)$

​ ④对任一事件A，有

​ P（A）$\leqslant$1；

​ ⑤逆事件的概率：对任意事件A，有

​ $P(\bar{A})=1-P(A)$;

​ ⑥加法公式：对任意俩事件A、B，有

​ P（A ∪ B）=P（A）+ P（B）- P（AB）

$推广:$a.半可加性：P（A ∪ B）$⩽$P（A）+ P（B）

​ b.三个事件：

​ P（A∪B∪C）=P（A）+P（B）+P（C）- P（AB）- P（AC）- P（BC）+P（ABC）

​ c.n个事件：
​ $P(A_1\cup A_2\cup \dots \cup A_n)=\sum _{i=1}^{n}P(A_i)-\sum _{1⩽i<j⩽n}P(A_i{A}_j)+\sum _{1⩽i<j<k⩽n}P(A_i{A}_j{A}_k)+\dots +(-1{)}^{n-1}P(A_1{A}_2\dots A_n)$

​ ⑦减法公式：设A、B为任意两个事件，则

​ P（A$\bar{B}$） = P（A-B）=P（A）-P（AB）

1.4 古典概型（等可能概型）

1.4.1 中学概率知识

1.加法原理：设完成一件事有n类方法（只需其中一类方法即可完成事情），若第k类方法有$m_k$种方法（1$⩽$k$⩽$n），则完成这件事总共有$N=m_1+m_2+\dots +m_n$种方法。

2.乘法原理：设完成一件事有n个步骤（当且仅当n个步骤全部完成），若第k个步骤有$m_k$种方法（1$⩽$k$⩽$n），则完成这件事总共有$N=m_1\times m_2\times \dots \times m_n$种方法。

3.排列：

​ ①不同元素的选排列：从n个不同元素中任取m（m$⩽$n）个按一定顺序排成一列，称为从n个元素中取出m个元素的选排列，共有$P{}_n^m$种。当m=n时，称为全排列，共有n！种。（0！=1）

​ $P{}_n^m=n(n-1)(n-2)\cdots (n-m+1)=\frac{n!}{(n-m)!}=A{}_n^m$

​ ②不同元素的重复排列：从n个不同元素种又放回的取m（m$⩽$n）个进行排列，其排列总数共有$n\times n\times \dots \times n=n^m$​种。

​ ③不全相异元素的排列：在n个元素中，有m类元素，每类各有$k_1,k_2,\dots ,k_m$个，将这n个元素做全排列，共有如下种方式：

​ N=$\frac{n!}{k_1!k_2!\dots k_n!}$​

​ ④环排列：从n个不同的元素中，选出m个不同的元素排成一个圈，共有如下种方式：

​ $\frac{n(n-1)(n-2)\dots (n-m+1)}{m}=C{}_n^m(m-1)!$

4.组合：

​ ①从n个元素中取出m个（$不放回抽样$）组成一组，不同的分发方式共有：

​ $\left(\begin{array}{c}n\\ m\end{array}\right)=C{}_n^m=\frac{n!}{m!(n-m)!}=\frac{P{}_n^m}{m!}$

​ ②从n个元素中取出m个（$放回抽样$）组成一组，不同的分发方式共有：

​ $H{}_n^m=\left(\begin{array}{c}n+m-1\\ m\end{array}\right)$

1.4.2 古典概型

1.Def：若随机试验E满足：

​ （1）样本空间S只含有限个样本点，S={$e_1,e_2,\dots ,e_n$};

​ （2）每个基本事件（样本点）发生的可能性相同；

则称此随机试验的概率模型为等可能概型，又称古典概型。

2.古典概型中，事件A={$e_{i1},e_{i2},\dots ,e_{ik}$}发生的概率为

​ $P(A)=\frac{k}{n}=\frac{A包含的基本事件数}{S包含的基本事件总数}$

1.4.3 古典概型基本模型

1.4.3.1 分球模型

1.无放回摸球（不放回抽样）：

2.有放回的摸球（放回抽样）：

1.4.3.2 分球入盒模型

1.盒子容量无限：

2.每个盒子只能装一个球：

3.综合例题：

1.4.3.3 分组问题

1.4.3.4 超几何分布

1.Def：设有N件产品，其中有D件次品，今从中任取n件，问其中恰有k（$k⩽N$）件次品的概率为：
$$p=\left(\begin{array}{c}D\\ k\end{array}\right)=\left(\begin{array}{c}N-D\\ n-k\end{array}\right)/\left(\begin{array}{c}N\\ n\end{array}\right)$$

$附:实际推断原理:概率很小的事件在一次试验中实际上几乎是不发生的。$

1.4.4 几何概型（等可能概型）

1.Def：若随机试验E满足：

​ ①样本空间S是$R^n$（n=1，2，3）中一个可度量的几何区域；

​ ②每个样本点出现的概率相等，即样本点落入S某一可度量的子区域A的可能性大小与A的几何度量成正比，而与A的位置及形状无关，则事件A={样本点落入区域A}的概率为：
$$P(A)=\frac{A的几何度量(长度、面积、体积)}{S的几何度量(长度、面积、体积)}$$
$注意！$ ①古典概型：基本事件有限，等可能的随机试验。

​ ②几何概型：基本事件无限，等可能的随机试验。

1.5 条件概率

1.5.1 条件概率

1.Def：设A、B是两个事件，且$P(A)>0$，称
$$P(B|A)=\frac{P(AB)}{P(A)}$$
为在事件A发生的条件下事件B发生的条件概率。

$注意：这里样本空间已经从S坍塌到A了，样本空间减小。$

2.条件概率满足条件（也是概率）

已知事件A发生且P（A）>0

• 非负性：对于每一件事件B，有$P(B|A)⩾0$。

• 规范性：对于必然事件S，有$P(S|A)=1$。

• 可列可加性：设$B_1,B_2,\dots$是两两互不相容事件，则有

$$P(\bigcup _{i=1}^{\infty }{B}_i|A)=\sum _{i=1}^{\infty }P(B_i|A)$$

3.条件概率的性质：当P（A）> 0时

• $P(B|A)⩾0$​
• 有限可加性：$P(\bigcup _{i=1}^n{B}_i|A)=\sum _{i=1}^{n}P(B_i|A)$
• $P(S|A)=0,P(\varnothing |A)=0$
• 加法公式:$P(B\cup C|A)=P(B|A)+P(C|A)-P(BC|A)$
• 当B、C互不相容时，$P(B\cup C|A)=P(B|A)+P(C|A)$
• 可减性：$P(B-C|A)=P(B|A)-P(BC|A)$
• $P(\bar{B}|A)=1-P(B|A)$

1.5.2 乘法定理

1.Def：设P（A）> 0，P（B）> 0 ，则有
$$P(AB)=P(B|A)P(A)=P(A|B)P(B)$$
称为乘法公式。

2.推广

• 三个事件A、B、C，且P（AB）> 0[$P(A)⩾P(AB)>0$].

$$P(ABC)=P(C|AB)P(B|A)P(A)$$

• n（$n⩾2$）个事件$A_1,A_2,\dots A_n$，且$P(A_1{A}_2\dots A_{n-1})>0$，则有

$$P(A_1{A}_2\dots A_n)=P(A_1)P(A_2|A_1)P(A_3|A_2{A}_1)\dots P(A_n|A_{n-1}\dots A_2{A}_1)$$

• 注意事件发生的先后次序，$A_i$先于$A_{i+1}$​​发生，可用上式。

3.先验概率 & 后验概率

• 由以往的数据分析得到的概率叫$先验概率$​。
• 加入新数据后重新修正得到的概率叫$后验概率$。

1.5.3 全概率公式 & 贝叶斯公式

1.5.3.1 全概率公式（由因求果）

1.样本空间划分：设S为试验E的样本空间，$B_1,B_2,\dots ,B_n$为E的一组事件，若

• $B_i{B}_j=$∅，$i\ne j,i,j=1,2,\dots ,n$
• $B_1\cup B_2\cup \dots \cup B_n=S$

则称$B_1,B_2,\dots ,B_n$为样本空间S的一个划分（也叫完备事件集）。

$注意:$①若$B_1,B_2,\dots ,B_n$为样本空间S的一个划分，则对每次试验，事件$B_1,B_2,\dots ,B_n$中必有一个且仅有一个发生。

​ ②样本空间的划分一般不唯一。

2.全概率公式：设试验E的样本空间为S，A为E的事件，$B_1,B_2,\dots ,B_n$为S的一个划分，且$P(B_i)>0(i=1,2,\dots ,n)$，则
$$P(A)=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\dots +P(A|B_n)P(B_n)=\sum _{i=1}^{n}P(A|B_i)P(B_i)$$

1.5.3.2 贝叶斯公式（由果导因）

1.Def：设试验E的样本空间为S。A为E的事件，$B_1,B_2,\dots ,B_n$为S的一组划分，且P（A）> 0，$P(B_i)>0(i=1,2,\dots ,n)$，则
$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{\sum _{i=1}^{n}P(A|B_i)P(B_i)}$$
称为贝叶斯公式。

2.全概率 & 贝叶斯

取n=2，并将$B_1$记为$B$，$B_2$记为$ \bar{B}$，则全概率公式和贝叶斯公式可以写成：
$$P(A)=P(A|B)P(B)+P(A|\bar{B})P(\bar{B})——全概率公式$$

$$P(B|A)=\frac{P(AB)}{P(A)}=\frac{P(A|B)P(B)}{P(A|B)P(B)+P(A|\bar{B})P(\bar{B})}——贝叶斯公式$$

1.6 独立性

1.6.1 描述性定义

• 设A、B为两个事件，如果其中任何一个事件发生的概率不受另一个事件发生与否的影响，则称事件A与B相互独立。

$$P(B|A)=P(B),P(B|\bar{A})=P(B),P(A|B)=P(A),P(A|\bar{B})=P(A)$$

1.6.2 数学定义

1.Def：设A、B是两事件，如果满足等式：
$$P(AB)=P(A)P(B)$$
则称事件A、B相互独立，简称A、B独立。

2.$注意！$

• 与事件中的包含、相等、相容、对立关系不同，独立是从概率角度定义的。
• 互相独立 & 互不相容之间没有不然联系。特殊地，在$P(A)>0,P(B)>0$时，A、B相互独立与A、B互不相容不能同时成立。
  • 互相独立：$P(AB)=P(A)P(B)>0$
  • 互不相容：$P(AB)=P(\varnothing )=0$
• 必然事件 及 不可能事件与任意事件互相独立。

3.定理

• 设A、B是两事件，且$P(A)>0.$若A、B相互独立，则$P(B|A)=P(B)$，反之亦然。

• 若事件A与B相互独立，则下列各对事件也相互独立：
  $$A与\bar{B},\bar{A}与B,\bar{A}与\bar{B}$$

1.6.3 多个事件的独立性

1.三个事件两两独立

Def：设A、B、C是三个事件，如果满足等式：
$$\{\begin{array}{l}P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(AC)=P(A)P(C)\end{array}$$
则称事件A、B、C两两独立。

2.三个事件相互独立

Def：设A、B、C是三个事件，如果满足等式：
$$\{\begin{array}{l}P(AB)=P(A)P(B)\\ P(BC)=P(B)P(C)\\ P(AC)=P(A)P(C)\\ P(ABC)=P(A)P(B)P(C)\end{array}$$
则称事件A、B、C相互独立。

3.联系

• 相互独立$\Rightarrow$​两两独立，反之不成立。
  

4.推广：n个事件的独立性

• Def：一般设$A_1,A_2,\dots ,A_n$是$n(n⩾2)$个事件，如果对于其中任意2个，任意3个，…，任意n个事件的积事件的概率，都等于个事件概率之和，则称事件$A_1,A_2,\dots ,A_n$相互独立。

  • 共$C_n^2+C_n^3+\dots +C_n^n=2^n-n-1$个等式成立。

• 推论：

  • 若事件$A_1,A_2,\dots ,A_n(n⩾2)$相互独立，则其中任意$k(2⩽k⩽n)$个事件也是相互独立的。
  • 若事件$A_1,A_2,\dots ,A_n(n⩾2)$相互独立，则将事件$A_1,A_2,\dots ,A_n$中任意多个事件换成它们各自的对立事件，所得的n个事件仍相互独立。

1.6.4 独立性判断

1.直观性判断：

• 若试验独立，则其结果必然独立。
• 根据事件的实际意义取判断。

2.利用上述定义 及 定理判断。

1.6.5 独立重复试验

1.定义（独立试验序列）

​ 设$E_i(i=1,2,\dots )$是一列随机试验，$E_i$的样本空间Ω${}_i$，设$A_k$是$E_k$中的任一事件，$A_k\subset$Ω${}_k$，若$A_k$出现的概率都不依赖于其它各次试验$E_i(i\ne k)$的结果，则称$E_i$是$相互独立$的随机试验序列，简称$独立试验$序列。

2.n 重贝努里（Bernoulli）试验

​ 若n次重复试验具有下列特点：

• 每次试验的可能结果只有两个$A、\bar{A}$，且$P(A)=p,P(\bar{A}=1-p)$（在各次试验中p是常数，保持不变）；
• 各次试验的结果相互独立。

则称这n次重复试验为$n重贝努利（Bernoulli）试验$，简称为$贝努里概型$。

3.$Bernoulli$定理：

​ 在n 重贝努里试验中，事件A发生的概率为p，则事件A发生k次的概率为：
$$b(k;n,p)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,\dots ,n$$
E_i}(i=1,2,…)$是一列随机试验，$E_i$的样本空间\Omega$_i$，设$A_k$是$E_k$中的任一事件，$A_k \subset$\Omega$_k$，若$A_k$出现的概率都不依赖于其它各次试验$E_i(i\neq k)$的结果，则称${E_i}$是$\color{red}{相互独立}$的随机试验序列，简称$\color{red}{独立试验}$序列。

2.n 重贝努里（Bernoulli）试验

​ 若n次重复试验具有下列特点：

• 每次试验的可能结果只有两个$A、\bar{A}$，且$P(A)=p,P(\bar{A}=1-p)$（在各次试验中p是常数，保持不变）；
• 各次试验的结果相互独立。

则称这n次重复试验为$n重贝努利（Bernoulli）试验$，简称为$贝努里概型$。

3.$Bernoulli$定理：

​ 在n 重贝努里试验中，事件A发生的概率为p，则事件A发生k次的概率为：
$$b(k;n,p)=C_n^k{p}^k(1-p{)}^{n-k},k=0,1,2,\dots ,n$$

这篇关于概率论与数理统计 第一章 概率论的基本概念的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---