设 A , B A, B A , B 为两事件,且 P ( A ) > 0 P(A)>0 P ( A ) > 0 ,则在已知“事件 A A A 发生”的条件下,事件 B B B 发生的条件概率 P ( B ∣ A ) P(B|A) P ( B ∣ A ) 定义为
P ( B ∣ A ) = P ( A B ) P ( A ) P(B|A)=\frac{P(AB)}{P(A)} P ( B ∣ A ) = P ( A ) P ( A B )
非负性 :对于任意事件 B B B 有 P ( B ∣ A ) ≥ 0 P(B|A) \geq 0 P ( B ∣ A ) ≥ 0
归一性 :P ( S ∣ A ) = 1 P(S|A)=1 P ( S ∣ A ) = 1
可列可加性 :对任意的一列两两互不相容的事件 B i , i = 1 , 2 … B_{i}, \,i=1,2 \ldots B i , i = 1 , 2 … ,有
P ( ⋃ i = 1 ∞ B i ∣ A ) = ∑ i = 1 ∞ P ( B i ∣ A ) P\left(\bigcup_{i=1}^{\infty} B_{i} | A\right)=\sum_{i=1}^{\infty} P\left(B_{i} | A\right) P ( i = 1 ⋃ ∞ B i ∣ A ) = i = 1 ∑ ∞ P ( B i ∣ A )
乘法公式 :P ( A B ) = P ( A ) P ( B ∣ A ) = P ( B ) P ( A ∣ B ) P(A B)=P(A) P(B | A)=P(B) P(A | B) P ( A B ) = P ( A ) P ( B ∣ A ) = P ( B ) P ( A ∣ B ) ,其中 P ( A ) > 0 , P ( B ) > 0 P(A)>0, P(B)>0 P ( A ) > 0 , P ( B ) > 0
乘法公式的推广 :P ( A 1 A 2 … A n ) = P ( A 1 ) P ( A 2 ∣ A 1 ) … P ( A n ∣ A 1 A 2 … A n − 1 ) P\left(A_{1} A_{2} \ldots A_{n}\right)=P\left(A_{1}\right) P\left(A_{2} | A_{1}\right) \ldots P\left(A_{n} | A_{1} A_{2} \ldots A_{n-1}\right) P ( A 1 A 2 … A n ) = P ( A 1 ) P ( A 2 ∣ A 1 ) … P ( A n ∣ A 1 A 2 … A n − 1 ) ,其中 P ( A 1 A 2 … A n − 1 ) > 0 P\left(A_{1} A_{2} \ldots A_{n-1}\right)>0 P ( A 1 A 2 … A n − 1 ) > 0
设 A 1 , A 2 , … , A n A_{1}, A_{2}, \ldots, A_{n} A 1 , A 2 , … , A n 是样本空间 S S S 的一个剖分,则对任意事件 B B B ,有
P ( B ) = ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P(B)=\sum_{i=1}^{n} P\left(A_{i}\right) P\left(B | A_{i}\right) P ( B ) = i = 1 ∑ n P ( A i ) P ( B ∣ A i )
设 A 1 , A 2 , … , A n A_{1}, A_{2}, \ldots, A_{n} A 1 , A 2 , … , A n 是样本空间 S S S 的一个剖分,如果 P ( A i ) > 0 , i = 1 , 2 … n P\left(A_{i}\right)>0, \,i=1,2 \ldots n P ( A i ) > 0 , i = 1 , 2 … n ,则对任意事件 B B B ,只要 P ( B ) > 0 P(B)>0 P ( B ) > 0 ,就有
P ( A k ∣ B ) = P ( A k ) P ( B ∣ A k ) ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P\left(A_{k} | B\right)=\frac{P\left(A_{k}\right) P\left(B | A_{k}\right)}{\sum_{i=1}^{n} P\left(A_{i}\right) P\left(B | A_{i}\right)} P ( A k ∣ B ) = ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P ( A k ) P ( B ∣ A k )
设 A , B A, B A , B 是任意事件,若 P ( A B ) = P ( A ) P ( B ) P(A B)=P(A) P(B) P ( A B ) = P ( A ) P ( B ) ,则称事件 A A A 与 B B B 相互独立.
设 A 1 , A 2 , … , A n A_{1}, A_{2}, \ldots, A_{n} A 1 , A 2 , … , A n 是 n n n 个事件,若从中任取 k k k 个事件(2 ≤ k ≤ n 2 \leq k \leq n 2 ≤ k ≤ n )都有 P ( A i 1 A i 2 … A i k ) = P ( A i 1 ) P ( A i 2 ) … P ( A i k ) P\left(A_{i_{1}} A_{i_{2}} \ldots A_{i_{k}}\right)=P\left(A_{i_{1}}\right) P\left(A_{i_{2}}\right)\ldots P\left(A_{i_{k}}\right) P ( A i 1 A i 2 … A i k ) = P ( A i 1 ) P ( A i 2 ) … P ( A i k ) ,则称这 n n n 个事件相互独立.
相互独立 ⇒ \Rightarrow ⇒ 两两独立
两两独立 ⇏ \nRightarrow ⇏ 相互独立
A A A 与 B B B ,A ‾ \overline{A} A 与 B B B ,A A A 与 B ‾ \overline{B} B ,A ‾ \overline{A} A 与 B ‾ \overline{B} B 只要有一个独立关系成立,则其余都成立
互不相容与相互独立不能同时成立(概率为 0 0 0 或 1 1 1 的事件除外)
A A A 与 B B B 不相容 ⟨ ⇒ ⇍ ⟩ \langle \begin{array}{l}{\Rightarrow} \\ {\nLeftarrow}\end{array}\rangle ⟨ ⇒ ⇍ ⟩ A A A 与 B B B 不独立
A A A 与 B B B 相容 ⟨ ⇏ ⇐ ⟩ \langle \begin{array}{l}{\nRightarrow} \\ {\Leftarrow}\end{array}\rangle ⟨ ⇏ ⇐ ⟩ A A A 与 B B B 独立
事件 A A A 与 A A A 独立 ⇔ \Leftrightarrow ⇔ P ( A ) = 0 P(A)=0 P ( A ) = 0 或 P ( A ) = 1 P(A)=1 P ( A ) = 1
如果试验 E E E 只有两个结果,A A A 及 A ‾ \overline{A} A ,且 P ( A ) = p , 0 < p < 1 P(A)=p,\,0 < p < 1 P ( A ) = p , 0 < p < 1 ,则称 E E E 为伯努利试验.将试验 E E E 独立地重复 n n n 次,看成一个试验,称为 n n n 次独立重复试验,或 n n n 重伯努利试验,记为 E n E^{n} E n .
用 B B B 表示事件 A A A 在 n n n 次重复试验中出现 m m m 次的事件,则
P ( B ) = C n m p m q n − m , m = 1 , 2 , … , n P(B)=\mathrm{C}_{n}^{m} p^{m} q^{n-m},\quad m=1,2, \dots, n P ( B ) = C n m p m q n − m , m = 1 , 2 , … , n
X ∼ B ( n , p ) 0 < p < 1 X \sim B(n, p) \quad 0 < p < 1 X ∼ B ( n , p ) 0 < p < 1
分布列:
P ( X = k ) = C n k p k q n − k , k = 0 , 1 , 2 , … , n P(X=k)=\mathrm{C}_{n}^{k} p^{k} q^{n-k},\quad k=0,1,2, \dots, n P ( X = k ) = C n k p k q n − k , k = 0 , 1 , 2 , … , n
当 n = 1 n=1 n = 1 时称为两点分布
实际背景:n n n 次独立重复试验中事件发生 k k k 次的概率.
X ∼ H ( n , M , N ) n ≤ N , M ≤ N X \sim H(n, M, N) \quad n \leq N, M \leq N X ∼ H ( n , M , N ) n ≤ N , M ≤ N
分布列:
P ( X = m ) = C M m C N − M n − m C N n , m = 0 , 1 , 2 … , n P(X=m)=\frac{\mathrm{C}_{M}^{m} \mathrm{C}_{N-M}^{n-m}}{\mathrm{C}_{N}^{n}}, \quad m=0,1,2 \ldots, n P ( X = m ) = C N n C M m C N − M n − m , m = 0 , 1 , 2 … , n
实际背景:N N N 件产品中有 M M M 件次品,从中任取 n n n 件,恰有 m m m 件次品的概率.
X ∼ P ( λ ) X \sim P(\lambda) X ∼ P ( λ ) 或 X ∼ π ( λ ) X \sim \pi(\lambda) X ∼ π ( λ )
分布列:
P ( X = k ) = λ k k ! e − λ , k = 0 , 1 , 2 … P(X=k)=\frac{\lambda^{k}}{k !} e^{-\lambda}, \quad k=0,1,2 \ldots P ( X = k ) = k ! λ k e − λ , k = 0 , 1 , 2 …
泊松定理:设 X n ∼ B ( n , p n ) X_{n} \sim B\left(n, p_{n}\right) X n ∼ B ( n , p n ) ,如果 lim n → ∞ n p n = λ \lim_{n \rightarrow \infty} n p_{n}=\lambda lim n → ∞ n p n = λ ,则有
lim n → ∞ C n k p n k ( 1 − p n ) n − k = λ k k ! e − λ , k = 0 , 1 … \lim_{n \rightarrow \infty} \mathrm{C}_{n}^{k} p_{n}^{k}\left(1-p_{n}\right)^{n-k}=\frac{\lambda^{k}}{k !} e^{-\lambda}, \quad k=0,1 \ldots n → ∞ lim C n k p n k ( 1 − p n ) n − k = k ! λ k e − λ , k = 0 , 1 …
当 n n n 很大,p p p 或 1 − p 1-p 1 − p 很小时,泊松分布可以做二项分布的近似计算.
X ∼ G ( p ) p > 0 X \sim G(p) \quad p>0 X ∼ G ( p ) p > 0
分布列:P ( X = k ) = p ( 1 − p ) k − 1 , k = 1 , 2 … P(X=k)=p(1-p)^{k-1}, \quad k=1,2 \ldots P ( X = k ) = p ( 1 − p ) k − 1 , k = 1 , 2 …
实际背景:独立重复试验 k k k 次才成功的概率.
几何分布的无记忆性:P ( X > s + t ∣ X > s ) = P ( X > t ) P(X>s+t | X>s)=P(X>t) P ( X > s + t ∣ X > s ) = P ( X > t )
随机试验 E E E ,X X X 是其随机变量,对任意的 x ∈ R x \in R x ∈ R ,称 F ( x ) = P ( X ≤ x ) x ∈ R F(x)=P(X \leq x) \quad x \in R F ( x ) = P ( X ≤ x ) x ∈ R 为随机变量 X X X 的分布函数.
F ( x ) F(x) F ( x ) 是 x x x 的右连续函数.
F ( x ) F(x) F ( x ) 是 x x x 的单调不减函数.
0 ≤ F ( x ) ≤ 1 0 \leq F(x) \leq 1 0 ≤ F ( x ) ≤ 1 .
P ( a < X ≤ b ) = F ( b ) − F ( a ) P(a<X \leq b)=F(b)-F(a) P ( a < X ≤ b ) = F ( b ) − F ( a )
设 X X X 是一个随机变量,F ( x ) F(x) F ( x ) 是它的分布函数.如果存在一个可积函数 f ( x ) ≥ 0 f(x) \geq 0 f ( x ) ≥ 0 ,使得 F ( x ) F(x) F ( x ) 满足 F ( x ) = P ( X ≤ x ) = ∫ − ∞ x f ( t ) d t , x ∈ R F(x)=P(X \leq x)=\int_{-\infty}^{x} f(t) \, \mathrm{d} t, \quad x \in R F ( x ) = P ( X ≤ x ) = ∫ − ∞ x f ( t ) d t , x ∈ R 则称 X X X 为连续型随机变量,f ( x ) f(x) f ( x ) 称为 X X X 的密度函数.
F ′ ( x ) = f ( x ) F^{\prime}(x)=f(x) F ′ ( x ) = f ( x )
性质:
非负性:f ( x ) ≥ 0 f(x) \geq 0 f ( x ) ≥ 0
归一性:∫ − ∞ + ∞ f ( x ) d x = 1 \int_{-\infty}^{+\infty} f(x) \, \mathrm{d} x=1 ∫ − ∞ + ∞ f ( x ) d x = 1
d F ( x ) d x = f ( x ) \displaystyle\frac{\mathrm{d} F(x)}{\mathrm{d} x}=f(x) d x d F ( x ) = f ( x )
P ( a < X ≤ b ) = ∫ a b f ( x ) d x = F ( b ) − F ( a ) P(a<X \leq b)=\int_{a}^{b} f(x) \, \mathrm{d} x=F(b)-F(a) P ( a < X ≤ b ) = ∫ a b f ( x ) d x = F ( b ) − F ( a )
P ( X = c ) ≈ f ( c ) Δ x P(X=c) \approx f(c) \Delta x P ( X = c ) ≈ f ( c ) Δ x
对任意一点C C C ,P ( X = c ) = 0 P(X=c)=0 P ( X = c ) = 0
F ( x ) F(x) F ( x ) 是连续函数
X ∼ U ( a , b ) X \sim U(a, b) X ∼ U ( a , b )
密度函数:
f ( x ) = { 1 b − a , a < x < b 0 , 其他 f(x)=\begin{cases}\displaystyle\frac{1}{b-a}, \quad &a \lt x \lt b \\ 0,\quad &\text{其他}\end{cases} f ( x ) = ⎩ ⎨ ⎧ b − a 1 , 0 , a < x < b 其他
分布函数:
F ( x ) = { 0 , x < a x − a b − a , a ≤ x < b 1 , x ≥ b F(x)=\begin{cases}
0, \quad &x \lt a \\
\displaystyle\frac{x-a}{b-a}, \quad & a \leq x \lt b \\
1, \quad & x \geq b
\end{cases} F ( x ) = ⎩ ⎪ ⎪ ⎨ ⎪ ⎪ ⎧ 0 , b − a x − a , 1 , x < a a ≤ x < b x ≥ b
X ∼ E ( λ ) X \sim E(\lambda) X ∼ E ( λ ) 或 X ∼ e ( λ ) X \sim e(\lambda) X ∼ e ( λ ) ,λ > 0 \lambda \gt 0 λ > 0
密度函数:
f ( x ) = { λ e − λ x , x > 0 0 , x ≤ 0 f(x)=\begin{cases}
\lambda \mathrm{e}^{-\lambda x}, \quad & x \gt 0 \\
0, \quad & x \leq 0
\end{cases} f ( x ) = { λ e − λ x , 0 , x > 0 x ≤ 0
分布函数:
F ( x ) = { 1 − e − λ x , x > 0 0 , x ≤ 0 F(x)=\begin{cases}
1-\mathrm{e}^{-\lambda x}, \quad & x \gt 0 \\
0, \quad & x \leq 0
\end{cases} F ( x ) = { 1 − e − λ x , 0 , x > 0 x ≤ 0
指数分布无记忆性
X ∼ N ( μ , σ 2 ) − ∞ < μ < + ∞ , σ > 0 X \sim N(\mu, \sigma ^2) \quad -\infty \lt \mu \lt +\infty, \sigma \gt 0 X ∼ N ( μ , σ 2 ) − ∞ < μ < + ∞ , σ > 0
密度函数:
f ( x ) = 1 2 π σ e − ( x − μ ) 2 2 σ 2 − ∞ < x < + ∞ f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \mathrm{e}^{-\frac{(x-\mu)^{2}}{2 \sigma^{2}}} \quad -\infty < x < +\infty f ( x ) = 2 π σ 1 e − 2 σ 2 ( x − μ ) 2 − ∞ < x < + ∞
分布函数:
F ( x ) = ∫ − ∞ x 1 2 π σ e − ( t − μ ) 2 2 σ 2 d t x ∈ R F(x)=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi} \sigma} \mathrm{e}^{-\frac{(t-\mu)^{2}}{2 \sigma^{2}}} \, \mathrm{d} t \quad x \in R F ( x ) = ∫ − ∞ x 2 π σ 1 e − 2 σ 2 ( t − μ ) 2 d t x ∈ R
f ( x ) f(x) f ( x ) 的性质:
f ( x ) f(x) f ( x ) 关于 μ \mu μ 对称,在 x = μ x=\mu x = μ 处取得极大值 1 2 π σ π \displaystyle\frac{1}{\sqrt{2 \pi}\sigma}\pi 2 π σ 1 π ,拐点为 x = μ ± σ x=\mu \pm \sigma x = μ ± σ
标准正态分布 N ( 0 , 1 ) N(0,1) N ( 0 , 1 ) :
密度函数 φ ( x ) \varphi(x) φ ( x )
分布函数 Φ ( x ) \varPhi(x) Φ ( x )
Φ ( − x ) = 1 − Φ ( x ) \varPhi(-x)=1-\varPhi(x) Φ ( − x ) = 1 − Φ ( x )
Φ ( 0 ) = 1 2 \varPhi(0) = \displaystyle\frac{1}{2} Φ ( 0 ) = 2 1
定理:若 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma ^{2}) X ∼ N ( μ , σ 2 ) ,则 Z = X − μ σ ∼ N ( 0 , 1 ) Z=\displaystyle\frac{X-\mu}{\sigma} \sim N(0,1) Z = σ X − μ ∼ N ( 0 , 1 )
已知 X X X 的密度 f ( x ) f(x) f ( x ) ,求连续型随机变量 Y = g ( X ) Y=g(X) Y = g ( X ) 的分布的一般步骤:
由 X X X 的取值范围,及 Y = g ( X ) Y=g(X) Y = g ( X ) 确定 Y Y Y 的取值范围
求 F Y ( y ) = P ( Y ≤ y ) = P ( g ( X ) ≤ y ) = P ( X ∈ ( h ( y ) ) ) F_{Y}(y)=P(Y \leq y)=P(g(X) \leq y)=P(X \in(h(y))) F Y ( y ) = P ( Y ≤ y ) = P ( g ( X ) ≤ y ) = P ( X ∈ ( h ( y ) ) )
求 f Y ( y ) = F Y ′ ( y ) f_{Y}(y)=F_{Y}^{\prime}(y) f Y ( y ) = F Y ′ ( y )
定理:设连续型随机变量 X X X 的密度函数为 f X ( x ) f_{X}(x) f X ( x ) ,y = g ( x ) y=g(x) y = g ( x ) 是一个严格单调的函数,且具有一阶连续导数,则 Y = g ( X ) Y=g(X) Y = g ( X ) 的密度函数为 f Y ( y ) = f X ( g − 1 ( y ) ) ∣ ( g − 1 ( y ) ) ′ ∣ f_{Y}(y)=f_{X}\left(g^{-1}(y)\right) |\left(g^{-1}(y)\right)^{\prime} | f Y ( y ) = f X ( g − 1 ( y ) ) ∣ ( g − 1 ( y ) ) ′ ∣
P ( X = x i , Y = y j ) = Δ P { ( X = x i ) ∩ ( Y = y j ) } = p i j i , j = 1 , 2 , … P\left(X=x_{i}, Y=y_{j}\right) \stackrel{\Delta}{=} P\left\{\left(X=x_{i}\right) \cap\left(Y=y_{j}\right)\right\}=p_{i j} \quad i, j=1,2, \ldots P ( X = x i , Y = y j ) = Δ P { ( X = x i ) ∩ ( Y = y j ) } = p i j i , j = 1 , 2 , …
P ( X = x i ) = ∑ j = 1 ∞ P ( X = x i , Y = y j ) = ∑ j = 1 ∞ p i j = p i ⋅ i = 1 , 2 … P\left(X=x_{i}\right)=\sum_{j=1}^{\infty} P\left(X=x_{i}, Y=y_{j}\right)=\sum_{j=1}^{\infty} p_{i j}=p_{i \cdot} \quad i=1,2 \ldots P ( X = x i ) = j = 1 ∑ ∞ P ( X = x i , Y = y j ) = j = 1 ∑ ∞ p i j = p i ⋅ i = 1 , 2 …
P ( X = x i ∣ Y = y j ) = P ( X = x i , Y = y j ) P ( Y = y j ) = p i j p ⋅ j i = 1 , 2 … P\left(X=x_{i} | Y=y_{j}\right)=\frac{P\left(X=x_{i}, Y=y_{j}\right)}{P\left(Y=y_{j}\right)}=\frac{p_{i j}}{p_{\cdot j}} \quad i=1,2 \ldots P ( X = x i ∣ Y = y j ) = P ( Y = y j ) P ( X = x i , Y = y j ) = p ⋅ j p i j i = 1 , 2 …
F ( x , y ) = P ( X ≤ x , Y ≤ y ) = P ( ( X ≤ x ) ∩ ( Y ≤ y ) ) x ∈ R , y ∈ R F(x, y)=P(X \leq x, Y \leq y)=P((X \leq x) \cap(Y \leq y)) \quad x \in R, y \in R F ( x , y ) = P ( X ≤ x , Y ≤ y ) = P ( ( X ≤ x ) ∩ ( Y ≤ y ) ) x ∈ R , y ∈ R
F X ( x ) = P ( X ≤ x ) = P ( X ≤ x , Y ≤ + ∞ ) = F ( x , + ∞ ) x ∈ R F_{X}(x)=P(X \leq x)=P(X \leq x, Y \leq+\infty)=F(x,+\infty) \quad x \in R F X ( x ) = P ( X ≤ x ) = P ( X ≤ x , Y ≤ + ∞ ) = F ( x , + ∞ ) x ∈ R
F Y ∣ X ( y ∣ x ) = P ( X = x , Y ≤ y ) P ( X = x ) y ∈ R F_{Y | X}(y | x)=\frac{P(X=x, Y \leq y)}{P(X=x)} \quad y \in R F Y ∣ X ( y ∣ x ) = P ( X = x ) P ( X = x , Y ≤ y ) y ∈ R
设 ( X , Y ) (X,Y) ( X , Y ) 为二维随机变量,F ( x , y ) F(x,y) F ( x , y ) 是它的分布函数,若存在非负函数 f ( x , y ) f(x,y) f ( x , y ) 使得对任意的 x , y ∈ R x, y \in R x , y ∈ R 有 F ( x , y ) = P ( X ≤ x , Y ≤ y ) = ∫ − ∞ x ∫ − ∞ y f ( u , v ) d v d u F(x, y)=P(X \leq x, Y \leq y)=\int_{-\infty}^{x} \int_{-\infty}^{y} f(u, v) \, \mathrm{d}v \mathrm{d}u F ( x , y ) = P ( X ≤ x , Y ≤ y ) = ∫ − ∞ x ∫ − ∞ y f ( u , v ) d v d u 则称 ( X , Y ) (X,Y) ( X , Y ) 为二维连续型随机变量,f ( x , y ) f(x,y) f ( x , y ) 为 ( X , Y ) (X,Y) ( X , Y ) 的联合分布密度
∂ 2 F ( x , y ) ∂ x ∂ y = f ( x , y ) \frac{\partial^{2} F(x, y)}{\partial x \partial y}=f(x, y) ∂ x ∂ y ∂ 2 F ( x , y ) = f ( x , y )
边际分布密度
f X ( x ) = ∫ − ∞ ∞ f ( x , y ) d y f_{X}(x)=\int_{-\infty}^{\infty}f(x,y)\, \mathrm{d}y f X ( x ) = ∫ − ∞ ∞ f ( x , y ) d y
f Y ( x y ) = ∫ − ∞ ∞ f ( x , y ) d x f_{Y}(xy)=\int_{-\infty}^{\infty}f(x,y)\, \mathrm{d}x f Y ( x y ) = ∫ − ∞ ∞ f ( x , y ) d x
条件分布密度
f X ∣ Y ( x ∣ y ) = f ( x , y ) f Y ( y ) f_{X|Y}(x | y)=\frac{f(x, y)}{f_{Y}(y)} f X ∣ Y ( x ∣ y ) = f Y ( y ) f ( x , y )
f Y ∣ X ( y ∣ x ) = f ( x , y ) f X ( x ) f_{Y | X}(y | x)=\frac{f(x, y)}{f_{X}(x)} f Y ∣ X ( y ∣ x ) = f X ( x ) f ( x , y )
f ( x , y ) = { 1 G 的面积 , ( x , y ) ∈ G 0 , ( x , y ) ∉ G f(x,y) = \begin{cases}\displaystyle{\frac{1}{G\text{的面积}}},\quad & (x,y)\in G \\ 0, \quad & (x,y) \notin G\end{cases} f ( x , y ) = ⎩ ⎨ ⎧ G 的面积 1 , 0 , ( x , y ) ∈ G ( x , y ) ∈ / G
f ( x , y ) = { α β e − ( α x + β y ) , x > 0 , y > 0 0 , 其他 f(x,y) = \begin{cases} \alpha \beta \mathrm{e} ^{-(\alpha x + \beta y)}, \quad & x\gt 0, y \gt 0 \\ 0, \quad & \text{其他}\end{cases} f ( x , y ) = { α β e − ( α x + β y ) , 0 , x > 0 , y > 0 其他
( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ ) (X,Y) \sim N(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho) ( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ )
f ( x , y ) = 1 2 π σ 1 σ 2 1 − ρ 2 exp { − 1 2 ( 1 − ρ 2 ) ( ( x − μ 1 ) 2 σ 1 2 − 2 ρ ( x − μ 1 ) ( y − μ 2 ) σ 1 σ 2 + ( y − μ 2 ) 2 σ 2 2 ) } f(x, y)=\frac{1}{2 \pi \sigma_{1} \sigma_{2} \sqrt{1-\rho^{2}}} \exp \left\{-\frac{1}{2\left(1-\rho^{2}\right)}\left(\frac{\left(x-\mu_{1}\right)^{2}}{\sigma_{1}^{2}}-\frac{2 \rho\left(x-\mu_{1}\right)\left(y-\mu_{2}\right)}{\sigma_{1} \sigma_{2}}+\frac{\left(y-\mu_{2}\right)^{2}}{\sigma_{2}^{2}}\right)\right\} f ( x , y ) = 2 π σ 1 σ 2 1 − ρ 2 1 exp { − 2 ( 1 − ρ 2 ) 1 ( σ 1 2 ( x − μ 1 ) 2 − σ 1 σ 2 2 ρ ( x − μ 1 ) ( y − μ 2 ) + σ 2 2 ( y − μ 2 ) 2 ) }
若 ( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ ) (X,Y) \sim N(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho) ( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ ) ,则 X ∼ N ( μ 1 , σ 1 2 ) X \sim N(\mu_{1}, \sigma_{1}^{2}) X ∼ N ( μ 1 , σ 1 2 ) ,Y ∼ N ( μ 2 , σ 2 2 ) Y \sim N(\mu_{2}, \sigma_{2}^{2}) Y ∼ N ( μ 2 , σ 2 2 ) 且与 ρ \rho ρ 无关
设 F ( x , y ) F(x,y) F ( x , y ) 及 F X ( x ) , F Y ( y ) F_{X}(x),F_{Y}(y) F X ( x ) , F Y ( y ) 分别是二维随机变量 ( X , Y ) (X,Y) ( X , Y ) 的分布函数和边际分布函数,若对所有的 x , y x,y x , y 有:
F ( x , y ) = F X ( x ) F Y ( y ) x ∈ R , y ∈ R F(x,y)=F_{X}(x)F_{Y}(y)\quad x\in R,y \in R F ( x , y ) = F X ( x ) F Y ( y ) x ∈ R , y ∈ R
即 P ( X ≤ x , Y ≤ y ) = P ( X ≤ x ) P ( Y ≤ y ) P(X \leq x, Y \leq y)=P(X \leq x) P(Y \leq y) P ( X ≤ x , Y ≤ y ) = P ( X ≤ x ) P ( Y ≤ y ) ,则称随机变量 X X X 与 Y Y Y 独立.
二维均匀分布:矩形域独立,圆域不独立
二维指数分布:X X X 与 Y Y Y 独立
二维正态分布:X X X 与 Y Y Y 独立 ↔ ρ = 0 \leftrightarrow \rho = 0 ↔ ρ = 0
定理:设随机变量 X X X 与 Y Y Y 独立,g ( x ) , h ( y ) g(x), h(y) g ( x ) , h ( y ) 是 X X X 与 Y Y Y 的函数,则 g ( X ) g(X) g ( X ) 与 h ( Y ) h(Y) h ( Y ) 也独立.
泊松分布可加性:设 X ∼ P ( λ 1 ) , Y ∼ P ( λ 2 ) X \sim P\left(\lambda_{1}\right), Y \sim P\left(\lambda_{2}\right) X ∼ P ( λ 1 ) , Y ∼ P ( λ 2 ) ,X X X 与 Y Y Y 独立,则 X + Y ∼ P ( λ 1 + λ 2 ) X+Y \sim P\left(\lambda_{1}+\lambda_{2}\right) X + Y ∼ P ( λ 1 + λ 2 ) .
二项分布可加性:设 X ∼ B ( n , p ) , Y ∼ B ( m , p ) X \sim B(n, p), Y \sim B(m, p) X ∼ B ( n , p ) , Y ∼ B ( m , p ) ,X X X 与 Y Y Y 独立,则 X + Y ∼ B ( m + n , p ) X+Y \sim B(m+n, p) X + Y ∼ B ( m + n , p ) .
正态分布可加性:设 X ∼ N ( μ 1 , σ 1 2 ) , Y ∼ N ( μ 2 , σ 2 2 ) X \sim N\left(\mu_{1}, \sigma_{1}^{2}\right), Y \sim N\left(\mu_{2}, \sigma_{2}^{2}\right) X ∼ N ( μ 1 , σ 1 2 ) , Y ∼ N ( μ 2 , σ 2 2 ) ,X X X 与 Y Y Y 独立,则 X ± Y ∼ N ( μ 1 ± μ 2 , σ 1 2 + σ 2 2 ) X \pm Y \sim N\left(\mu_{1} \pm \mu_{2}, \sigma_{1}^{2}+\sigma_{2}^{2}\right) X ± Y ∼ N ( μ 1 ± μ 2 , σ 1 2 + σ 2 2 )
极大值分布:已知 ( X , Y ) (X,Y) ( X , Y ) 的分布,求 Z = max ( X , Y ) Z=\max (X, Y) Z = max ( X , Y ) 的分布
已知 ( X , Y ) (X,Y) ( X , Y ) 的分布函数 F ( X , Y ) F(X,Y) F ( X , Y )
F Z ( z ) = P ( Z ≤ z ) = P ( max ( X , Y ) ≤ z ) = P ( X ≤ z , Y ≤ z ) = F ( z , z ) F_{Z}(z)=P(Z \leq z)=P(\max (X, Y) \leq z)=P(X \leq z, Y \leq z)=F(z, z) F Z ( z ) = P ( Z ≤ z ) = P ( max ( X , Y ) ≤ z ) = P ( X ≤ z , Y ≤ z ) = F ( z , z )
X X X 与 Y Y Y 独立,分布函数 F X ( x ) , F Y ( y ) F_{X}(x), F_{Y}(y) F X ( x ) , F Y ( y )
F Z ( z ) = P ( Z ≤ z ) = F ( z , z ) = F X ( z ) F Y ( z ) F_{Z}(z)=P(Z \leq z)=F(z, z)=F_{X}(z) F_{Y}(z) F Z ( z ) = P ( Z ≤ z ) = F ( z , z ) = F X ( z ) F Y ( z )
X X X 与 Y Y Y 独立同分布,分布函数 F ( x ) F(x) F ( x )
F Z ( z ) = P ( Z ≤ z ) = F ( z , z ) = F X ( z ) F Y ( z ) = { F ( z ) } 2 F_{Z}(z)=P(Z \leq z)=F(z, z)=F_{X}(z) F_{Y}(z)=\{F(z)\}^{2} F Z ( z ) = P ( Z ≤ z ) = F ( z , z ) = F X ( z ) F Y ( z ) = { F ( z ) } 2
极小值分布:已知 ( X , Y ) (X,Y) ( X , Y ) 的分布,求 Z = min ( X , Y ) Z=\min (X, Y) Z = min ( X , Y ) 的分布
已知 ( X , Y ) (X,Y) ( X , Y ) 的分布函数 F ( X , Y ) F(X,Y) F ( X , Y )
F Z ( z ) = P ( Z ≤ z ) = P ( max ( X , Y ) ≤ z ) = 1 − P ( X ≥ z , Y ≥ z ) F_{Z}(z)=P(Z \leq z)=P(\max (X, Y) \leq z)=1-P(X \geq z, Y \geq z) F Z ( z ) = P ( Z ≤ z ) = P ( max ( X , Y ) ≤ z ) = 1 − P ( X ≥ z , Y ≥ z )
X X X 与 Y Y Y 独立,分布函数 F X ( x ) , F Y ( y ) F_{X}(x), F_{Y}(y) F X ( x ) , F Y ( y )
F Z ( z ) = P ( Z ≤ z ) = 1 − P ( X ≥ z , Y ≥ z ) = 1 − P ( X > z ) P ( Y > z ) = 1 − ( ( 1 − F X ( z ) ) ( 1 − F Y ( z ) ) ) \begin{aligned}F_{Z}(z)&= P(Z \leq z) \\ &= 1-P(X \geq z, Y \geq z) \\ &=1-P(X>z) P(Y>z) \\ &=1-((1-F_{X}(z))(1-F_{Y}(z)))\end{aligned} F Z ( z ) = P ( Z ≤ z ) = 1 − P ( X ≥ z , Y ≥ z ) = 1 − P ( X > z ) P ( Y > z ) = 1 − ( ( 1 − F X ( z ) ) ( 1 − F Y ( z ) ) )
设离散型随机变量 X X X 的分布列为 P ( X = x i ) = p i , i = 1 , 2 … P\left(X=x_{i}\right)=p_{i},\, i=1,2 \ldots P ( X = x i ) = p i , i = 1 , 2 … ,若级数 ∑ i = 1 ∞ x i p i \displaystyle\sum_{i=1}^{\infty} x_{i} p_{i} i = 1 ∑ ∞ x i p i 绝对收敛,则称 E X = ∑ i = 1 ∞ x i p i E X=\displaystyle\sum_{i=1}^{\infty} x_{i} p_{i} E X = i = 1 ∑ ∞ x i p i 为 X X X 的数学期望(期望).若 ∑ i = 1 ∞ ∣ x i ∣ p i \displaystyle\sum_{i=1}^{\infty}\left|x_{i}\right| p_{i} i = 1 ∑ ∞ ∣ x i ∣ p i 不收敛,则称 X X X 期望不存在或无穷大.
设连续型随机变量 X X X 的密度函数为 f ( x ) f(x) f ( x ) ,若积分 ∫ − ∞ + ∞ x f ( x ) d x \displaystyle\int_{-\infty}^{+\infty} x f(x) \, \mathrm{d} x ∫ − ∞ + ∞ x f ( x ) d x 绝对收敛,则称 E X = ∫ − ∞ + ∞ x f ( x ) d x E X=\displaystyle\int_{-\infty}^{+\infty} x f(x) \, \mathrm{d} x E X = ∫ − ∞ + ∞ x f ( x ) d x 为 X X X 的数学期望(期望).若 ∫ − ∞ + ∞ ∣ x ∣ f ( x ) d x \displaystyle\int_{-\infty}^{+\infty} |x| f(x) \, \mathrm{d} x ∫ − ∞ + ∞ ∣ x ∣ f ( x ) d x 不收敛,则称 X X X 期望不存在或无穷大.
E c = c E c = c E c = c ,其中 c c c 为常数
E ( c X ) = c E X E(cX) = cEX E ( c X ) = c E X
E ( a X + b ) = a E ( X ) + b E(a X+b)=a E(X)+b E ( a X + b ) = a E ( X ) + b
E ( X ± Y ) = E X ± E Y E(X \pm Y)=E X \pm E Y E ( X ± Y ) = E X ± E Y
当 X X X 与 Y Y Y 独立时,有 E ( X Y ) = E ( X ) E ( Y ) E(X Y)=E(X) E(Y) E ( X Y ) = E ( X ) E ( Y )
E ( X ‾ ) = E ( 1 n ∑ i = 1 n X i ) = E X E(\overline{X})=E\left(\displaystyle\frac{1}{n} \sum_{i=1}^{n} X_{i}\right)=E X E ( X ) = E ( n 1 i = 1 ∑ n X i ) = E X ,X ‾ \overline{X} X 为样本均数
X ∼ B ( n , p ) E ( X ) = n p X \sim B(n, p) \quad E(X)=n p X ∼ B ( n , p ) E ( X ) = n p
X ∼ P ( λ ) E ( X ) = λ X \sim P(\lambda) \quad E(X)=\lambda X ∼ P ( λ ) E ( X ) = λ
X ∼ G ( p ) E ( X ) = 1 / p X \sim G(p) \quad E(X)=1 / p X ∼ G ( p ) E ( X ) = 1 / p
X ∼ U ( a , b ) E ( X ) = a + b 2 X \sim U(a, b) \quad E(X)=\displaystyle\frac{a+b}{2} X ∼ U ( a , b ) E ( X ) = 2 a + b
X ∼ e ( λ ) E ( X ) = 1 λ X \sim e(\lambda) \quad E(X)=\displaystyle\frac{1}{\lambda} X ∼ e ( λ ) E ( X ) = λ 1
X ∼ N ( μ , σ 2 ) E ( X ) = μ X \sim N\left(\mu, \sigma^{2}\right) \quad E(X)=\mu X ∼ N ( μ , σ 2 ) E ( X ) = μ
X X X 是随机变量,若期望 E ( X − E ( X ) ) 2 E(X-E(X))^{2} E ( X − E ( X ) ) 2 存在,则称其为 X X X 的方差,记为 D ( X ) = E ( X − E ( X ) ) 2 D(X)=E(X-E(X))^{2} D ( X ) = E ( X − E ( X ) ) 2 .
标准差:σ X = D ( X ) = E ( X − E ( X ) ) 2 \sigma_{X}=\sqrt{D(X)}=\sqrt{E(X-E(X))^{2}} σ X = D ( X ) = E ( X − E ( X ) ) 2
D ( X ) = E ( X 2 ) − ( E X ) 2 D(X)=E(X^{2})-(E X)^{2} D ( X ) = E ( X 2 ) − ( E X ) 2
D ( c ) = 0 D(c) = 0 D ( c ) = 0 ,其中 c c c 为常数
D ( c X ) = c 2 D ( X ) D(c X)=c^{2} D(X) D ( c X ) = c 2 D ( X )
D ( a X + b ) = a 2 D ( X ) D(a X+b)=a^{2} D(X) D ( a X + b ) = a 2 D ( X )
D ( X ± Y ) = D X + D Y ± 2 E ( X − E X ) ( Y − E Y ) D(X \pm Y) = D X + D Y \pm 2 E(X-E X)(Y-E Y) D ( X ± Y ) = D X + D Y ± 2 E ( X − E X ) ( Y − E Y )
若 X X X 与 Y Y Y 独立,E ( X Y ) = E ( X ) E ( Y ) E(X Y)=E(X) E(Y) E ( X Y ) = E ( X ) E ( Y ) ,则 D ( X ± Y ) = D X + D Y D(X \pm Y) = D X + D Y D ( X ± Y ) = D X + D Y
D ( X ‾ ) = D ( X ) n D(\overline{X})=\displaystyle\frac{D(X)}{n} D ( X ) = n D ( X ) ,X ‾ \overline{X} X 为样本均数
标准化的随机变量:X ∗ = X − E ( X ) D ( X ) X^{*}=\displaystyle\frac{X-E(X)}{\sqrt{D(X)}} X ∗ = D ( X ) X − E ( X ) ,有 E ( X ∗ ) = 0 , D ( X ∗ ) = 1 E\left(X^{*}\right)=0, D\left(X^{*}\right)=1 E ( X ∗ ) = 0 , D ( X ∗ ) = 1
X ∼ B ( n , p ) D ( X ) = n p ( 1 − p ) X \sim B(n, p) \quad D(X)=np(1-p) X ∼ B ( n , p ) D ( X ) = n p ( 1 − p )
X ∼ P ( λ ) D ( X ) = λ X \sim P(\lambda) \quad D(X)=\lambda X ∼ P ( λ ) D ( X ) = λ
X ∼ G ( p ) D ( X ) = q p 2 X \sim G(p) \quad D(X)=\displaystyle\frac{q}{p^2} X ∼ G ( p ) D ( X ) = p 2 q
X ∼ U ( a , b ) D ( X ) = ( b − a ) 2 12 X \sim U(a, b) \quad D(X)=\displaystyle\frac{(b-a)^{2}}{12} X ∼ U ( a , b ) D ( X ) = 1 2 ( b − a ) 2
X ∼ e ( λ ) D ( X ) = 1 λ 2 X \sim e(\lambda) \quad D(X)=\displaystyle\frac{1}{\lambda^{2}} X ∼ e ( λ ) D ( X ) = λ 2 1
X ∼ N ( μ , σ 2 ) D ( X ) = σ 2 X \sim N\left(\mu, \sigma^{2}\right) \quad D(X)=\sigma^{2} X ∼ N ( μ , σ 2 ) D ( X ) = σ 2
设 ( X , Y ) (X,Y) ( X , Y ) 为二维随机变量,若 E ( ( X − E X ) ( Y − E Y ) ) E((X-E X)(Y-E Y)) E ( ( X − E X ) ( Y − E Y ) ) 存在,则称其为随机变量 X X X 与 Y Y Y 的协方差,记为 Cov ( X , Y ) \operatorname{Cov}(X, Y) C o v ( X , Y ) ,称 ρ X Y = Cov ( X , Y ) D ( X ) D ( Y ) \rho_{X Y}=\displaystyle\frac{\operatorname{Cov}(X, Y)}{\sqrt{D(X)} \sqrt{D(Y)}} ρ X Y = D ( X ) D ( Y ) C o v ( X , Y ) 为随机变量 X X X 与 Y Y Y 的相关系数.
Cov ( X , Y ) = E ( X Y ) − E ( X ) E ( Y ) \operatorname{Cov}(X, Y)=E(X Y) - E(X)E(Y) C o v ( X , Y ) = E ( X Y ) − E ( X ) E ( Y )
协方差的性质:
Cov ( X , Y ) = Cov ( Y , X ) \operatorname{Cov}(X, Y)=\operatorname{Cov}(Y, X) C o v ( X , Y ) = C o v ( Y , X )
Cov ( X , X ) = D ( X ) \operatorname{Cov}(X, X)=D(X) C o v ( X , X ) = D ( X )
若 X X X 与 Y Y Y 独立,则 Cov ( X , Y ) = 0 \operatorname{Cov}(X, Y)=0 C o v ( X , Y ) = 0
Cov ( X , b ) = 0 \operatorname{Cov}(X, b)=0 C o v ( X , b ) = 0
Cov ( a X , b Y ) = a b Cov ( X , Y ) \operatorname{Cov}(a X, b Y)=a b \operatorname{Cov}(X, Y) C o v ( a X , b Y ) = a b C o v ( X , Y ) ,a , b a,b a , b 为常数
Cov ( X 1 ± X 2 , Y ) = Cov ( X 1 , Y ) ± Cov ( X 2 , Y ) \operatorname{Cov}\left(X_{1} \pm X_{2}, Y\right)=\operatorname{Cov}\left(X_{1}, Y\right) \pm \operatorname{Cov}\left(X_{2}, Y\right) C o v ( X 1 ± X 2 , Y ) = C o v ( X 1 , Y ) ± C o v ( X 2 , Y )
Cov ( a X + b , Y ) = a Cov ( X , Y ) + Cov ( b , Y ) = a Cov ( X , Y ) \operatorname{Cov}(a X+b, Y)=a \operatorname{Cov}(X, Y)+\operatorname{Cov}(b, Y)=a \operatorname{Cov}(X, Y) C o v ( a X + b , Y ) = a C o v ( X , Y ) + C o v ( b , Y ) = a C o v ( X , Y )
D ( a X + b Y ) = a 2 D ( X ) + b 2 D ( Y ) + 2 a b Cov ( X , Y ) D(a X+b Y)=a^{2} D(X)+b^{2} D(Y)+2 a b \operatorname{Cov}(X, Y) D ( a X + b Y ) = a 2 D ( X ) + b 2 D ( Y ) + 2 a b C o v ( X , Y )
相关系数的性质:
∣ ρ X Y ∣ ≤ 1 \left|\rho_{X Y}\right| \leq 1 ∣ ρ X Y ∣ ≤ 1
∣ ρ X Y ∣ = 1 ⇔ Y = a X + b \left|\rho_{X Y}\right|=1 \Leftrightarrow Y=a X+b ∣ ρ X Y ∣ = 1 ⇔ Y = a X + b (a , b a,b a , b 为常数,且 a ≠ 0 a \neq 0 a = 0 )
{ ∣ ρ X Y ∣ = 1 , X 与 Y 完全相关 ρ X Y > 0 , X 与 Y 正相关 ρ X Y < 0 , X 与 Y 负相关 ρ X Y = 0 , X 与 Y 不相关 \begin{cases}\left| \rho_{X Y} \right| = 1, \quad & X \text{与} Y \text{完全相关}\\ \rho_{X Y} \gt 0, \quad & X \text{与} Y \text{正相关}\\ \rho_{X Y} \lt 0, \quad & X \text{与} Y \text{负相关}\\ \rho_{X Y} = 0, \quad & X \text{与} Y \text{不相关}\end{cases} ⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ ∣ ρ X Y ∣ = 1 , ρ X Y > 0 , ρ X Y < 0 , ρ X Y = 0 , X 与 Y 完全相关 X 与 Y 正相关 X 与 Y 负相关 X 与 Y 不相关
X X X 与 Y Y Y 独立 ⟨ ⇒ ⇍ ⟩ \langle \begin{array}{l}{\Rightarrow} \\ {\nLeftarrow}\end{array}\rangle ⟨ ⇒ ⇍ ⟩ X X X 与 Y Y Y 不相关
( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ ) (X, Y) \sim N\left(\mu_{1}, \mu_{2}, \sigma_{1}^{2}, \sigma_{2}^{2}, \rho\right) ( X , Y ) ∼ N ( μ 1 , μ 2 , σ 1 2 , σ 2 2 , ρ )
Cov ( X , Y ) = ρ σ 1 σ 2 , ρ X Y = ρ \operatorname{Cov}(X, Y)=\rho \sigma_{1} \sigma_{2},\quad\rho_{X Y}=\rho C o v ( X , Y ) = ρ σ 1 σ 2 , ρ X Y = ρ
k k k 阶原点矩:E ( X k ) E(X^{k}) E ( X k ) ,k k k 阶中心矩:E ( ( X − E X ) k ) E((X-E X)^{k}) E ( ( X − E X ) k )
依概率收敛:Y 1 , Y 2 , … Y n … Y_{1}, Y_{2}, \dots Y_{n} \dots Y 1 , Y 2 , … Y n … 是一个随机变量列,a a a 是常数,如果对于任意给定的 ε > 0 \varepsilon>0 ε > 0 ,有:
lim n → ∞ P ( ∣ Y n − a ∣ < ε ) = 1 \lim _{n \rightarrow \infty} P\left(\left|Y_{n}-a\right|<\varepsilon\right)=1 n → ∞ lim P ( ∣ Y n − a ∣ < ε ) = 1
则称随机变量列 Y n Y_{n} Y n 依概率收敛于 a a a ,记为 Y n ⟶ P a Y_{n} \stackrel{P}{\longrightarrow} a Y n ⟶ P a
X 1 , X 2 , … X n … X_{1}, X_{2}, \dots X_{n} \dots X 1 , X 2 , … X n … 是独立同分布的随机变量列,E X i = μ E X_{i}=\mu E X i = μ 存在,构造 X ‾ n = 1 n ∑ i = 1 n X i \overline{X}_{n}=\displaystyle\frac{1}{n} \sum_{i=1}^{n} X_{i} X n = n 1 i = 1 ∑ n X i ,有 E X ‾ n = μ E \overline{X}_{n}=\mu E X n = μ ,则对 ∀ ε > 0 \forall \varepsilon>0 ∀ ε > 0 ,有 lim n → ∞ P ( ∣ X ‾ n − μ ∣ < ε ) = 1 \lim _{n \rightarrow \infty} P\left(\left|\overline{X}_{n}-\mu \right|<\varepsilon\right)=1 n → ∞ lim P ( ∣ ∣ X n − μ ∣ ∣ < ε ) = 1 即 X ‾ n ⟶ P μ \overline{X}_{n} \stackrel{P}{\longrightarrow} \mu X n ⟶ P μ .
设 X 1 , X 2 , … X n … X_{1}, X_{2}, \dots X_{n} \dots X 1 , X 2 , … X n … 是独立同分布的随机变量列,E X i = μ , D X i = σ 2 E X_{i}=\mu, D X_{i}=\sigma ^{2} E X i = μ , D X i = σ 2 ,则对任意的 x ∈ R x\in R x ∈ R ,有lim n → + ∞ P ( ∑ i = 1 n X i − n μ n σ ≤ x ) = Φ ( x ) \lim _{n \rightarrow+\infty} P\left(\frac{\sum_{i=1}^{n} X_{i}-n \mu}{\sqrt{n} \sigma} \leq x\right)=\Phi(x) n → + ∞ lim P ( n σ ∑ i = 1 n X i − n μ ≤ x ) = Φ ( x )
即 ∑ i = 1 n X i ∼ n → + ∞ N ( n μ , n σ 2 ) \sum_{i=1}^{n} X_{i} \underset{n \rightarrow+\infty}{\sim} N\left(n \mu, n \sigma^{2}\right) i = 1 ∑ n X i n → + ∞ ∼ N ( n μ , n σ 2 )
任意试验,经大量独立重复,叠加在一起,均服从正态分布
二项分布的极限分布是正态分布
B ( n , p ) ∼ n → + ∞ { P ( λ ) , p , 1 − p 在 0 , 1 附近 N ( n p , n p ( 1 − p ) ) , p , 1 − p 在 1 / 2 附近,在 0 , 1 附近需要 n 很大 B(n,p)\underset{n\rightarrow +\infty}{\sim}\begin{cases}P(\lambda), \quad & p,1-p \,\text{在}\, 0,1 \, \text{附近}\\N(n p,n p (1-p)), \quad & p,1-p \,\text{在}\, 1/2 \,\text{附近,在}\, 0,1 \, \text{附近需要} \, n \, \text{很大}\end{cases} B ( n , p ) n → + ∞ ∼ { P ( λ ) , N ( n p , n p ( 1 − p ) ) , p , 1 − p 在 0 , 1 附近 p , 1 − p 在 1 / 2 附近,在 0 , 1 附近需要 n 很大
总体 :研究对象观察值的全体
个体 :每一个观察值
样本 :从总体中抽取的部分个体
简单随机样本(样本) :总体中每一个个体有同等机会被抽到,每次抽取独立进行,各个体值互不影响
样本 X 1 , X 2 , … X n X_{1}, X_{2}, \dots X_{n} X 1 , X 2 , … X n 的联合分布
离散型:总体 X X X 的分布列 P ( X = x i ) = p i , i = 1 , 2 , … P\left(X=x_{i}\right)=p_{i}, \quad i=1,2, \dots P ( X = x i ) = p i , i = 1 , 2 , … ,样本 X 1 , X 2 , … X n X_{1}, X_{2}, \dots X_{n} X 1 , X 2 , … X n 的联合分布列:P ( X 1 = x 1 , X 2 = x 2 , … X n = x n ) = ∏ i = 1 n P ( X = x i ) P\left(X_{1}=x_{1}, X_{2}=x_{2}, \dots X_{n}=x_{n}\right) = \prod_{i=1}^{n} P\left(X=x_{i}\right) P ( X 1 = x 1 , X 2 = x 2 , … X n = x n ) = i = 1 ∏ n P ( X = x i )
连续型:总体 X X X 的分布密度 f ( x ) f(x) f ( x ) ,样本 X 1 , X 2 , … X n X_{1}, X_{2}, \dots X_{n} X 1 , X 2 , … X n 的联合分布密度:f ( x 1 , x 2 , … x n ) = f 1 ( x 1 ) f 2 ( x 2 ) … f n ( x n ) = ∏ i = 1 n f ( x i ) f\left(x_{1}, x_{2}, \dots x_{n}\right)=f_{1}\left(x_{1}\right) f_{2}\left(x_{2}\right) \dots f_{n}\left(x_{n}\right)=\prod_{i=1}^{n} f\left(x_{i}\right) f ( x 1 , x 2 , … x n ) = f 1 ( x 1 ) f 2 ( x 2 ) … f n ( x n ) = i = 1 ∏ n f ( x i )
连续型:总体 X X X 的分布函数 F ( x ) F(x) F ( x ) ,样本 X 1 , X 2 , … X n X_{1}, X_{2}, \dots X_{n} X 1 , X 2 , … X n 的联合分布密度:F ( x 1 , x 2 , … x n ) = F 1 ( x 1 ) F 2 ( x 2 ) … F n ( x n ) = ∏ i = 1 n F ( x i ) F\left(x_{1}, x_{2}, \ldots x_{n}\right)=F_{1}\left(x_{1}\right) F_{2}\left(x_{2}\right) \dots F_{n}\left(x_{n}\right)=\prod_{i=1}^{n} F\left(x_{i}\right) F ( x 1 , x 2 , … x n ) = F 1 ( x 1 ) F 2 ( x 2 ) … F n ( x n ) = i = 1 ∏ n F ( x i )
统计量 :设 X 1 , X 2 , … X n X_{1}, X_{2}, \dots X_{n} X 1 , X 2 , … X n 是总体 X X X 的一个样本,若 T = T ( X 1 , X 2 … X n ) T=T\left(X_{1}, X_{2} \dots X_{n}\right) T = T ( X 1 , X 2 … X n ) 是样本的函数,且不含任何未知参数,则称 T T T 为统计量
设 X 1 , X 2 , … X n X_{1}, X_{2}, \dots X_{n} X 1 , X 2 , … X n 是总体 X X X 的一个样本,称统计量 X ‾ = 1 n ∑ i = 1 n X i \overline{X} = \frac{1}{n}\sum_{i=1}^{n}X_{i} X = n 1 i = 1 ∑ n X i 为样本均值 ;S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 S^{2} = \frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2} S 2 = n − 1 1 i = 1 ∑ n ( X i − X ) 2 为样本方差 ;S = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 S = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}} S = n − 1 1 i = 1 ∑ n ( X i − X ) 2 为样本标准差 ;A k = 1 n ∑ i = 1 n x i k A_{k}=\frac{1}{n}\sum_{i=1}^{n}x_{i}^{k} A k = n 1 i = 1 ∑ n x i k 为样本 k k k 阶原点矩 ;X ( n ) = max { X 1 , X 2 , … X n } X_{(n)}=\max\{X_{1}, X_{2},\dots X_{n}\} X ( n ) = max { X 1 , X 2 , … X n } 为极大次序统计量 ;X ( l ) = min { X 1 , X 2 , … X n } X_{(l)}=\min\{X_{1}, X_{2},\dots X_{n}\} X ( l ) = min { X 1 , X 2 , … X n } 为极小次序统计量 .
X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^{2}) X ∼ N ( μ , σ 2 )
若 X 1 , X 2 , … X n X_{1}, X_{2}, \dots X_{n} X 1 , X 2 , … X n 独立同分布,X i ∼ N ( 0 , 1 ) , i = 1 , 2 … n X_{i} \sim N(0,1), i=1,2 \dots n X i ∼ N ( 0 , 1 ) , i = 1 , 2 … n ,则 ∑ i = 1 n X i 2 ∼ χ 2 ( n ) \sum_{i=1}^{n} X_{i}^{2} \sim \chi^{2}(n) i = 1 ∑ n X i 2 ∼ χ 2 ( n )
可加性:两个变量 χ 2 ( n ) \chi^{2}(n) χ 2 ( n ) 和 χ 2 ( m ) \chi^{2}(m) χ 2 ( m ) 相互独立,则 χ 2 ( n ) + χ 2 ( m ) ∼ χ 2 ( m + n ) \chi^{2}(n)+\chi^{2}(m) \sim \chi^{2}(m+n) χ 2 ( n ) + χ 2 ( m ) ∼ χ 2 ( m + n )
若 X ∼ χ 2 ( n ) X \sim \chi^{2}(n) X ∼ χ 2 ( n ) ,则 E ( χ 2 ( n ) ) = n , D ( χ 2 ( n ) ) = 2 n E\left(\chi^{2}(n)\right)=n, D\left(\chi^{2}(n)\right)=2 n E ( χ 2 ( n ) ) = n , D ( χ 2 ( n ) ) = 2 n
X ∼ N ( 0 , 1 ) , Y ∼ χ 2 ( n ) X \sim N(0,1), Y \sim \chi^{2}(n) X ∼ N ( 0 , 1 ) , Y ∼ χ 2 ( n ) ,X X X 与 Y Y Y 独立,则称 t = X Y / n t=\frac{X}{\sqrt{Y / n}} t = Y / n X 服从自由度为 n n n 的 t t t 分布,记为 t ( n ) t(n) t ( n ) .
关于 y y y 轴对称
t ( n ) ⟶ n → ∞ N ( 0 , 1 ) t(n) \stackrel{n \rightarrow \infty}{\longrightarrow} N(0,1) t ( n ) ⟶ n → ∞ N ( 0 , 1 )
一般地,当 n > 45 n \gt 45 n > 4 5 时认为 t ( n ) = N ( 0 , 1 ) t(n)=N(0,1) t ( n ) = N ( 0 , 1 )
X ∼ χ 2 ( n ) , Y ∼ χ 2 ( m ) X \sim \chi^{2}(n), Y \sim \chi^{2}(m) X ∼ χ 2 ( n ) , Y ∼ χ 2 ( m ) ,X X X 与 Y Y Y 独立,则称 F = X / n Y / m F=\frac{X/n}{Y/m} F = Y / m X / n 服从自由度为 n , m n,m n , m 的 F F F 分布,记为 F ( n , m ) F(n,m) F ( n , m ) .
若 X ∼ F ( n , m ) X \sim F(n,m) X ∼ F ( n , m ) ,则 1 X ∼ F ( m , n ) \displaystyle \frac{1}{X} \sim F(m,n) X 1 ∼ F ( m , n )
若 t ∼ t ( n ) t \sim t(n) t ∼ t ( n ) ,则 t 2 ∼ F ( 1 , n ) t^{2} \sim F(1,n) t 2 ∼ F ( 1 , n )
F 1 − α ( n , m ) = 1 F α ( m , n ) F_{1-\alpha}(n,m) = \displaystyle \frac{1}{F_{\alpha}(m,n)} F 1 − α ( n , m ) = F α ( m , n ) 1
设总体 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma^{2}) X ∼ N ( μ , σ 2 ) ,X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n 为总体 X X X 的简单随机样本,样本均值 X ‾ = 1 n ∑ i = 1 n X i \displaystyle \overline{X} = \frac{1}{n} \sum^{n}_{i=1}X_{i} X = n 1 i = 1 ∑ n X i ,样本方差 S 2 = 1 n − 1 ∑ i = 1 n ( X i − X ‾ ) 2 \displaystyle S^{2}=\frac{1}{n-1}\sum^{n}_{i=1}(X_{i}-\overline{X})^{2} S 2 = n − 1 1 i = 1 ∑ n ( X i − X ) 2 ,则有
X ‾ − μ σ / n ∼ N ( 0 , 1 ) \displaystyle \frac{\overline{X}-\mu}{\sigma / \sqrt{n}} \sim N(0,1) σ / n X − μ ∼ N ( 0 , 1 ) ;
( n − 1 ) S 2 σ 2 ∼ χ 2 ( n − 1 ) \displaystyle \frac{(n-1) S^{2}}{\sigma^{2}} \sim \chi^{2}(n-1) σ 2 ( n − 1 ) S 2 ∼ χ 2 ( n − 1 ) ,且 X ‾ \overline{X} X 与 S 2 S^{2} S 2 相互独立;
X ‾ − μ S / n ∼ t ( n − 1 ) \displaystyle \frac{\overline{X}-\mu}{S / \sqrt{n}} \sim t(n-1) S / n X − μ ∼ t ( n − 1 ) .
设总体 X ∼ N ( μ 1 , σ 1 2 ) X \sim N(\mu_{1}, \sigma_{1}^{2}) X ∼ N ( μ 1 , σ 1 2 ) 与总体 Y ∼ N ( μ 2 , σ 2 2 ) Y \sim N(\mu_{2}, \sigma_{2}^{2}) Y ∼ N ( μ 2 , σ 2 2 ) 相互独立,X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n 与 Y 1 , Y 2 , … , Y m Y_{1}, Y_{2}, \dots, Y_{m} Y 1 , Y 2 , … , Y m 分别为总体 X X X 与 Y Y Y 的简单随机样本,X ‾ , Y ‾ , S 1 2 , S 2 2 \overline{X}, \overline{Y}, S_{1}^{2}, S_{2}^{2} X , Y , S 1 2 , S 2 2 分别表示 X X X 与 Y Y Y 的样本均值与样本方差,则有
( X ‾ − Y ‾ ) − ( μ 1 − μ 2 ) μ 1 2 n + μ 2 2 m ∼ N ( 0 , 1 ) \displaystyle \frac{(\overline{X}-\overline{Y})-(\mu_{1}-\mu_{2})}{\displaystyle\sqrt{\frac{\mu_{1}^{2}}{n}+\frac{\mu_{2}^{2}}{m}}}\sim N(0,1) n μ 1 2 + m μ 2 2 ( X − Y ) − ( μ 1 − μ 2 ) ∼ N ( 0 , 1 ) ;
S 1 2 S 2 2 ⋅ σ 2 2 σ 1 2 ∼ F ( n − 1 , m − 1 ) \displaystyle \frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{\sigma_{2}^{2}}{\sigma_{1}^{2}} \sim F(n-1,m-1) S 2 2 S 1 2 ⋅ σ 1 2 σ 2 2 ∼ F ( n − 1 , m − 1 ) ;
若 σ 1 2 = σ 2 2 \sigma_{1}^{2} = \sigma_{2}^{2} σ 1 2 = σ 2 2 ,则 ( X ‾ − Y ‾ ) − ( μ 1 − μ 2 ) S ω 1 n + 1 m ∼ t ( n + m − 2 ) \frac{(\overline{X}-\overline{Y})-(\mu_{1}-\mu_{2})}{S_{\omega}\displaystyle\sqrt{\frac{1}{n}+\frac{1}{m}}} \sim t(n+m-2) S ω n 1 + m 1 ( X − Y ) − ( μ 1 − μ 2 ) ∼ t ( n + m − 2 ) 其中 S ω = ( n − 1 ) S 1 2 + ( m − 1 ) S 2 2 n + m − 2 S_{\omega} = \sqrt{\frac{(n-1)S_{1}^{2}+(m-1)S_{2}^{2}}{n+m-2}} S ω = n + m − 2 ( n − 1 ) S 1 2 + ( m − 1 ) S 2 2
定义 1 设随机变量 Z ∼ N ( 0 , 1 ) Z \sim N(0,1) Z ∼ N ( 0 , 1 ) ,若对 α ∈ ( 0 , 1 ) \alpha \in (0,1) α ∈ ( 0 , 1 ) ,实数 z α z_{\alpha} z α 满足 P ( Z > z α ) = α P(Z\gt z_{\alpha})=\alpha P ( Z > z α ) = α 则称点 z α z_{\alpha} z α 为标准正态分布的上 α \alpha α 分位点.易知 z 1 − α = − z α z_{1-\alpha} = -z_{\alpha} z 1 − α = − z α .
定义 2 设随机变量 χ 2 ∼ χ 2 ( n ) \chi^{2} \sim \chi^{2}(n) χ 2 ∼ χ 2 ( n ) ,若对 α ∈ ( 0 , 1 ) \alpha \in (0,1) α ∈ ( 0 , 1 ) ,实数 χ α 2 ( n ) \chi^{2}_{\alpha}(n) χ α 2 ( n ) 满足 P ( χ 2 > χ α 2 ( n ) ) = α P(\chi^{2} \gt \chi^{2}_{\alpha}(n))=\alpha P ( χ 2 > χ α 2 ( n ) ) = α 则称点 χ α 2 ( n ) \chi^{2}_{\alpha}(n) χ α 2 ( n ) 为 χ 2 ( n ) \chi^{2}(n) χ 2 ( n ) 的上 α \alpha α 分位点.易知 P ( χ 2 ≤ χ 1 − α 2 ( n ) ) = α P(\chi^{2} \leq \chi^{2}_{1-\alpha}(n))=\alpha P ( χ 2 ≤ χ 1 − α 2 ( n ) ) = α
定义 3 设随机变量 t ∼ t ( n ) t \sim t(n) t ∼ t ( n ) ,若对 α ∈ ( 0 , 1 ) \alpha \in (0,1) α ∈ ( 0 , 1 ) ,实数 t α ( n ) t_{\alpha}(n) t α ( n ) 满足 P ( t > t α ( n ) ) = α P(t \gt t_{\alpha}(n))=\alpha P ( t > t α ( n ) ) = α 则称点 t α ( n ) t_{\alpha}(n) t α ( n ) 为 t ( n ) t(n) t ( n ) 的上 α \alpha α 分位点.类似于标准正态分布,有 t 1 − α ( n ) = − t α ( n ) t_{1-\alpha}(n) = -t_{\alpha}(n) t 1 − α ( n ) = − t α ( n ) .
定义 4 设随机变量 F ∼ F ( n , m ) F \sim F(n,m) F ∼ F ( n , m ) ,若对 α ∈ ( 0 , 1 ) \alpha \in (0,1) α ∈ ( 0 , 1 ) ,实数 F α ( n , m ) F_{\alpha}(n,m) F α ( n , m ) 满足 P ( F > F α ( n , m ) ) = α P(F \gt F_{\alpha}(n,m))=\alpha P ( F > F α ( n , m ) ) = α 则称点 F α ( n , m ) F_{\alpha}(n,m) F α ( n , m ) 为 F ( n , m ) F(n,m) F ( n , m ) 的上 α \alpha α 分位点.利用 F F F 分布的性质,容易证明 F 1 − α ( n , m ) = 1 F α ( n , m ) F_{1-\alpha}(n,m) = \frac{1}{F_{\alpha}(n,m)} F 1 − α ( n , m ) = F α ( n , m ) 1
定义 5(统一定义) 设 Y Y Y 为一个连续型随机变量,若对 α ∈ ( 0 , 1 ) \alpha \in (0,1) α ∈ ( 0 , 1 ) ,实数 Y α Y_{\alpha} Y α 满足 P ( Y > Y α ) = α P(Y\gt Y_{\alpha})=\alpha P ( Y > Y α ) = α 则称点 Y α Y_{\alpha} Y α 为 Y Y Y 的上 α \alpha α 分位点 .容易得到
P ( Y > Y α ) = α P(Y\gt Y_{\alpha})=\alpha P ( Y > Y α ) = α ;
P ( Y < Y 1 − α ) = α P(Y\lt Y_{1-\alpha})=\alpha P ( Y < Y 1 − α ) = α ;
P ( Y < Y 1 − α / 2 或 Y > Y α / 2 ) = α P(Y\lt Y_{1-\alpha/2} \text{ 或 } Y\gt Y_{\alpha / 2})=\alpha P ( Y < Y 1 − α / 2 或 Y > Y α / 2 ) = α ;
P ( Y < Y α ) = 1 − α P(Y\lt Y_{\alpha})=1-\alpha P ( Y < Y α ) = 1 − α ;
P ( Y > Y 1 − α ) = 1 − α P(Y\gt Y_{1-\alpha})=1-\alpha P ( Y > Y 1 − α ) = 1 − α ;
P ( Y 1 − α / 2 < Y < Y α / 2 ) = 1 − α P(Y_{1-\alpha/2} \lt Y\lt Y_{\alpha/2})=1-\alpha P ( Y 1 − α / 2 < Y < Y α / 2 ) = 1 − α .
使用前三个等式处理假设检验问题,使用后三个等式处理区间估计问题.
设总体 X X X 的分布函数 F ( x ; θ ) F(x; \theta) F ( x ; θ ) 形式已知,其中含有未知参数 θ \theta θ .为了估计参数 θ \theta θ ,首先从总体 X X X 中抽取样本 X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n ,然后按照一定的方法(矩估计法、极大似然估计法)构造合适的统计量 g ( X 1 , X 2 , … , X n ) g(X_{1}, X_{2}, \dots, X_{n}) g ( X 1 , X 2 , … , X n ) 作为 θ \theta θ 的估计量,记为 θ ^ = g ( X 1 , X 2 , … , X n ) \hat{\theta}=g\left(X_{1}, X_{2}, \dots, X_{n}\right) θ ^ = g ( X 1 , X 2 , … , X n ) .代入样本观测值 x 1 , x 2 , … , x n x_{1}, x_{2}, \dots, x_{n} x 1 , x 2 , … , x n ,即得到 θ \theta θ 的估计值 θ ^ = g ( x 1 , x 2 , … , x n ) \hat{\theta}=g\left(x_{1}, x_{2}, \dots, x_{n}\right) θ ^ = g ( x 1 , x 2 , … , x n ) .
设总体 X X X 的分布函数为 F ( x , θ 1 , θ 2 , … , θ t ) F(x, \theta_{1}, \theta_{2}, \dots, \theta_{t}) F ( x , θ 1 , θ 2 , … , θ t ) ,θ 1 , θ 2 , … , θ t \theta_{1}, \theta_{2}, \dots, \theta_{t} θ 1 , θ 2 , … , θ t 为待估参数,X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n 是样本,构造前 t t t 阶样本矩 A k = 1 n ∑ i = 1 n X i k , k = 1 , 2 , … , t A_{k} = \displaystyle \frac{1}{n} \sum^{n}_{i=1}X_{i}^{k},\,k=1,2,\dots,t A k = n 1 i = 1 ∑ n X i k , k = 1 , 2 , … , t ,求出前 t t t 阶总体矩 E X k , k = 1 , 2 , … , t E X^{k},\,k=1,2,\dots,t E X k , k = 1 , 2 , … , t (是待估参数的函数),由大数定律知,当 n → + ∞ n\rightarrow +\infty n → + ∞ 时,样本矩依概率收敛于总体矩,即 { A 1 A 2 … A t → (由大数定律) P { E X = μ 1 ( θ 1 , θ 2 , … , θ t ) E X 2 = μ 2 ( θ 1 , θ 2 , … , θ t ) … E X t = μ 3 ( θ 1 , θ 2 , … , θ t ) \begin{cases}A_{1} \\ A_{2} \\ \dots \\ A_{t} \end{cases} \xrightarrow[\text{(由大数定律)}]{P} \begin{cases}E X = \mu_{1}(\theta_{1}, \theta_{2}, \dots, \theta_{t}) \\ E X^{2} = \mu_{2}(\theta_{1}, \theta_{2}, \dots, \theta_{t}) \\ \dots \\ E X^{t} = \mu_{3}(\theta_{1}, \theta_{2}, \dots, \theta_{t}) \end{cases} ⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ A 1 A 2 … A t P (由大数定律) ⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ E X = μ 1 ( θ 1 , θ 2 , … , θ t ) E X 2 = μ 2 ( θ 1 , θ 2 , … , θ t ) … E X t = μ 3 ( θ 1 , θ 2 , … , θ t ) 另 A k = E X k , k = 1 , 2 , … , t A_{k} = E X^{k}, \, k=1,2,\dots,t A k = E X k , k = 1 , 2 , … , t ,得 { A 1 = μ 1 ( θ ^ 1 , θ ^ 2 , … , θ ^ t ) A 2 = μ 2 ( θ ^ 1 , θ ^ 2 , … , θ ^ t ) … A t = μ t ( θ ^ 1 , θ ^ 2 , … , θ ^ t ) \begin{cases}A_{1} = \mu_{1}(\hat{\theta}_{1}, \hat{\theta}_{2}, \dots, \hat{\theta}_{t}) \\ A_{2} = \mu_{2}(\hat{\theta}_{1}, \hat{\theta}_{2}, \dots, \hat{\theta}_{t}) \\ \dots \\ A_{t} = \mu_{t}(\hat{\theta}_{1}, \hat{\theta}_{2}, \dots, \hat{\theta}_{t})\end{cases} ⎩ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎧ A 1 = μ 1 ( θ ^ 1 , θ ^ 2 , … , θ ^ t ) A 2 = μ 2 ( θ ^ 1 , θ ^ 2 , … , θ ^ t ) … A t = μ t ( θ ^ 1 , θ ^ 2 , … , θ ^ t ) 从中解出 θ ^ 1 , θ ^ 2 , … , θ ^ t \hat{\theta}_{1}, \hat{\theta}_{2}, \dots, \hat{\theta}_{t} θ ^ 1 , θ ^ 2 , … , θ ^ t 即可.
大样本精确,小样本不可用;
另 A k = E X k A_{k}=E X^{k} A k = E X k 或 B k = E ( X − E ( X ) ) k B_{k}=E(X-E(X))^{k} B k = E ( X − E ( X ) ) k ,阶数要相同;
使用前 t t t 阶矩,如果有前 t t t 阶矩为零,顺延 ;
矩估计缺点:总体矩必须存在,且浪费了分布的信息.
定义 设 X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n 为来自总体 X X X 的简单随机样本,x 1 , x 2 , … , x n x_{1}, x_{2}, \dots, x_{n} x 1 , x 2 , … , x n 为样本观测值.称 L ( θ ) = ∏ i = 1 n p ( x i , θ ) L(\theta)=\prod_{i=1}^{n} p(x_{i}, \theta) L ( θ ) = i = 1 ∏ n p ( x i , θ ) 为参数 θ \theta θ 的似然函数 .其中,当总体 X X X 为离散型随机变量时,p ( x i , θ ) p(x_{i}, \theta) p ( x i , θ ) 表示 X X X 的分布列 P ( X = x i ) P(X = x_{i}) P ( X = x i ) ;当总体 X X X 为连续型随机变量时,p ( x i , θ ) p(x_{i}, \theta) p ( x i , θ ) 表示 X X X 的密度函数 f ( x ) f(x) f ( x ) 在 x i x_{i} x i 处的取值.
参数 θ \theta θ 的似然函数 L ( θ ) L(\theta) L ( θ ) 实际上就是样本 X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n 恰好取观测值 x 1 , x 2 , … , x n x_{1}, x_{2}, \dots, x_{n} x 1 , x 2 , … , x n (或其邻域)的概率.
定义 设 L ( θ ) = ∏ i = 1 n p ( x i , θ ) L(\theta)=\displaystyle\prod_{i=1}^{n} p(x_{i}, \theta) L ( θ ) = i = 1 ∏ n p ( x i , θ ) 为参数 θ \theta θ 的似然函数,若存在一个只与样本观测值 x 1 , x 2 , … , x n x_{1}, x_{2}, \dots, x_{n} x 1 , x 2 , … , x n 有关的实数 θ ^ ( x 1 , x 2 , … , x n ) \hat{\theta}(x_{1}, x_{2}, \dots, x_{n}) θ ^ ( x 1 , x 2 , … , x n ) ,使得 L ( θ ^ ) = max L ( θ ) L(\hat{\theta}) = \max L(\theta) L ( θ ^ ) = max L ( θ ) 则称 θ ^ ( x 1 , x 2 , … , x n ) \hat{\theta}(x_{1}, x_{2}, \dots, x_{n}) θ ^ ( x 1 , x 2 , … , x n ) 为参数 θ \theta θ 的最大似然估计值 ,称 θ ^ ( X 1 , X 2 , … , X n ) \hat{\theta}(X_{1}, X_{2}, \dots, X_{n}) θ ^ ( X 1 , X 2 , … , X n ) 为参数 θ \theta θ 的最大似然估计量 .
若参数 θ \theta θ 的估计量 θ ^ = θ ^ ( X 1 , X 2 ⋯ X n ) \hat{\theta}=\hat{\theta}\left(X_{1}, X_{2} \cdots X_{n}\right) θ ^ = θ ^ ( X 1 , X 2 ⋯ X n ) 满足 E ( θ ^ ) = θ E(\hat{\theta})=\theta E ( θ ^ ) = θ 则称 θ ^ \hat{\theta} θ ^ 为 θ \theta θ 的一个无偏估计量 ,否则就称为有偏估计量.
设 θ ^ 1 \hat{\theta}_{1} θ ^ 1 和 θ ^ 2 \hat{\theta}_{2} θ ^ 2 都是 θ \theta θ 的无偏估计量,如果 D ( θ ^ 1 ) < D ( θ ^ 2 ) D\left(\hat{\theta}_{1}\right) \lt D\left(\hat{\theta}_{2}\right) D ( θ ^ 1 ) < D ( θ ^ 2 ) 则称 θ ^ 1 \hat{\theta}_{1} θ ^ 1 比 θ ^ 2 \hat{\theta}_{2} θ ^ 2 有效.
设 θ ^ n = θ ^ ( X 1 , X 2 , … , X n ) \hat{\theta}_{n}=\hat{\theta}\left(X_{1}, X_{2}, \dots, X_{n}\right) θ ^ n = θ ^ ( X 1 , X 2 , … , X n ) 是 θ \theta θ 的一个估计量,若对于任意的 ε > 0 \varepsilon \gt 0 ε > 0 ,有 lim n → ∞ P ( ∣ θ ^ n − θ ∣ < ε ) = 1 \lim _{n \rightarrow \infty} P\left(\left|\hat{\theta}_{n}-\theta\right|<\varepsilon\right)=1 n → ∞ lim P ( ∣ ∣ ∣ θ ^ n − θ ∣ ∣ ∣ < ε ) = 1 即 θ ^ n → P θ \hat{\theta}_{n} \xrightarrow{P} \theta θ ^ n P θ ,则称 θ ^ n \hat{\theta}_{n} θ ^ n 是 θ \theta θ 的一致估计量 (或称相合估计量 )
矩估计都是一致估计,极大似然估计不一定是一致估计.
设总体 X X X 的分布函数为 F ( x ; θ ) F(x; \theta) F ( x ; θ ) ,其中 θ \theta θ 为未知参数,X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n 为来自总体的简单随机样本.对于给定的 a ∈ ( 0 , 1 ) a \in (0,1) a ∈ ( 0 , 1 ) ,如果由样本确定的两个统计量 T 1 ( X 1 , X 2 , … , X n ) T_{1}(X_{1}, X_{2}, \dots, X_{n}) T 1 ( X 1 , X 2 , … , X n ) 和 T 2 ( X 1 , X 2 , … , X n ) T_{2}(X_{1}, X_{2}, \dots, X_{n}) T 2 ( X 1 , X 2 , … , X n ) 满足 P ( T 1 ≤ θ ≤ T 2 ) = 1 − α P(T_{1} \leq \theta \leq T_{2})=1-\alpha P ( T 1 ≤ θ ≤ T 2 ) = 1 − α 则称随机区间 [ T 1 , T 2 ] [T_{1}, T_{2}] [ T 1 , T 2 ] 是参数 θ \theta θ 的置信度(或置信水平)为 1 − α 1-\alpha 1 − α 的置信区间 .
如果统计量 T ( X 1 , X 2 , … , X n ) T(X_{1}, X_{2}, \dots, X_{n}) T ( X 1 , X 2 , … , X n ) 满足 P ( θ ≤ T ) = 1 − α (或 P ( θ ≥ T ) = 1 − α ) P(\theta \leq T) = 1- \alpha \, \text{(或 } P(\theta \geq T) = 1- \alpha \text{)} P ( θ ≤ T ) = 1 − α (或 P ( θ ≥ T ) = 1 − α ) 则称 T T T 是参数 θ \theta θ 的单侧置信上限 (或单侧置信下限 ).
确定 θ \theta θ 的估计量 θ ^ \hat{\theta} θ ^
确定 θ ^ \hat{\theta} θ ^ 的分布
确定 θ ^ \hat{\theta} θ ^ 分布的非小概率区间
从 θ ^ \hat{\theta} θ ^ 分布的非小概率区间中解出 θ \theta θ
建立假设
双侧检验
原假设:H 0 : θ = θ 0 H_{0}: \theta = \theta_{0} H 0 : θ = θ 0
备择假设:H 1 : θ ≠ θ 0 H_{1}: \theta \neq \theta_{0} H 1 : θ = θ 0
单侧检验
左侧检验:H 0 : θ = θ 0 H_{0}: \theta = \theta_{0} H 0 : θ = θ 0 ,H 1 : θ < θ 0 H_{1}: \theta \lt \theta_{0} H 1 : θ < θ 0 (有充分的理由认为 θ > θ 0 \theta \gt \theta_{0} θ > θ 0 一定不发生)
右侧检验:H 0 : θ = θ 0 H_{0}: \theta = \theta_{0} H 0 : θ = θ 0 ,H 1 : θ > θ 0 H_{1}: \theta \gt \theta_{0} H 1 : θ > θ 0 (有充分的理由认为 θ < θ 0 \theta \lt \theta_{0} θ < θ 0 一定不发生)
判断准则
X 1 , X 2 , … , X n X_{1}, X_{2}, \dots, X_{n} X 1 , X 2 , … , X n 为总体 X X X 的一个样本,构造相应统计量 g ( X 1 , X 2 , … , X n ) g(X_{1}, X_{2}, \dots, X_{n}) g ( X 1 , X 2 , … , X n ) ,将 g ( X 1 , X 2 , … , X n ) g(X_{1}, X_{2}, \dots, X_{n}) g ( X 1 , X 2 , … , X n ) 的样本空间分成两部分:
拒绝域(小概率事件区域):样本点落入拒绝域拒绝 H 0 H_{0} H 0 ,接受 H 1 H_{1} H 1 .
接受域(非小概率事件区域、置信区间):若样本点没落入拒绝域,则只能接受 H 0 H_{0} H 0 .
判断的基本原理
小概率事件原则:认为小概率事件在一次抽样试验中不会发生.
第一类错误(弃真):当 H 0 H_{0} H 0 实际上为真时,检验结果却是拒绝 H 0 H_{0} H 0 .犯第一类错误的概率即为显著性水平 α \alpha α ,即 P ( 拒绝 H 0 ∣ H 0 为真 ) = α P(\text{拒绝 }H_{0}|H_{0}\text{ 为真})=\alpha P ( 拒绝 H 0 ∣ H 0 为真 ) = α
第二类错误(采伪):当 H 0 H_{0} H 0 实际上为不真时,检验结果却是接受 H 0 H_{0} H 0 .犯第二类错误的概率通常记为 β \beta β ,即 P ( 接受 H 0 ∣ H 0 不真 ) = β P(\text{接受 }H_{0}|H_{0}\text{ 不真})=\beta P ( 接受 H 0 ∣ H 0 不真 ) = β
显著性检验:控制第一类错误 α \alpha α 的大小.
根据实际问题建立假设,常见的四个问题:{ μ 与 μ 0 是否一致 σ 2 与 σ 0 2 是否一致 μ 1 与 μ 2 是否一致 σ 1 2 与 σ 2 2 是否一致 \left\{\begin{aligned} \mu \text{ 与 } \mu_{0} \text{ 是否一致} \\ \sigma^{2} \text{ 与 } \sigma_{0}^{2} \text{ 是否一致} \\ \mu_{1} \text{ 与 } \mu_{2} \text{ 是否一致} \\ \sigma_{1}^{2} \text{ 与 } \sigma_{2}^{2} \text{ 是否一致} \end{aligned}\right. ⎩ ⎪ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎪ ⎧ μ 与 μ 0 是否一致 σ 2 与 σ 0 2 是否一致 μ 1 与 μ 2 是否一致 σ 1 2 与 σ 2 2 是否一致
选择统计量 { Z = X ‾ − μ σ / n t = X ‾ − μ S / n χ 2 = ( n − 1 ) S 2 σ 2 F = S 1 2 / S 2 2 σ 1 2 / σ 2 2 \left\{ \begin{aligned} \displaystyle Z&=\frac{\overline{X}-\mu}{\sigma / \sqrt{n}} \\ \displaystyle t&=\frac{\overline{X}-\mu}{S / \sqrt{n}} \\ \displaystyle \chi^{2}&=\frac{(n-1) S^{2}}{\sigma^{2}} \\ \displaystyle F&=\frac{S_{1}^{2} / S_{2}^{2}}{\sigma_{1}^{2} / \sigma_{2}^{2}}\end{aligned}\right. ⎩ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎨ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎧ Z t χ 2 F = σ / n X − μ = S / n X − μ = σ 2 ( n − 1 ) S 2 = σ 1 2 / σ 2 2 S 1 2 / S 2 2
计算统计量的值
确定拒绝域
结论
分布
分布列或密度函数
期望
方差
二项分布 X ∼ B ( n , p ) X \sim B(n, p) X ∼ B ( n , p ) 0 < p < 1 0 < p < 1 0 < p < 1
P ( X = k ) = C n k p k q n − k k = 0 , 1 , 2 , … , n P(X=k)=\mathrm{C}_{n}^{k} p^{k} q^{n-k} \\ k=0,1,2, \ldots, n P ( X = k ) = C n k p k q n − k k = 0 , 1 , 2 , … , n
n p n p n p
n p ( 1 − p ) n p(1-p) n p ( 1 − p )
泊松分布 X ∼ P ( λ ) X \sim P(\lambda) X ∼ P ( λ ) 或 X ∼ π ( λ ) X \sim \pi(\lambda) X ∼ π ( λ ) λ > 0 \lambda \gt 0 λ > 0
P ( X = k ) = λ k k ! e − λ k = 0 , 1 , 2 , … P(X=k)=\displaystyle\frac{\lambda^{k}}{k !} e^{-\lambda} \\ k=0,1,2, \ldots P ( X = k ) = k ! λ k e − λ k = 0 , 1 , 2 , …
λ \lambda λ
λ \lambda λ
几何分布 X ∼ G ( p ) X \sim G(p) X ∼ G ( p ) p > 0 p>0 p > 0
P ( X = k ) = p ( 1 − p ) k − 1 k = 1 , 2 , … P(X=k)=p(1-p)^{k-1} \\ k=1,2, \ldots P ( X = k ) = p ( 1 − p ) k − 1 k = 1 , 2 , …
1 p \displaystyle\frac{1}{p} p 1
1 − p p 2 \displaystyle\frac{1-p}{p^2} p 2 1 − p
指数分布 X ∼ E ( λ ) X \sim E(\lambda) X ∼ E ( λ ) 或 X ∼ e ( λ ) X \sim e(\lambda) X ∼ e ( λ ) λ > 0 \lambda \gt 0 λ > 0
f ( x ) = { λ e − λ x , x > 0 0 , x ≤ 0 f(x)=\begin{cases}\lambda \mathrm{e}^{-\lambda x}, \quad & x \gt 0 \\0, & x \leq 0\end{cases} f ( x ) = { λ e − λ x , 0 , x > 0 x ≤ 0
1 λ \displaystyle\frac{1}{\lambda} λ 1
1 λ 2 \displaystyle\frac{1}{\lambda^{2}} λ 2 1
正态分布 X ∼ N ( μ , σ 2 ) X \sim N(\mu, \sigma ^2) X ∼ N ( μ , σ 2 ) − ∞ < μ < + ∞ , σ > 0 -\infty \lt \mu \lt +\infty, \sigma \gt 0 − ∞ < μ < + ∞ , σ > 0
f ( x ) = 1 2 π σ exp ( − ( x − μ ) 2 2 σ 2 ) − ∞ < x < + ∞ f(x)=\displaystyle\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right) \\ -\infty < x < +\infty f ( x ) = 2 π σ 1 exp ( − 2 σ 2 ( x − μ ) 2 ) − ∞ < x < + ∞
μ \mu μ
σ 2 \sigma^{2} σ 2
© 2019 倪可塑 保留所有权利。