概率中的方程
基本公式
P(A∩B)=P(AB)
P(A∪B)=P(A)+P(B)−P(AB)
A、B互斥,
P(AB)=0P(A+B)=P(A)+P(B)
A、B独立,
P(AB)=P(A)×P(B)
A1,A2,…Ak相互独立,
P(A1A2…Ak)=i=1∏kP(Ai)
条件概率
P(B∣A)=P(A)P(AB)
P(B)=i=1∑n(P(B∣Ai))
贝叶斯公式
P(A∣B)=P(B)P(AB)=P(B)P(A)P(B∣A)
累计概率
F(x)=P(x≤X)=∫−∞xf(t)dt,−∞<x<∞
样本与估计
期望
E(X)=i=1∑nxipi=∫−∞∞xf(x)dx
E(X) =i=1∑nxi=xˉ
E(x)=∫−∞∞xf(x;θ)dx
方差
D(X)=E(X2)−E(X)2
σ(X)=E(D(X))=i=1∑n(xi−E(X))2pi
COV(X,Y)
三阶矩
似然函数与最大似然估计
P(x)→P(x;θ)
L(θ)=⎩⎨⎧∏i=1nP(xi;θ) ∏i=1nf(xi;θ)
L(θ^)=θmaxL(x;θ)
估计的性质
无偏
E(θ^)=E(θ)⟹⎩⎨⎧E(μ^)=μ E(σ^2)=σ2
有效
Var(θ1^)≤Var(θ2^)
切比雪夫不等式
P{X−μ≥ϵ}≤ϵ2σ2
大数定律
∀ϵ>0,n→∞limP{∣n1i=1∑nxi−μ∣<ϵ}=1
中心极限定理(误差定理)
X1,X2,⋯,Xn∈Ω,Xˉ ∼N(μ,nσ2)
常见分布
伯努利分布
P(X=1)=p, P(X=0)=(1−p)
二项分布
P(k)=Cnkpk(1−p)(n−k)
几何分布
P(r)=(1−p)r−1p
泊松分布
X∼Po(λ) P(X=r;λ)=e−λr!λr
指数分布
f(x;λ)=⎩⎨⎧λe−λx, 0, x>0else
均匀分布
f(x)=⎩⎨⎧b−a1, 0,ifelsea≤x≤b
正态分布
幂律分布
数据分析
期望估计
- 平均值
- 中位值
- 众值
- 数据测度
数据抽样
- 等概率抽样
- 不等概率抽样
Ex∼p[f(x)]=∫f(x)p(x)=∫f(x)q(x)q(x)p(x) =Ex∼q[f(x)q(x)p(x)]