后验概率
信息理论的基本概念
后验概率是信息理论的基本概念之一。在一个通信系统中,在收到某个消息之后,接收端所了解到的该消息发送的概率称为后验概率。
简介
先验概率与后验概率有不可分割的联系,后验概率的计算要以先验概率为基础。
事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率。
先验概率不是根据有关自然状态的全部资料测定的,而只是利用现有的材料(主要是历史资料)计算的;后验概率使用了有关自然状态更加全面的资料,既有先验概率资料,也有补充资料;
先验概率的计算比较简单,没有使用贝叶斯公式;而后验概率的计算,要使用贝叶斯公式,而且在利用样本资料计算逻辑概率时,还要使用理论概率分布,需要更多的数理统计知识。
实例
假设一个学校里有60%男生和40%女生。女生穿裤子的人数和穿裙子的人数相等,所有男生穿裤子。一个人在远处随机看到了一个穿裤子的学生。那么这个学生是女生的概率是多少?
使用贝叶斯定理,事件A是看到女生,事件B是看到一个穿裤子的学生。我们所要计算的是P(A|B)。
P(A)是忽略其它因素,看到女生的概率,在这里是40%
P(A')是忽略其它因素,看到不是女生(即看到男生)的概率,在这里是60%
P(B|A)是女生穿裤子的概率,在这里是50%
P(B|A')是男生穿裤子的概率,在这里是100%
P(B)是忽略其它因素,学生穿裤子的概率,P(B) = P(B|A)P(A) + P(B|A')P(A'),在这里是0.5×0.4 + 1×0.6 = 0.8。
根据贝叶斯定理,我们计算出后验概率P(A|B)
P(A|B)=P(B|A)*P(A)/P(B)=0.25
可见,后验概率实际上就是条件概率。
抽样方法
在统计学和金融经济学中,随机变量X的概率分布为 f(x|θ),先验概率分布为 f(θ),根据贝叶斯定理,后验概率分布为f(θ|x):
式中,归一化常数c的积分是高维积分,是很难进行数值计算的,因此归一化常数c可以认为是未知的,所以后验概率分布是不完全已知概率分布。对于不完全已知概率分布,直接抽样方法不适用,应采用间接抽样方法,如马尔科夫链蒙特卡洛方法
解释
1、当根据经验及有关材料推测出主观概率后,对其是否准确没有充分把握时,可采用概率论中的贝叶斯公式进行修正,修正前的概率称为先验概率,修正后的概率称为后验概率,利用后验概率再进行风险分析。
2、信息技术革命加快了人类迈向信息社会实际情况的进程,世界信息服务业正在成为最强劲的实质上,它是以新的信息做为条件的条件概经济增长点。
3、P{H0|x}是给定观测值x条件下H0出现的概率,统称为后验概率。根据贝叶斯公式,后验概率可表示为P{H0|x}=P(H0)P{x|H0}/P(x),P{H1|x}=P(H1)P{x|H1}/P(x)。式中,P(x)为x的概率密度。
4、也就是获得条件概率P(ωωt-k),这个概率常常称为后验概率。利用后验概率进行系统的状态决策无疑是更加合理的方法,因为它充分利用了先验知识和观测到历史时间变量的信息。
5、这个概率称为后验概率,根据贝叶斯规则计算如下:P[^ωΦ(t)]=maxωP[Φ(t)ω]P(ω)P[Φ(t)],这里的条件概率P[Φ(t)ω]是比较故障模型和输入模式之间符合程度的结果。
例子
举一个简单的例子:一口袋里有3只红球、2只白球,采用不放回方式摸取,求:
⑴ 第一次摸到红球(记作A)的概率;
⑵ 第二次摸到红球(记作B)的概率;
⑶ 已知第二次摸到了红球,求第一次摸到的是红球的概率。
解:
⑴ P(A)=3/5,这就是验前概率;
⑵ P(B)=P(A)P(B|A)+P(A逆)P(B|A逆)=3/5
⑶ P(A|B)=P(A)P(B|A)/P(B)=1/2,这就是后验概率。
参考资料
最新修订时间:2023-05-28 11:16
目录
概述
简介
参考资料