后验分布
后验分布
根据样本 X 的分布Pθ及θ的先验分布π(θ),用概率论中求条件概率分布的方法,可算出在已知X=x的条件下,θ的条件分布 π(θ|x)。因为这个分布是在抽样以后才得到的,故称为后验分布。
基本定义
贝叶斯学派认为:这个后验分布综合了样本X及先验分布π(θ)所提供的有关的信息。抽样的全部目的,就在于完成由先验分布到后验分布的转换。如上例,设p=P(θ=1)=0.001,而π(θ=1|x)=0.86,则贝叶斯学派解释为:在某甲的指标量出之前,他患病的可能性定为0.001,而在得到X后,认识发生了变化:其患病的可能性提高为0.86,这一点的实现既与X有关,也离不开先验分布。计算后验分布的公式本质上就是概率论中著名的贝叶斯公式(见概率),这公式正是上面提到的贝叶斯1763年的文章的一个重要内容。
推断方法
贝叶斯推断方法的关键在于所作出的任何推断都必须也只须根据后验分布π(θ│X),而不能再涉及X的样本分布Pθ。
例子
例如,在奈曼-皮尔逊理论(见假设检验)中,为了确定水平α的检验的临界值C,必须考虑X的分布Pθ,这在贝叶斯推断中是不允许的。但贝叶斯推断在如何使用π(θ│X)上,有一定的灵活性,例如为作θ的点估计,可用后验分布密度h(θ|X)关于θ的最大值点,也可以用π(θ|X)的均值中位数(见概率分布)等。为作θ的区间估计,可以取区间[A(X),B(X)],使π(A(X)≤θ≤B(X)│X)等于事先指定的数1-α(0<α<1),并在这个条件下使区间长度B(X)-A(X)最小。若要检验关于θ的假设H:θ∈ω,则可以算出ω的后验概率 π(ω|X),然后在π(ω│X)<1/2时拒绝H。如果是统计决策性质(见统计决策理论)问题,则有一定的损失函数L(θ,α),知道了π(θ|X),可算出各行动α的后验风险,即L(θ,α)在后验分布π(θ|X)下的数学期望值,然后挑选行动α使这期望值达到最小,这在贝叶斯统计中称为“后验风险最小”的原则,是贝叶斯决策理论中的根本原则和方法。
参考资料
最新修订时间:2022-09-25 11:38
目录
概述
基本定义
推断方法
例子
参考资料