根据样本 X 的分布Pθ及θ的先验分布π(θ),用
概率论中求
条件概率分布的方法,可算出在已知X=x的条件下,θ的
条件分布 π(θ|x)。因为这个分布是在
抽样以后才得到的,故称为后验分布。
贝叶斯学派认为:这个后验分布综合了样本X及
先验分布π(θ)所提供的有关的信息。抽样的全部目的,就在于完成由先验分布到后验分布的转换。如上例,设p=P(θ=1)=0.001,而π(θ=1|x)=0.86,则贝叶斯学派解释为:在某甲的指标量出之前,他患病的可能性定为0.001,而在得到X后,认识发生了变化:其患病的可能性提高为0.86,这一点的实现既与X有关,也离不开先验分布。计算后验分布的公式本质上就是
概率论中著名的
贝叶斯公式(见概率),这公式正是上面提到的
贝叶斯1763年的文章的一个重要内容。
贝叶斯推断方法的关键在于所作出的任何推断都必须也只须根据后验分布π(θ│X),而不能再涉及X的
样本分布Pθ。
例如,在奈曼-皮尔逊理论(见
假设检验)中,为了确定水平α的检验的临界值C,必须考虑X的分布Pθ,这在
贝叶斯推断中是不允许的。但贝叶斯推断在如何使用π(θ│X)上,有一定的灵活性,例如为作θ的
点估计,可用后验分布密度h(θ|X)关于θ的最大值点,也可以用π(θ|X)的
均值或
中位数(见
概率分布)等。为作θ的
区间估计,可以取区间[A(X),B(X)],使π(A(X)≤θ≤B(X)│X)等于事先指定的数1-α(0<α<1),并在这个条件下使区间长度B(X)-A(X)最小。若要检验关于θ的假设H:θ∈ω,则可以算出ω的
后验概率 π(ω|X),然后在π(ω│X)<1/2时拒绝H。如果是统计决策性质(见
统计决策理论)问题,则有一定的
损失函数L(θ,α),知道了π(θ|X),可算出各行动α的后验风险,即L(θ,α)在后验分布π(θ|X)下的数学期望值,然后挑选行动α使这期望值达到最小,这在贝叶斯统计中称为“后验风险最小”的原则,是
贝叶斯决策理论中的根本原则和方法。