贝叶斯学习是利用参数的先验分布，由样本信息求来的后验分布，直接求出总体分布。贝叶斯学习理论使用概率去表示所有形式的不确定性，通过概率规则来实现学习和推理过程。

贝叶斯学习最早起源于数学家托马斯 贝叶斯在1963年所证明的一个关于贝叶斯定理的特例。经过多位统计学家的共同努力，贝叶斯统计在20世纪50年代之后逐步建立起来，成为统计学中一个重要的组成部分。贝叶斯定理因其对于概率的主观置信程度的独特理解而闻名。此后，由于贝叶斯统计在后验推理、参数估计、模型检测、隐概率变量模型等诸多统计机器学习领域方面有广泛而深远的应用。

设实验 的样本空间为Ω，A为 的事件， 是Ω的一个划分，且 ，则

全概率公式可以通过综合分析一个较为复杂的事件发生的各种不同的原因、情况或途径及其可能性求得该事件发生的概率。

设实验 的样本空间为Ω，A为 的事件， 是Ω的一个划分，且 ， ，则

贝叶斯公式主要用于观察一个事件已经发生时，去求导致所观察到的事件发生的各种原因、情况或途径及可能性大小。

贝叶斯定理是关于随机事件 A 和 B 的条件概率：

其中， 是在 发生的情况下 发生的可能性， 是 的先验概率， 是已知 发生后 发生的概率， 是 的先验概率。

假定要估计的模型参数是服从一定分布的随机变量，根据经验给出待估参数的先验分布(也称为主观分布)，关于这些先验分布的信息被称为先验信息；然后根据这些先验信息，并与样本信息相结合，应用贝叶斯定理求出待估参数的后验分布；再应用损失函数，得出后验分布的一些特征值，并把它们作为待估参数的估计量。

先验分布：

总体分布参数的一个概率分布。贝叶斯学派的根本观点，是认为在关于总体分布参数的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。

后验分布：

根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只须根据后验分布，而不能再涉及样本分布。

已知：有N个苹果，和M个梨子，苹果为黄色的概率为20%，梨子为黄色的概率为80%，问：假如在这堆水果中观察到了一个黄色的水果，这个水果是梨子的概率是多少？

分析：

问题转化为： 已知：

求:

解：

利用全概率公式，有：

利用贝叶斯公式，有：