基于贝叶斯估计的概率公式推导

统计学习方法第四章贝叶斯估计题

参考1：https://blog.csdn.net/bumingqiu/article/details/73397812

参考2：https://blog.csdn.net/bitcarmanlee/article/details/82156281

---

 

一、第一个公式：

其中，

为第

种类别，共有

种；

为样本数目；

证：

设

，且

服从参数为

的Dirichlet分布（先验分布），则有概率质量函数（即离散变量的概率密度函数）如下：

;

（2）式可改写成：

设

为各类别的观测数，有：

则根据观测数据对先验分布改进如下：

其中，

，又

是与

无关的量，故（5）式可写为：

设

服从多项分布，则有：

(7)式可改写成：

将(3)式和(8)式带入(6)式，可得：

因此得出结论，

的后验概率

服从参数为

的Dirichlet分布：

故

的期望有(Dirichlet分布期望公式):

即有：

故原式得证。

---

二、第二个公式

其中，

表示第

个样本的第

维特征值，

表示第

维特征可取值个数,

表示特征维数，

表示类别数，

为样本数；

证明:

参考第一个公式的证明，设：

，且

服从参数为

的Dirichlet分布（先验分布），则有概率质量函数（即离散变量的概率密度函数）如下：

 

(2)是可改写为：

设

为第

维度

种特征值的观测数，有：

根据观测数据对(3)式进行改进如下：

其中，

，又

是与

无关的量，故（5）式可写为：

设

服从多项分布，则有：

(7)式可改写为：

将(3)式和(8)式带入(6)式，则有：

因此得出结论，

的后验概率

服从参数为

的Dirichlet分布：

故

的期望有(Dirichlet分布期望公式):

即有：

于是，原式得证。