从样本空间理解贝叶斯决策论

1. 几个概率名词

假设某地气象站观察了一年365天的天气情况,其中晴天为200天,非晴天为165天。如果仅凭这些信息,询问你一年中随机的一条晴天的概率为多少,所得的结果\(\frac{200}{365}\)就是先验概率,它是指基于统计或常识等得到的概率,一般只包含一个变量。

如果只根据这些信息判断天气晴朗与否,那么对每一天天气情况的判断都是晴朗,但是一年中不会每一天都晴朗。因此,为了更准确的进行预测,气象站额外增加了一项观测信息—记录前一天是否有晚霞。结果是200天晴天里有180天前一天有晚霞,165个非晴天里有10天有晚霞。

这样,基于今天有没有晚霞,对明天是否晴天可以有一个更精确的判断。假设有晚霞为事件A,晴天为事件B,且今天有晚霞,可以计算明天为晴天的概率是\(\rho \left ( B|A \right )\)(指A发生的条件下B发生的概率),这个概率就是条件概率,它是指在某件事情发生的前提下发生一事件的概率。

条件概率的一种特殊情况被习惯的称为后验概率。比如已知今天是晴天,那么前一天有晚霞的概率就是后验概率。它往往是指事情之间有种因果、前后关系时,已知某结果发生,它的某前置事件发生的概率。

如果求A和B同时发生的概率,即\(\rho \left ( AB \right )\),就是联合概率,它是指事件同时发生的概率。

其实这几个名词和从样本空间理解贝叶斯理论没有什么关系,但是它们经常出现,故进行解释。

2. 从样本空间开始

假设有事件A与事件B,两者相关。在样本空间S中,A与B分别如图所示。

如何理解样本空间呢?可以想象为了探究A与B的发生概率问题,我们做了无数次试验,每一个实验用一个点表示,这无数个点构成了S。所有处在A中的点表示事件A在该次试验发生,所有处在B中的点表示事件B在该次试验发生。这其实是用古典概率模型的方式进行考虑。

那么概率\(\rho \left ( AB \right )\)可以这样计算:\[\rho \left ( AB \right )= \frac{A\bigcap B}{S}(公式1)\]由图同样易得:\[\rho \left ( A|B \right )= \frac{A\bigcap B}{B}(公式2)\]将(1)代入(2)得:\[\rho \left ( A|B \right )= \frac{\rho \left ( AB \right )\cdot S}{B}= \frac{\rho \left ( AB \right )\cdot S}{\rho \left ( B \right)\cdot S}= \frac{\rho \left ( AB \right )}{\rho \left ( B \right )}(公式3)\]这里得到公式3叫做条件概率公式,如果将其形式写为:\[\rho \left ( AB \right )= \rho \left ( A|B \right )\cdot \rho \left ( B \right )(公式4)\]就得到了乘法公式。仿造公式2:\[\rho \left ( B|A \right )=\frac{A\bigcap B}{A}= \frac{\rho \left ( AB \right )\cdot S}{\rho \left ( A \right )\cdot S}= \frac{\rho \left ( AB \right )}{\rho \left ( A \right )}(公式5)\]故:\[\rho \left ( AB \right )=\rho \left ( B|A \right )\cdot \rho \left ( A \right )(公式6)\]由公式4和6可得:\[\rho \left ( A|B \right )\cdot \rho \left ( B \right )=\rho \left ( B|A \right )\cdot \rho \left ( A \right )(公式7)\]这就是著名的贝叶斯公式

其实,两个事件相关在图中除了上面的A与B相交,还可能是B包含A;不过,推理过程和这个是类似的。

No Comments

Leave a Reply

Your email address will not be published. Required fields are marked *