/ MACHINELEARNING

贝叶斯公式及模型的理解

一. 贝叶斯公式

1.1 实际的例子推导公式

这里我们用比较实际的例子来理解贝叶斯公式。

现在我们有2个骰子，每个骰子有6个面。

  • 样本空间：$6\times6 = 36$
  • 事件A：其中一个骰子展示的是2
  • 事件B：两个骰子的总和是7

如下图所示，将所有的样本空间展示出来，并圈出事件A、B两种情况的所有可能性。

那么，针对每个不同的事件所发生的概率如下：

  • 事件A发生的概率：

  • 事件B发生的概率：

  • 事件A、B同时发生的概率：

  • 在A发生的条件下，B发生的概率：

  • 在B发生的条件下，A发生的概率：

因此我们可以发现：

  • $A和B同时发生的概率 = 在B发生条件下A发生的概率 \times B发生的概率$，如下

  • $A和B同时发生的概率 = 在A发生条件下B发生的概率 \times A发生的概率$，如下

  • 由上面2个式子，可得$在B发生条件下A发生的概率 \times B发生的概率 = 在A发生条件下B发生的概率 \times A发生的概率$，即得到了贝叶斯公式，如下。

1.2 用图来理解贝叶斯公式

接下来我们利用图的更好的理解贝叶斯公式。

  • 白色的矩形：表示整个样本空间
  • 红色的圆：表示A事件
  • 绿色的长方形：表示B事件
  • 圆和长方形交集：表示A事件和B事件同时发生时的事件。

那么交集事件的概率就如下所示：

  • $A和B同时发生的概率 = 在B发生条件下A发生的概率 \times B发生的概率$

  • $A和B同时发生的概率 = 在A发生条件下B发生的概率 \times A发生的概率$

二. 朴素贝叶斯模型

2.1 真实案例——泰坦尼克生存者预测

我们这里选择kaggle竞赛的一个Titanic生存率预测来说明下朴素贝叶斯是如何构建概率模型的。

这里简单的构建了一个小型的数据集如下：

survival($Y$) age > 18($x_1$) pclass = 1($x_2$) sex = male($x_3$)
1 1 1 1
0 0 0 1
1 1 1 0
0 0 1 0
1 1 0 1
0 0 1 1
1 1 0 0
0 0 0 0

那么对于一条新的样本：age = 20 , pclass = 2 , sex = female的乘客而言，她能生存下来么？

2.2 朴素贝叶斯模型推导

对于上述的新样本的预测问题，我们转化成概率问题，即

  • 这里利用贝叶斯公式转化，即：

  • 由于$x_1,x_2,x_3$出现的概率为1，因此，上式简化为：

  • 这里引入朴素的思想：假定每个特征条件（$x_1,x_2,x_3$）之间相互独立。那么:

  • 通过计算得到：
    • $P(x_1 = 1 Y = 1) = \frac{4}{4} = 1$
    • $P(x_2 = 0 Y = 1) = \frac{2}{4} = 0.5$
    • $P(x_3 = 0 Y = 1) = \frac{2}{4} = 0.5$
    • $P(Y = 1) = \frac{4}{8} = 0.5$
  • 因此，对于age = 20 , pclass = 2 , sex = female的乘客而言，她能生存的概率为：