笔记: 归纳与统计:贝叶斯定理

哈哈,加入了最新的TEX公式输入功能,清楚多了,也养眼多了。

这个非同寻常的重要定理,只不过是“从经验中进行学习的主要规则”,它给我们提供了“一个符合普通感知和普通常识的形式化规则,在我们运用经验(或数据)的过程中,它能给予我们指导,如何作出选择假说的决定。“

  • 简单形式:

    • P(H|D) ∝ P(D|H)XP(H)
    • 或者:后验 ∝ 或然率 X 先验 (注:符号“∝”意为“成比例于,与……成比例”)
  • 三个组成部分的基本含义:

    • 先验:是“先验概率”的简称。是一个初始的概率,命题为真的初始概率或一个事件发生的初始概率,估算先验是为了收集某些特定的数据或证据。
    • 或然率:或然率概括了数据对假说概率的影响。低的或然率表示低的确定性,反之则高。
    • 后验:是“后验概率”的简称。还可以使用“当前的”。在任何情况下,“后验”一词都意味着,在或然率所考虑的情况下,使用过新的信息之后的结果。
    • 引申:当前概率“成比例与”初始概率 X 或然率(哈哈,更通俗,更好记)
      • “成比例”与“等于”的区别:如同百倍放大镜的刻度值要乘以0.87后才“等于”实际值,但它的值却与际值的变化是“成比例”的。去掉那个参数,就是“成比例”,加上那个参数,就是“等于”。
  • “在统计学发展的历史过程中,贝叶斯定理作为一个主要的步骤,第一次实现了概率的反演。”

  • 贝叶斯定理:两假说模式(H1、H2相互排斥,联合穷尽)

  • 贝叶斯定理:比例模式

可以这样读:后验之比=或然率之比 X 先验之比