概率论

发表于 更新于 分类于 阅读次数：

主要参考

贝叶斯公式

贝叶斯学派认为没有什么是随机的，如果有，那一定是信息不够（香农信息论）；
贝叶斯学派（统计学）-> 贝叶斯学习(机器学习)

贝叶斯公式给了我们一种能力，即在事件发生后，通过事件发生前的各种概率进行推理的能力。

无意中使用贝叶斯的例子：一个笑话——水是剧毒的，因为罹患癌症的人都喝过水。
无意中被贝叶斯欺骗的例子：检出率很高的诊疗方法（准确率99.9%），误诊率是极高的(>50%)。因为自然人群中患病率(<1%)。
概率论统计学真是任人装扮的小姑娘。


从机器学习的角度来理解贝叶斯公式（朴素贝叶斯分类器)
读作P c given x, 左侧是后验概率，是先验概率prior， 是似然值(likelihood)，是模型重点学习的部分。对于所有的输入样本都是一样的，是用来归一化的（计算时用全概率公式展开）；对的估计可以采用极大似然估计Maximum Likelihood Estimation的方法。(西瓜书P148)
从一般的角度来理解（可能不太准确)
是一件事的原始概率，当发生了一些事之后（或是我们知道它发生了，这就跑到贝叶斯学派和频率学派的分歧点了），是被修正的概率，修正因子就是 。

太深了，浅看就一公式，深层竟然是世界观方法论，越看越迷糊

FAQ

  • 什么是先验概率？
    事情未发生，只根据以往数据统计，分析事情发生的可能性，即先验概率。
    指根据以往经验和分析。在实验或采样前就可以得到的概率。
    先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为”由因求果”问题中的”因”出现。

  • 什么是后验概率？与先验概率的关系？

  1. 后验概率
    事情已发生，已有结果，求引起这事发生的因素的可能性，由果求因，即后验概率。
    指某件事已经发生，想要计算这件事发生的原因是由某个因素引起的概率。
    后验概率是指依据得到”结果”信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是”执果寻因”问题中的”因”。
  2. 与先验概率的关系
    后验概率的计算，是以先验概率为前提条件的。如果只知道事情结果，而不知道先验概率（没有以往数据统计），是无法计算后验概率的。
    后验概率的计算需要应用到贝叶斯公式。
  • 全概率公式、贝叶斯公式与先验、后验概率的关系？
    全概率公式，总结几种因素，事情发生的概率的并集。由因求果。
    贝叶斯公式，事情已经发生，计算引起结果的各因素的概率，由果寻因。同后验概率。
    全概率是用原因推结果，贝叶斯是用结果推原因