机器学习学习笔记 2、概率论

概率论与数理统计

本文参考了目前网上诸多的机器学习数学复习讲义，取其精华，逐步深入，在帮助大家进行复习的同时，尽可能降低学习曲线。

0.贝叶斯学派与频率学派

有兴趣的同学可以查相关资料，这里只作为一个兴趣点引入

1.事件的关系与运算

2.频率与概率

3.古典概型

4.信息熵

上图中，结合我们上一节高数中推导出来的公式，可对组合数公式取对数乘1/n,然后计算得出信息熵公式

5.本福特定律

本福特定律，又称第一数字定律，是指在实际生活得出的一组数据中，以1为首位数字出现的概率约为总数的三成；是直观想象1/9的三倍。通常用于检测数据是否造假

6.概率的基本公式

7.贝叶斯公式

8.常见分布

0-1分布

二项分布

泊松分布

均匀分布

指数分布

正态分布(高斯分布)

学有余力可以查阅二元高斯分布相关资料

总结

Beta分布

可以查阅指数族相关资料，推导过程会出现Sigmoid/Logistic函数

9.事件的独立性

10.随机变量及其概率分布

11.二维随机变量

12.期望

性质

13.随机变量函数的数学期望

14.方差

15.协方差

协方差和独立、不相关

协方差的意义

16.Pearson相关系数

17.协方差矩阵

18.切比雪夫不等式

19.大数定律

意义

伯努利定理

20.中心极限定理

21.最大似然估计

贝叶斯公式的思考

定义

二项分布的最大似然估计

正态分布的最大似然估计

22.最大似然估计与过拟合