极大似然估计(MLE)概述
极大似然估计(Maximum Likelihood Estimation,MLE)是统计学习和机器学习里最核心的参数估计方法之一。
解决的问题:
已经观察到一批样本数据,反过来推断“最可能产生这批数据”的模型参数是什么。
换句话说,不是参数生成数据,而是已知数据去反推参数。
1.生活化理解
假设你有一枚硬币,但不知道它正面朝上的概率 (p)。你连续抛了 10 次,结果出现了 8 次正面、2 次反面。
这时你会自然觉得:
- (p=0.8) 比较合理
- (p=0.5) 似乎不太像
- (p=0.2) 更不像
为什么?因为在不同的 (p) 下,当前这组观测数据出现的“可能性”不同。
谁让这组数据出现的概率最大,就认为谁最合理。 这就是极大似然估计的核心思想。
2.核心一句话
极大似然估计:选择一组参数,使得已观测到的数据出现的概率最大。
3.概率 vs 似然本质区别
- 概率:从参数到数据
- 似然:从数据反推参数
所以它们形式相同,但思维方向不同。