极大似然估计(MLE)概述

极大似然估计(Maximum Likelihood Estimation,MLE)是统计学习和机器学习里最核心的参数估计方法之一。

解决的问题:

已经观察到一批样本数据,反过来推断“最可能产生这批数据”的模型参数是什么。

换句话说,不是参数生成数据,而是已知数据去反推参数


1.生活化理解

假设你有一枚硬币,但不知道它正面朝上的概率 (p)。你连续抛了 10 次,结果出现了 8 次正面、2 次反面。

这时你会自然觉得:

  • (p=0.8) 比较合理
  • (p=0.5) 似乎不太像
  • (p=0.2) 更不像

为什么?因为在不同的 (p) 下,当前这组观测数据出现的“可能性”不同。
谁让这组数据出现的概率最大,就认为谁最合理。 这就是极大似然估计的核心思想。


2.核心一句话

极大似然估计:选择一组参数,使得已观测到的数据出现的概率最大。

3.概率 vs 似然本质区别

  • 概率:从参数到数据
  • 似然:从数据反推参数

所以它们形式相同,但思维方向不同。