KNN(K-Nearest Neighbors，K近邻算法)用于分类/回归

Posted on Views:

KNN（K-Nearest Neighbors，K近邻算法）是一种简单但非常常用的机器学习算法，既可以用于分类问题，也可以用于回归问题。

1.基本思想

KNN的核心思想是： 物以类聚，人以群分

对于一个新的数据点：

  1. 计算它与训练集中所有样本的距离
  2. 找出距离最近的 K个邻居
  3. 根据这K个邻居的类别来决定新样本的类别

2.分类与回归

分类问题

  • 看K个邻居中 哪个类别最多
  • 采用“多数投票”

例如：
K=3，邻居类别为：A, A, B
→ 结果：A

回归问题

  • 取K个邻居的 平均值

例如：
K=3，值为：10, 12, 14
→ 结果：12

三、关键步骤

  1. 选择K值
  2. 计算距离（常用欧氏距离）
  3. 找最近的K个点
  4. 做决策（投票 or 平均）