机器学习:监督学习 vs 无监督学习
1.监督学习(Supervised Learning)
监督学习本质:给模型标准答案,让模型学习输入与输出之间的映射关系。
训练数据中:
- 有输入
X - 有标签
Y
模型目标:
1 | f(X) -> Y |
即:通过历史样本,学习规律,预测未来结果
典型场景:
| 场景 | 输入 | 输出 |
|---|---|---|
| 垃圾邮件识别 | 邮件内容 | 是否垃圾邮件 |
| 图片分类 | 图片像素 | 猫/狗 |
| 风控 | 用户行为 | 是否欺诈 |
| 股票因子预测 | 技术指标 | 涨跌概率 |
1.1监督学习核心流程
flowchart LR
A[带标签数据] --> B[训练模型]
B --> C[学习映射关系]
C --> D[生成预测模型]
D --> E[预测新数据]
1.2 常见监督学习算法
| 类型 | 算法 |
|---|---|
| 线性模型 | Linear Regression、Logistic Regression |
| 树模型 | Random Forest、XGBoost、LightGBM |
| 深度学习 | CNN、RNN、Transformer |
| 分类算法 | SVM、KNN |
1.3 两大任务
分类(Classification)
离散结果:
1 | 是/否 |
回归(Regression)
连续值:
1 | 房价预测 |
2.无监督学习(Unsupervised Learning)
无监督学习本质:”不给标准答案,让模型自己发现数据规律。”
数据:
1 | 只有 X |
模型需要:
- 自动发现结构
- 聚类
- 降维
- 异常检测
- 数据分布规律
2.1 无监督学习核心流程
flowchart LR
A[无标签数据] --> B[模型自动分析]
B --> C[发现隐藏结构]
C --> D[聚类/降维/异常检测]
2.2 常见算法
| 类型 | 算法 |
|---|---|
| 聚类 | K-Means、DBSCAN |
| 降维 | PCA、t-SNE |
| 概率模型 | GMM |
| 表征学习 | AutoEncoder |
2.3 典型场景
| 场景 | 用途 |
|---|---|
| 用户画像 | 自动分群 |
| 推荐系统 | 相似用户发现 |
| 网络安全 | 异常流量识别 |
| 运维监控 | 异常指标检测 |
| 日志分析 | 自动模式发现 |