Apache Hadoop3.5.0版本特性
Apache Hadoop 是 3.5.0,于 2026 年 4 月 2 日 正式发布。
主要新特性与改进
Java 17 完整支持(重大升级):
- 服务端(Server)要求 Java 17。
- 客户端支持 Java 17 和 Java 21。
- 这是 Hadoop 首次全面转向更高 Java 版本(之前最低 Java 8)。
HDFS 优化:
- NameNode 并发操作的更细粒度锁优化。
- Router-based Federation(路由器联邦)中异步 RPC 处理改进,提升性能和可扩展性。
云存储支持增强:
- 新增 GCS FileSystem(Google Cloud Storage 原生集成)。
- 移除已废弃的 WASB(Windows Azure Blob Storage),推荐使用 ABFS(Azure Blob File System)。
YARN 改进:
- 全新 Capacity Scheduler UI:现代化的 React-based 界面,支持监控和动态编辑 Capacity Scheduler 配置。
开发与构建改进:
- JUnit 5 全面升级(所有测试从 JUnit 4 迁移)。
- Maven 并行构建支持(
mvn -T 8 ...)。 - 大量依赖库升级,修复众多传递性 CVE(安全漏洞)。
其他:
- S3A 等云对象存储的性能和兼容性优化。
- 安全性、稳定性及整体依赖清理。
版本演进简要对比
| 版本系列 | 发布时间 | 主要里程碑 | 推荐场景 |
|---|---|---|---|
| 3.5.0 | 2026-04 | Java 17、GCS、YARN 新 UI 等 | 新部署 / 生产升级 |
| 3.4.x | 2024 | 大量稳定性和联邦改进 | 稳定过渡 |
| 3.3.x | 2020-2023 | Erasure Coding 成熟、TimelineService v2 | 旧集群 |
| 2.10.x | ~2022 | Hadoop 2 最终维护版本 | 极少数遗留系统 |
官方下载:https://hadoop.apache.org/releases.html
文档:https://hadoop.apache.org/docs/r3.5.0/
- 新集群强烈推荐直接使用 3.5.0,尤其在云环境(GCS、ABFS、S3A)下表现更好。
- 升级时注意 Java 版本要求和 WASB 移除的影响。
- 生产环境仍需配置 Kerberos 安全、HA 等。