Apache Hadoop3.5.0版本特性

Apache Hadoop 是 3.5.0,于 2026 年 4 月 2 日 正式发布。


主要新特性与改进

  • Java 17 完整支持(重大升级):

    • 服务端(Server)要求 Java 17
    • 客户端支持 Java 17 和 Java 21。
    • 这是 Hadoop 首次全面转向更高 Java 版本(之前最低 Java 8)。
  • HDFS 优化

    • NameNode 并发操作的更细粒度锁优化。
    • Router-based Federation(路由器联邦)中异步 RPC 处理改进,提升性能和可扩展性。
  • 云存储支持增强

    • 新增 GCS FileSystem(Google Cloud Storage 原生集成)。
    • 移除已废弃的 WASB(Windows Azure Blob Storage),推荐使用 ABFS(Azure Blob File System)。
  • YARN 改进

    • 全新 Capacity Scheduler UI:现代化的 React-based 界面,支持监控和动态编辑 Capacity Scheduler 配置。
  • 开发与构建改进

    • JUnit 5 全面升级(所有测试从 JUnit 4 迁移)。
    • Maven 并行构建支持(mvn -T 8 ...)。
    • 大量依赖库升级,修复众多传递性 CVE(安全漏洞)。
  • 其他

    • S3A 等云对象存储的性能和兼容性优化。
    • 安全性、稳定性及整体依赖清理。

版本演进简要对比

版本系列 发布时间 主要里程碑 推荐场景
3.5.0 2026-04 Java 17、GCS、YARN 新 UI 等 新部署 / 生产升级
3.4.x 2024 大量稳定性和联邦改进 稳定过渡
3.3.x 2020-2023 Erasure Coding 成熟、TimelineService v2 旧集群
2.10.x ~2022 Hadoop 2 最终维护版本 极少数遗留系统

官方下载https://hadoop.apache.org/releases.html
文档https://hadoop.apache.org/docs/r3.5.0/

  • 新集群强烈推荐直接使用 3.5.0,尤其在云环境(GCS、ABFS、S3A)下表现更好。
  • 升级时注意 Java 版本要求和 WASB 移除的影响。
  • 生产环境仍需配置 Kerberos 安全、HA 等。