Kubernetes v1.35(Timbernetes)新特性

Kubernetes v1.35(Timbernetes)是一个偏”基础能力增强 + AI/高性能场景优化 + 安全体系升级”的版本。

官方总计引入约 60 个增强(KEP):

  • 17 个 GA(稳定)
  • 19 个 Beta
  • 22 个 Alpha

核心方向主要集中在:

  • AI/ML 工作负载
  • 调度器性能
  • Pod 生命周期
  • Workload Identity
  • 设备资源管理
  • cgroup v2 统一化
  • 多租户安全

参考:
Kubernetes v1.35 Release
Kubernetes CHANGELOG 1.35


1. Kubernetes v1.35 重点新特性

1.1 Pod 原地资源调整(GA)

这是 v1.35 非常重要的生产级能力。

以前:

  • 修改 CPU / Memory request
  • Pod 必须重建
  • Stateful 应用容易抖动
  • 长连接断开

现在:

  • 支持运行中 Pod 原地修改资源
  • 不需要 Pod Restart
  • kubelet 直接修改 cgroup 参数

核心能力:

1
2
3
4
resources:
requests:
cpu: "4"
memory: "8Gi"

修改后:

1
kubectl patch pod xxx

Pod 不会被删除重建。

适合:

  • AI 推理
  • JVM 动态扩容
  • 在线数据库
  • 长连接服务
  • 高频 autoscaling

1.2 Restart All Containers(Alpha)

新增:

  • 支持 Pod 内全部容器协同重启

以前:

1
2
3
sidecar 崩了
主容器没重启
状态错乱

现在:

  • 一个容器异常
  • 可触发整个 Pod 容器组重启

特别适合:

  • AI Training
  • MPI
  • Sidecar 强依赖架构
  • Service Mesh

Feature Gate:

1
RestartAllContainersOnContainerExits

1.3 Gang Scheduling(Alpha)

这是 AI/HPC 领域最重要的新能力之一。

以前:

1
2
3
8个训练 Pod
只调度成功5个
训练直接卡死

现在:

  • Pod Group 必须整体调度成功
  • 否则全部不调度

类似:

  • Slurm
  • HPC Scheduler
  • Volcano

场景:

  • 分布式训练
  • MPI
  • Tensor Parallel
  • HPC

1.4 Node Declared Features(Alpha)

节点可以主动声明能力。

以前:

  • 靠 node label
  • 手工维护
  • 升级容易漂移

现在:

Node 自动上报:

1
.status.declaredFeatures

调度器直接感知:

  • GPU 能力
  • 内核特性
  • eBPF
  • DRA
  • NUMA
  • 新 feature gate

适合:

  • 异构集群
  • GPU 集群
  • ARM/x86 混合集群

1.5 Pod Certificates(Beta)

Workload Identity 重大升级。

K8s 原生支持:

  • Pod 自动签发 x509 证书
  • 自动轮转
  • mTLS

以前依赖:

  • cert-manager
  • SPIRE
  • Vault

现在:
Kubernetes 内建。

架构:

flowchart LR
    Pod --> kubelet
    kubelet --> APIServer
    APIServer --> Signer
    Signer --> Certificate
    Certificate --> Pod

适合:

  • Zero Trust
  • Service Mesh
  • 内部 mTLS
  • 多租户

2. 网络与流量调度增强

2.1 PreferSameNode(GA)

Service 流量优先本地节点

效果:

  • 降低 RTT
  • 减少跨节点流量
  • 提高 cache 命中

尤其适合:

  • 高频 RPC
  • Redis
  • AI 推理
  • 游戏服务器

2.2 PreferSameZone

流量优先同可用区。

以前:

1
跨 AZ 通信

现在:

1
优先 Zone 内

减少:

  • Cross-AZ 费用
  • 网络延迟

3. 安全增强

3.1 镜像拉取认证增强(Beta)

以前:

1
2
Tenant A 拉过镜像
Tenant B 可直接复用缓存

存在安全风险。

现在:

  • 即使本地有缓存
  • kubelet 仍重新验证 pull secret

Feature:

1
KubeletEnsureSecretPulledImages

多租户安全大幅增强。


3.2 Structured Authentication Configuration(GA)

OIDC 配置重大升级。

以前:

1
--oidc-issuer-url

非常难维护。

现在:

支持:

  • 多 OIDC Provider
  • 热更新
  • CEL 表达式
  • Claim Mapping

适合:

  • 企业统一认证
  • GitLab CI
  • 多 IdP

4. Device Resource Allocation(DRA)增强

v1.35 对 GPU/AI 资源管理增强非常大。


4.1 Device Taints

设备级 taint。

以前:

1
只能 taint node

现在:

1
可以 taint GPU device

例如:

  • GPU 故障
  • MIG 分区异常
  • HBM 不健康

不会影响整台机器。


4.2 Consumable Capacity

支持“消耗型资源”。

例如:

  • GPU Memory BW
  • NPU 带宽
  • FPGA 通道

更适合 AI 场景。


5. Scheduler 性能增强


5.1 Opportunistic Batching

调度器新增缓存批处理。

以前:

每个 Pod:

1
重新完整计算

现在:

相似 Pod 共享调度结果。

效果:

  • 降低 scheduler CPU
  • 提升大规模集群吞吐

适合:

  • 大规模 Deployment
  • AI Batch Job

6. 底层架构变化(非常重要)

6.1 完全移除 cgroup v1

v1.35:

1
强制 cgroup v2

意味着:

  • 老内核基本淘汰
  • CentOS 7 风险极大
  • 老 containerd 风险大

建议:

组件 建议版本
Kernel >= 5.15
containerd 2.x
systemd >= 252

6.2 kube-proxy IPVS 开始弃用

官方开始偏向:

  • iptables
  • eBPF dataplane

未来趋势:

1
2
Cilium/eBPF
替代 kube-proxy

这是非常明确的方向。


7. AI / GPU 场景影响

v1.35 明显开始偏 AI Native。

核心体现:

特性 AI价值
Gang Scheduling 分布式训练
DRA GPU资源精细管理
RestartAllContainers Training恢复
In-place Resize 动态资源调整
PreferSameNode 推理低延迟
Pod Certificates Zero Trust AI

实际上:

Kubernetes 正在逐渐:

1
2
从通用容器编排
演进为 AI 基础设施操作系统

8. 升级建议

8.1 推荐升级的场景

推荐升级:

  • AI 集群
  • GPU 集群
  • 大规模 K8s
  • 多租户平台
  • Service Mesh
  • 高频弹性业务

8.2 暂不建议立即升级

谨慎:

  • CentOS 7
  • cgroup v1
  • 老 Docker Runtime
  • 老 CSI
  • 老 CNI

9. 生产升级检查项

9.1 必查项

1
stat -fc %T /sys/fs/cgroup

必须输出:

1
cgroup2fs

9.2 containerd

1
containerd --version

建议:

1
containerd 2.x

9.3 kube-proxy

检查是否还在:

1
IPVS mode

建议逐渐迁移:

  • Cilium
  • eBPF dataplane