Elasticsearch 8.13.0 shard限制性问题

在 Elasticsearch 8.13.0 版本中，确实存在 默认单个节点最多 1000 个 shards（primary + replica） 的限制，这个限制是为了防止集群出现过多小分片（small shard）导致性能退化或稳定性问题。

---

一、默认限制背景

Elasticsearch 从 7.0+ 起就逐步引入了对「每个节点最大 shards 数量」的保护机制。

在 8.x 系列，默认配置如下：

cluster.max_shards_per_node: 1000

也就是说：

集群中所有索引的 primary + replica shard 总和 / 节点数 ≤ 1000
否则创建索引会被拒绝。

这条规则防止集群中出现大量小分片（例如 1GB 以下），因为每个 shard 都会消耗堆内存、文件句柄、线程资源等。

---

二、查看当前限制

在任意节点执行：

GET /_cluster/settings?include_defaults=true&filter_path=**.max_shards_per_node

输出示例：

{
  "defaults": {
    "cluster": {
      "max_shards_per_node": "1000"
    }
  }
}

---

三、调整（扩容）方式

如果你确定资源足够、集群节点规格较高，可以提升此上限。

方式 1：动态修改（推荐）

通过 API 修改集群级配置：

PUT /_cluster/settings
{
  "persistent": {
    "cluster.max_shards_per_node": 2000
  }
}

立即生效，无需重启。

基于curl形式修改

curl -XPUT -u elastic:xxx http://localhost:19200/_cluster/settings -H  "Content-Type: application/json" -d '
{
  "persistent": {
    "cluster.max_shards_per_node": 2000
  }
}'

---

方式 2：静态修改（配置文件）

编辑每个节点的 elasticsearch.yml：

cluster.max_shards_per_node: 2000

然后重启节点。
此方法适合在全新集群部署或自动化配置中固定上限。

---

四、扩容策略

如果你频繁遇到 “exceeded the maximum number of shards in the cluster” 报错，建议：

方案	说明
增加节点数	分担 shard 数量（1000×节点数 = 总上限）
调整索引模板	减少索引数量、合并每日索引为月度索引
减少副本数	临时性缓解 shard 过多问题
使用 ILM (Index Lifecycle Management)	自动 rollover + delete