redis实际占用内存大小和dump.rdb大小关系

Posted on Edited on Views:

这是个很常见但容易让人困惑的问题：Redis 的实际内存使用大小和 dump.rdb 文件大小差距很大（甚至可能是 2 倍、10 倍或更高）是正常现象。

🧠 结论先行

Redis 占用的内存 ≠ RDB 文件大小。它们本质上是两种不同的数据表示方式，差距2倍甚至更多是正常的。

📦 为什么会出现差距？

1. 内存结构是面向运行效率的，RDB 文件是压缩存储的

对象 说明
Redis 内存中的数据结构 Redis 使用了大量高级结构（比如 dict, ziplist, skiplist, intset, quicklist 等）来支持高效的读写操作，内存中还会存储 metadata、对象头、指针等信息。
RDB 文件 是 Redis 的持久化文件，它会把当前的数据序列化为压缩后的二进制格式，体积更小，去掉了运行时结构和额外信息。

2. 压缩比不同

  • RDB 文件默认使用 LZF 压缩算法。

  • 比如字符串、数字等具有重复模式的数据，在压缩后体积会显著减小。

  • 举个例子：

    • Redis 内存中一个字符串对象：key -> "aaaaaaaaaaaaaa"，内存占 40+ 字节（含对象结构）。
    • 写入 RDB 后只需存一个压缩块（可能仅几个字节）。

3. 数据编码方式不同

  • Redis 内部使用不同的编码（比如 intset、ziplist 等）来优化内存。
  • 即使两个 key 看起来类似，但底层可能一个用结构体数组存，一个用紧凑整数集。

4. 内存还包括其他开销

内存使用量并不只包括用户存储的数据：

类型 说明
Key 和 Value 的对象结构 每个 key/value 都是一个 RedisObject，包括指针、引用计数等
字典结构、跳表、哈希桶 比如 dictEntry、rehash 阶段的额外空间等
缓存和临时内存 Redis 运行期间用于缓冲命令、复制、AOF、慢查询记录等
内存碎片 jemalloc 管理内存时会产生碎片。可以通过 info memory 查看 mem_fragmentation_ratio

🛠 举例说明

比如你用 Redis 存了 100 万条如下数据：

1
2
3
SET user:1:name "alice"
SET user:2:name "bob"
...

对比：

  • 内存中：

    • 每个 key、value 是完整的对象结构（可能是十几到几十字节）
    • 加上哈希表索引、metadata、分配器碎片

  • RDB 中：

    • 会把这些 key/value 打包压缩存储，可能压缩比达到 1:5

📊 如何查看实际差距

1
2
3
4
5
6
7
8
# 查看 Redis 占用内存
redis-cli info memory

# 查看 RDB 文件大小
ls -lh dump.rdb

# 计算压缩比
压缩比 = 内存大小（bytes） / RDB 文件大小（bytes）

✅ 什么时候需要担心？

通常不用担心这个差距。但你可以关注：

  • mem_fragmentation_ratio 是否 >1.5（代表内存碎片严重）
  • Redis 是否频繁触发 OOM 或内存告警
  • 是否可以通过调整数据结构（如使用 hash 存多个字段）来节省内存

📥 总结

项目 内存 RDB 文件
结构复杂度 高（为了性能） 低（为了空间）
包含内容 运行时结构、缓存、元数据等 仅数据，且压缩
体积大小 大 小
2 倍差距是否正常 ✅ 正常 ✅