redis使用tcmalloc管理内存,当删除了redis的key后,通过redis的info命令查看内存使用情况,发现内存并没有释放,但是采用默认的jemalloc就不会有这个问题
以下是采用tcmalloc后删除key前和删除key后通过info看到的内存情况:
删除key前:
used_memory:13051400
used_memory_human:12.45M
used_memory_rss:16326656
used_memory_peak:13051400
used_memory_peak_human:12.45M
used_memory_lua:33792
mem_fragmentation_ratio:1.25
mem_allocator:tcmalloc-2.0
删除key后
used_memory:835080
used_memory_human:815.51K
used_memory_rss:16392192
used_memory_peak:13051400
used_memory_peak_human:12.45M
used_memory_lua:33792
mem_fragmentation_ratio:19.63
mem_allocator:tcmalloc-2.0
以下是采用jemalloc后删除key前和删除key后通过info看到的内存情况:
删除key前:
used_memory:13047176
used_memory_human:12.44M
used_memory_rss:14704640
used_memory_peak:13047176
used_memory_peak_human:12.44M
used_memory_lua:33792
mem_fragmentation_ratio:1.13
mem_allocator:jemalloc-3.6.0
删除key后
used_memory:830696
used_memory_human:811.23K
used_memory_rss:2318336
used_memory_peak:13047176
used_memory_peak_human:12.44M
used_memory_lua:33792
mem_fragmentation_ratio:2.79
mem_allocator:jemalloc-3.6.0
从结果看,删除大量的key后,采用jemalloc的redis分配的内存缩减为大约2M,而tcmalloc没有变化
TcMalloc的原理参看:
其中提到:目前的tcmalloc版本不会把任何内存返还给操作系统,可见采用tcmalloc时redis实例占用的内存与redis使用内存的峰值有关
JeMalloc的原理可以参看:
http://club.alibabatech.org/article_detail.htm?articleId=36
其中提到:
回收流程大体和分配流程类似,有tcache机制的会将回收的块进行缓存,没有tcache机制的直接回收(不大于chunk的将对应的page状态进行修改,回收对应的run;大于chunk的直接munmap)。需要关注的是jemalloc何时会将内存还给操作系统,因为ptmalloc中存在因为使用top_chunk机制(详见华庭的文章)而使得内存无法还给操作系统的问题。目前看来,除了大内存直接munmap,jemalloc还有两种机制可以释放内存:
1. 当释放时发现某个chunk的所有内存都已经为脏(即分配后又回收)就把整个chunk释放;
2. 当arena中的page分配情况满足一个阈值时对dirty page进行purge(通过调用madvise来进行)。这个阈值的具体含义是该arena中的dirty page大小已经达到一个chunk的大小且占到了active page的1/opt_lg_dirty_mult(默认为1/32)。active page的意思是已经正在使用中的run的page,而dirty page就是其中已经分配后又回收的page。
上述两种机制保证了jemalloc不会出现类似ptmalloc中的内存无法交还给操作系统的问题
结论:慎用tcmalloc,采用jemalloc就好。
相关推荐
我们知道Redis并没有自己实现内存池,没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。 在Redis的 zmalloc.c 源码中,我们可以看到如下代码: /* ...
通过Key前缀分析Redis的内存占用按内存大小排序导出结果到csv文件
如何监控mysql,redis运行状况(CPU,内存)
redis内存模型介绍,redis内存模型介绍
分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。分布式缓存-基于Redis集群解决单机Redis存在的问题。...
Redis 服务等过期策略和内存淘汰策略解析
错误信息: IllegalStateException: Invalidated object not currently part of this...在网上查了很多同类错误,都说是进行了两次returnResource释放连接资源造成的,因为第一次return成功以后,第二次return就会报上
Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。
刚刚接触redis,因为操作redis的时候不需要安全验证,所以想加上安全验证,在redis.windows.conf...以上这篇解决redis修改requirepass后不生效的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家
Redis是一种开源的内存数据结构存储系统,它支持多种数据结构,如字符串、哈希、列表、集合、有序集合等。Redis可以用作数据库、缓存和消息中间件。Redis在性能、可扩展性和灵活性方面表现出色,因此被广泛应用于Web...
Redis内存过期策略,Redis的内存回收机制,相关配置项
Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows 上安装 Redis安装Windows ...
redisredis redis redis redis
但是由于数据量的不断增大,单机的Redis物理内存远远无法满足大数据的需要,因此需要搭建分布式的Redis,可以动态扩展内存,弥补单机Redis物理内存不够的缺点。本次测试旨在对Redis各方面性能有深入的了解,为今后的...
分析key内存大小
redis缓存解决方案和基本命令,redisredis内存存储结构分析.Redis的数据全部放在内存带来了高速的性能,但是也带来一些不合理之处。比如一个中型网站有100万注册用户,如果这些资料要用Redis来存储,内存的容量必须...
缓存处理:Redis作为内存数据库可以用来缓存频繁访问的数据,加快数据读取速度,减轻后端服务器压力。 会话管理:在分布式环境下,可用Redis存储用户会话数据,实现状态共享,方便多个服务实例之间的会话同步。 消息...
并行计算课程作业,使用redis cluster实现铁路数据的内存化管理。在Ubuntu 上布置好redis集群之后,可以在windows上运行程序(需要修改集群参数),程序自动写入数据。
Redis Cluster 某个分片(10.20.2.53:7101)内存飙升,明显比其它高跟多,而且持续增长并达到了峰值。并且主从的内存使用量不一致。 IP 监听端口 主/从 实例状态 内存使用 对象数 连接数 命中率 10.20.0.40 ...