Redis实现细节之：”zmalloc“函数

1、redis实现细节之：”zmalloc“函数之前在为 eufa 添加本地缓存管理的功能时，基本的数据存储功能用法了容易的双向链表来实现，但因为在 wasm32 架构上的最大可用内存惟独 4gb，因此我们需要对本地内存的用法大小做一个限制，但如何才干够精确地获得应用所用法的内存大小呢？我们都知道，譬如 malloc 等标准库中的内存分配函数会按照当前的系统架构类型自动地举行4/8字节的内存对齐，因此对于应用在存储数据时底层系统实际分配的内存大小我们很难挺直举行计算。 而为了解决这个问题，在这里我挺直借鉴了 redis 在其内存管理上的实现方式。如下所示，我们挺直来看 redis 源码（不是最新版

2、本）中自定义的 zmalloc 函数，该函数与 malloc 等常规函数的用法方式彻低全都，不同的在于其内部的详细实现详情。 void *zmalloc(size_t size) / 分配内存； void *ptr = malloc(size + prefix_size); / 分配失败抛出异样； if (!ptr) zmalloc_oom_handler(size); / 系统是否可以用法malloc_size函数？ ifdef have_malloc_size update_zmalloc_stat_alloc(zmalloc_size(ptr); return ptr; else / 在

3、数据域保存分配数据的实际大小； *(size_t*)ptr) = size; / 计算对齐后的内存用法大小，并更新used_memory变量； update_zmalloc_stat_alloc(size + prefix_size); / 返回数据体的初始位置； return (char*)ptr + prefix_size; endif 其实，标准库中的 malloc 函数已经能够自动为分配的内存实现对齐，因此 zmalloc 办法在这里其主要目的是为了能够精确地计算每一次数据存储时所分配的内存大小。在每一次分配内存时，zmalloc 都会在该次分配的数据内存大小的基础上再加上一个 pre

4、fix_size 大小的额外内存空间，这个 prefix_size 宏代表了当前系统的最大内存寻址空间大小（size_t），其依靠于详细系统的类型不同而不同。这里我们可以简称这个 prefix_size 大小的空间为一个存储单元的数据头部分。 初版 redis 的存储单元结构 如上图所示，通过 *(size_t*)ptr) = size; 语句，redis 在当前分配内存块的前 prefix_size 个字节，即数据头内存储了本次实际分配的数据块大小，而在后面 size 大小的内存空间中才真正存放了二进制的数据实体。在这里名为 update_zmalloc_stat_alloc 的函数在其内部

5、会维护一个名为 used_memory 的全局变量，该变量累加了每次新分配的内存大小。函数在最后返回了一个偏移的指针，指向了当前分配内存的数据体部分。update_zmalloc_stat_alloc 函数的详细实现详情如下。 define update_zmalloc_stat_alloc(_n) do size_t _n = (_n); / 手动内存补齐； if (_n&(sizeof(long)-1) _n += sizeof(long)-(_n&(sizeof(long)-1); atomicincr(used_memory, _n); while(0)

6、 这里需要注重的重点是 _n += sizeof(long)-(_n&(sizeof(long)-1); 这行语句。囫囵宏函数首先推断本次分配的内存大小是否为 sizeof(long) 大小的整数倍（64位机对应着8字节的内存对齐；32位机则对应着4字节的内存对齐），假如不是则通过我们之前给出的语句在该数据段后添加相应的占位空间来补足位数以满足内存对齐（4/8字节）的要求。最后的 atomicincr 函数用来在保证线程平安的状况下更新全局的 used_memory 变量值。 而该版本 redis 中内存释放与其内存分配的过程则正巧相反。如下所示代码为对应 zfree 函数的实

7、现详情。首先该函数通过 (char*)ptr-prefix_size 语句（向内存低地址移动）指向了包含有该数据块实际占用大小的数据域首地址，然后通过 *(size_t*)realptr) 语句获得到了该数据块分配的真切内存大小（不包含内存对齐区域）。最后再通过 update_zmalloc_stat_free 函数来更新全局变量 used_memory 的值，并释放该段内存。 void zfree(void *ptr) ifndef have_malloc_size void *realptr; size_t oldsize; endif if (ptr = null) return; if

8、def have_malloc_size update_zmalloc_stat_free(zmalloc_size(ptr); free(ptr); else realptr = (char*)ptr-prefix_size; oldsize = *(size_t*)realptr); update_zmalloc_stat_free(oldsize+prefix_size); free(realptr); endif 如下所示，这里假如我们再来看 update_zmalloc_stat_free 函数的实现详情，你会发觉它与之前的 update_zmalloc_stat_alloc 函数其

9、执行过程类似。通过计算需要补足的内存字节大小，并从 used_memory 变量中减去相应大小的内存空间，即可实现对内存空间用法率的精确计算。 define update_zmalloc_stat_free(_n) do size_t _n = (_n); if (_n&(sizeof(long)-1) _n += sizeof(long)-(_n&(sizeof(long)-1); atomicdecr(used_memory,_n); while(0) 最后再来认真回顾一下刚刚我们在 update_zmalloc_stat_alloc 函数中执行内存补齐操作的部分。在 wasm32 架构中，sizeof(long) 的值是4，因此对应的补齐操作语句就变成了 if(_n&3) _n += 4 - (_n&3);，即需要满足4字节对齐。假如此时用户端有一个大小为13字节的数据需要存储，那么经过内存对齐处理，应用实际存放到内存中的数据大小便为：13+4-1=16字节大小，内存对齐字节的计算过程可以参考下图。 内存对齐字节计算流程 以上便是 redis 在其整体复杂设计实现过程中的一个非常细小但却精妙的设计点。ps：函数 atomicdec