【Redis】深入理解 Redis 常用数据类型源码及底层实现(3.详解String数据结构)_redis中string的源码-程序员宅基地

紧接着前两篇的总体介绍，从这篇开始，我们结合源码依次解析下String、Hash、List、Set、ZSet这五大数据结构，先看下object.c文件中各个类型的数据结构的编码映射和定义：

String数据结构

三大物理编码介绍

type都是string，但是encoding不同

redisObject内部对应三大物理编码：

int：保存长整型（long）的64位（8个字节）的符号整数

- 只有整数才会使用int，如果是浮点数，Redis内部会先将浮点数转换为字符串值，然后再保存
- 最小值是-2^63（-9,223,372,036,854,775,808）
- 最大值是2^63-1（9,223,372,036,854,775,807）
- 默认值是0L

embstr：保存长度小于44字节的字符串或者长度大于19的整数（代表embstr格式的SDS（Simple Dynamic String 简单动态字符串））

- embstr即embedded string，表示嵌入式的String

raw：保存长度大于44字节的字符串

SDS（Simple Dynamic String）简单动态字符串

Redis中字符串的实现SDS有多种结构（sds.h）

它们分别用于存储不同长度的字符串，从上图源码中可以看到，主要有4个参数：

len 表示SDS字符串的长度，使我们在获取字符串长度的时候可以在O(1)的情况下拿到，而不是像C语言一样要遍历一遍字符串
alloc 可以用来计算free（就是字符串已经分配的未使用空间），有了这个值就可以引入预分配空间的算法了，而不用去考虑内存分配的问题
flags 表示SDS的类型
buf 表示字符串的字节数组（真正存数据的）

Redis为什么要重新设计一个SDS的数据结构？

C语言没有Java里面的String类型，只能是靠自己的char[]来实现，想要获取字符串的长度，需要从头开始遍历，直到遇到'\0'为止，所以Redis没有直接使用C语言传统的字符串标识，而是自己构建了一种名为简单动态字符串的抽象类型，并将SDS作为Redis默认字符串。

我们可以简单对比下C语言中的字符串和SDS之间的区别

	C语言	SDS
字符串长度处理	需要从头开始遍历，直到遇到'\0'为止，时间复杂度O(N)	记录当前字符串的长度，直接读取即可，时间复杂度O(1)
内存重新分配	超出分配的内存空间后，会导致数组下标越界/内存分配溢出	1.空间预分配（SDS修改后，len长度小于1M，那么将会额外分配len相同长度的未使用空间。如果修改后大于1M，那么将会分配1M的使用空间） 2.惰性空间释放（有空间分配对应就会有空间释放，SDS缩短时并不会回收️多余的内存空间，而是使用free字段将多出来的空间记录下来，如果后续有变更操作，直接使用free中记录的空间，减少内存的分配操作）
二进制安全	二进制数据并不是规则的字符串格式，可能会包含一些特殊的字符，比如'\0'等（前面提到过遇到'\0'会结束读取，有可能会导致'\0'后面的数据读取不到）	根据len的长度来判断字符串是否结束，就解决了二进制安全的问题

源码分析

在执行set key value命令时，底层到底做了些什么？

我们打开Redis源码src目录下的t_string.c文件，里面有一个名为setCommand()的方法

setCommand()方法中有两个重要的方法：tryObjectEncoding()和setGeneticCommand()

tryObjectEncodingEx()方法中调用了tryObjectEncodingEx()方法

在tryObjectEncodingEx()方法中会调用sdslen()方法获取字符串的长度，接着进行判断，如果字符串长度小于等于20并且字符串转long型成功则作为long型存储，配置server.maxmemory并且当值在[0,OBJ_SHARED_INTEGERS)之间时会直接使用共享对象值（如下图，OBJ_SHARED_INTEGERS的值为10000）

INT编码格式

当字符串键值的内容可以一个64位有符号整型来表示时（比如 set k1 123），Redis就会将键值转化为long型来储存，此时对应的是OBJ_ENCODING_INT编码类型，内部的内存结构表示如下：

Redis启动时会预先建立 10000 个分别储存 0-9999 的redisObject 变量作为共享对象，这就意味着如果set字符串的键值在这个范围内，就可以直接指向共享对象，而不需要再创建新对象（此键值不占空间）

比如：

set k1 123

set k2 123

我们看下源码执行流程

在进入到robj *tryObjectEncodingEx()方法中

当字符串的长度小于等于20并且转换成long型成功就会进入到下图中红框框内的逻辑

从上面代码中可以看到配置maxmemory（server.maxmemory == 0表示操作系统最大值）并且值在10000以内，则直接使用共享对象值

decrRefCount(o);
return shared.integers[value];

EMBSTR编码格式

可以看到当字符串的键值为长度小于等于44的字符串时，Redis内部的编码方式为OBJ_ENCODING_EMBSTR，表示嵌入式的字符串，即字符串SDS结构体与其对应的redisObject对象分配在同一块连续的内存空间，就像是字符串SDS嵌入到redisObject对象之中一样（如下图）

其实这一点我们在源代码中也可以看出（sh+1：紧挨着）

RAW编码格式

可以看到当字符串的键值为长度大于44的超长字符串时，Redis就会将内部的编码方式改为OBJ_ENCODING_RAW的格式，OBJ_ENCODING_RAW与OBJ_ENCODING_EMBSTR的区别在于OBJ_ENCODING_RAW的动态字符串SDS的内存与其依赖的redisObject的内存不再连续，如下图所示

值得注意的是：修改后的对象一定是raw（无论长度是否超过44），判断不出来就取最大的raw

转变逻辑图

总结

只有整数才会使用int，如果是浮点数，Redis内部其实先将浮点数转化为字符串值，然后再保存。

embstr与raw类型底层的数据结构其实都是SDS（简单动态字符串，Redis内部定义sdshdr一种结构）

区别如下：

int	Long类型整数时，RedisObject中的ptr指针直接赋值为整数数据，不再额外的指针再指向整数了，节省了指针的空间开销。
embstr	当保存的是字符串数组且字符串小于等于44字节时，embstr类型将会调用内存分配函数，只分配一块连续的内存空间，空间中依次包含redisObject与sdshdr两个数据结构，让元数据、指针和SDS是一块连续的内存区域，这样就可以避免内存碎片。
raw	当字符串大于44字节时，SDS的数据量变多变大了，SDS和RedisObject布局分家各自过，会给SDS分配多的空间并用指针指向SDS结构，raw类型将会调用两次内存分配函数，分配两块内存空间，一块用于包含redisObject结构，而另一块用于包含sdshdr结构。

三种编码方式图像对比(￣∇￣)/

Redis的String类型强大的原因：

SDS简单动态字符串数据结构 + 3大物理编码方式 + 合理的逻辑转换

Redis内部会根据用户给的不同键值而使用不同的编码格式，自适应地选择优化的内部编码格式，而这一切对用户完全透明。

本文链接：https://blog.csdn.net/aqin1012/article/details/136045148

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

oracle 12c 集群安装后的检查_12c查看crs状态-程序员宅基地

文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下：http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态：[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态

解决jupyter notebook无法找到虚拟环境的问题_jupyter没有pytorch环境-程序员宅基地

文章浏览阅读1.3w次，点赞45次，收藏99次。我个人用的是anaconda3的一个python集成环境，自带jupyter notebook，但在我打开jupyter notebook界面后，却找不到对应的虚拟环境，原来是jupyter notebook只是通用于下载anaconda时自带的环境，其他环境要想使用必须手动下载一些库：1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境

国内安装scoop的保姆教程_scoop-cn-程序员宅基地

文章浏览阅读5.2k次，点赞19次，收藏28次。选择scoop纯属意外，也是无奈，因为电脑用户被锁了管理员权限，所有exe安装程序都无法安装，只可以用绿色软件，最后被我发现scoop，省去了到处下载XXX绿色版的烦恼，当然scoop里需要管理员权限的软件也跟我无缘了（譬如everything）。推荐添加dorado这个bucket镜像，里面很多中文软件，但是部分国外的软件下载地址在github，可能无法下载。以上两个是官方bucket的国内镜像，所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn

Element ui colorpicker在Vue中的使用_vue el-color-picker-程序员宅基地

文章浏览阅读4.5k次，点赞2次，收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了，例如：这里的:sty..._vue el-color-picker

迅为iTOP-4412精英版之烧写内核移植后的镜像_exynos 4412 刷机-程序员宅基地

文章浏览阅读640次。基于芯片日益增长的问题，所以内核开发者们引入了新的方法，就是在内核中只保留函数，而数据则不包含，由用户（应用程序员）自己把数据按照规定的格式编写，并放在约定的地方，为了不占用过多的内存，还要求数据以根精简的方式编写。boot启动时，传参给内核，告诉内核设备树文件和kernel的位置，内核启动时根据地址去找到设备树文件，再利用专用的编译器去反编译dtb文件，将dtb还原成数据结构，以供驱动的函数去调用。firmware是三星的一个固件的设备信息，因为找不到固件，所以内核启动不成功。_exynos 4412 刷机

Linux系统配置jdk_linux配置jdk-程序员宅基地

文章浏览阅读2w次，点赞24次，收藏42次。Linux系统配置jdkLinux学习教程，Linux入门教程（超详细）_linux配置jdk

随便推点

matlab(4)：特殊符号的输入_matlab微米怎么输入-程序员宅基地

文章浏览阅读3.3k次，点赞5次，收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图：_matlab微米怎么输入

C语言程序设计-文件(打开与关闭、顺序、二进制读写)-程序员宅基地

文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件，可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中，对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数，而关闭则使用fclose函数。在C语言中，可以使用fread和fwrite函数进行二进制读写。‍ Biaoge 于2024-03-09 23:51发布阅读量：7 ️文章类型：【 C语言程序设计】在C语言中，用于打开文件的函数是____，用于关闭文件的函数是____。

Touchdesigner自学笔记之三_touchdesigner怎么让一个模型跟着鼠标移动-程序员宅基地

文章浏览阅读3.4k次，点赞2次，收藏13次。跟随鼠标移动的粒子以grid（SOP）为partical（SOP）的资源模板，调整后连接【Geo组合+point spirit（MAT)】，在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in（CHOP)鼠标位置到metaball的坐标，实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动

【附源码】基于java的校园停车场管理系统的设计与实现61m0e9计算机毕设SSM_基于java技术的停车场管理系统实现与设计-程序员宅基地

文章浏览阅读178次。项目运行环境配置：Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX（Webstorm也行）+ Eclispe（IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持）。项目技术：Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成，B/S模式 + Maven管理等等。环境需要1.运行环境：最好是java jdk 1.8，我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计

Android系统播放器MediaPlayer源码分析_android多媒体播放源码分析时序图-程序员宅基地

文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多，会从Java-&amp;gt;Jni-&amp;gt;C/C++慢慢分析，后面会慢慢更新。另外，博客只作为自己学习记录的一种方式，对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析时序图

java 数据结构与算法 ——快速排序法-程序员宅基地

文章浏览阅读2.4k次，点赞41次，收藏13次。java 数据结构与算法 ——快速排序法_快速排序法