面试官 : 你能说清楚 Redis 哈希槽和一致性哈希的要点吗?

架构的小事2024-05-13 18:05:53  112

一 . 前言

在 Redis 集群里面主要涉及到两种 Hash 算法 :

一种是一致性哈希 , 这种算法在 适用dis Cluster方案中并没有实现,主要在外部的代理模式 (Twemproxy)

一种是 Slot 哈希槽算法 ,这种算法就是 Cluster 的核心算法

所以谈到这个问题的时候,不能只讲一部分。在 Redis 3.0 之前,Redis 是没有集群方案的,在这个时期实现 Redis 的 分布式 主要由客户端自行实现。 一般的实现方式就是一致性 Hash。

而 Redis 3.0 之后 ,Redis 实现了 Cluster 集群,也就采用了相对而言更简洁的 Slot 槽方式。

下面来一步步的了解其中的变化 ,以及为什么要这样做 :

第一步 :单节点到多节点集群

之前也聊过,单节点的性能是有瓶颈的。当单节点达到瓶颈后,构建集群就是最合理,最经济的用法。

这就衍生出几个问题 :

单节点的时候,直接把数据往一个节点丢就行,查询也是一个节点去处理查询

集群后,数据应该放在哪个节点? 是全部存一份还是分开存?

集群后, 查询应该查询哪个节点? 不可能全量查询吧 , 一个一个节点查,性能太差了

为了解决这些问题, Redis 提供了多种集群的构建方式 :

Sentinel 哨兵模式 : 主节点支持读写,从节点支持读,哨兵节点负责维护高可用 这个方案下,主节点和从节点都有全量数据,适合数据量相对少的场景 主节点负责写操作,主节点数据写入后将数据按照流程同步到从节点 当主节点异常后 ,从节点会被选举为主节点,从而完成后续的写和同步

Redis Cluster : 这个方案即为一致性Hash的方案,后面具体来讲

Twemproxy : 类似于代理模式,数据的分片和负责均衡由 Twemproxy 来实现 Twemproxy 本身不提供高可用,适用于轻量级的场景

可以看到, Redis 集群的方案很详细,Sentinel 流程里面对于上述问题的处理也很完善。但是数据量如果太大,用哨兵的方案就不够了。上十亿的数据每个节点复制一份,性能,容量都扛不住。

这个时候,就要考虑使用 Cluster 方案,那么一致性Hash在 Cluster 模式里面又起到什么作用呢?

第二阶段 : 一致性哈希的种种变化

那么我们有了数据,也有了多个集群节点,怎么样让数据放在对应的节点上呢?

要求一 : 数据量大,数据只能存在一个节点上

要求二 : 要保证数据相对均匀分布到所有的节点上

要求三 : 不能影响到查询的效率,所以查询应该只用查询一个集群节点

要求四 : 要实现高可用,节点宕机后能快速恢复,支持缩容扩容

2.1 首先数据的分布方案

针对于要求一和要求二 , 数据只能在一个节点,且所有数据应该均匀的分布在所有的节点上。

对于均匀而言 ,一般我们的方式就是 Hash + 取模 ,但是这样会有一些问题。

通过取模的方式我们虽然可以让数据均匀分布 ,但是一旦扩展或者缩容,就会导致全量数据的重新迁移和计算,这显然是不可行的。

于是就衍生出了一个方案 :一致性哈希。具体的方案如下 :

S1 : 首先构建一个 Hash 环,例如一个Hash算法的范围是 0到2^32-1 , 那么就会形成一个整数环

S2 : 对 Redis 数据节点进行Hash , 得到的值意味着它映射到了环上的一个点

S3 : 插入时 ,当一个数据来的时候 ,对 Key 进行 Hash 函数计算,映射到环上的一个点

S4 : 对该点进行顺时针查找,找到第一个 Redis子节点,就是该key应该操作的 Redis子节点

S5 : 查询时同理 , 先 Hash 再进行节点的查询

2.2 其次保证数据的均衡

上面的问题很明显,明显节点C和节点A之间空余空间更大,就会导致数据不均衡 ,大部分数据被指向了某一个节点。

为此 一致性Hash 做了更多的优化 :虚拟节点。 当节点较少的时候,为每个物理节点创建多个虚拟节点,使所有的节点均匀的分布在 Hash 环上 , 从而使数据相对均衡。

S1 : 为每个物理节点生成多个虚拟节点,并且让所有的节点都均匀的分布在 Hash 环上面

S2 : 当数据操作请求进来时 , 如果指向了虚拟节点,就映射到实际的物理节点中

通过这样的方式,就可以保证数据的相对均衡。 当然,这种均衡还是相对的。

2.3 数据的查询和节点的扩容

数据查询的流程和数据插入的流程是一样的,当请求到来的时候,基于请求的 Key 计算出对应的数据节点,再到该节点中进行数据查询。

而节点变动就比较麻烦了,当一个节点需要下线的时候,需要将该节点里面的所有数据都会根据 Hash 环的轮动情况 ,迁移当前 Hash 范围内的数据到 Hash环 中对应的下一个节点中。

然后后续的查询都会走到下一个节点中进行查询

2.4 总结一下一致性哈希

上面说了,这种方案多见于外部代理组件,例如 Twitter 发布的 Twemproxy ,例如 Predis-Proxy。

一致性哈希能实现数据的定位,也能实现相对均匀的数据,但是它还是有一些问题 。

相对而言复杂度更高,节点发生变化的时候,需要迁移整个节点的数据。

数据只能相对均衡 ,无法对优势节点进行特殊定制,数据的分布完全基于 Hash 算法来实现 这里如果把虚拟节点搞得更多,其实也能减少这种问题

一致性Hash抗风险能力相对弱一些,当节点挂了的时候,会导致数据出现大面积不均衡,从而导致单个节点压力高 其实 Hash 槽也有,只不过一致性hash的特性会导致流量直接到下一个节点

这个时候就需要我们了解一下 Redis 的槽概念了。

第三阶段 : Redis 集群分片的方案

3.1 Slot Partitioning 槽分区算法

Redis Cluster 定义了 16384 个槽位,将这些槽位分发给所有的物理节点

槽位的计算

通常 Cluster 默认基于 Key 进行 crc16 算法进行 Hash 计算,然后基于 16384 进行取模

但是 特殊情况下 ,Cluster 可以指定某个Key挂载到特定的槽位上(通过 Tag 实现 , Tag 映射槽位)

指令的请求

与一致性Hash一样的是 ,Cluster 的槽位选择还是通过客户端来实现的。

当 Cluster 连接集群的时候,其本身会得到一份集群的槽位信息,从而直接定位到目标节点。

不过,每个集群节点同样会保存所有的槽位信息,目的在于后续槽位变动 或者 客户端向一个错误的节点发送指令时 , 节点会基于这些信息将指令发送到正确的节点。

3.2 槽数据的迁移

当槽位进行迁移的时候,当前槽处于过渡状态。此时槽即存在于原节点A(migrating),又存在于新节点B (importing)。此时 Cluster 客户端中计算出来数据还在 A节点中(错误结果)。

当数据迁移时 : S1 : 一次性获取源节点槽位的所有 key 列表 , 逐个对 Key 进行迁移 S2 : 原节点A 此时充当客户端角色,指向 Dump 命令进行数据序列化 S3 : 原节点A 向 目标节点B 发起 restore 指令,携带序列化数据进行访问 S4 : 目标节点B 接收到数据,保存到目标节点 ,并且返回成功 S5 : 原节点A 把当前Key 在自己的节点中进行删除

当此时请求数据时 : S1 : 客户端首先去 A节点(错误节点) 请求数据 ,如果数据还在A节点中,直接返回 S2 : 如果数据已经迁移 ,A节点返回 ASK 指令,且告知 B节点的地址 S3 : 客户端向B节点发起 ASK 访问 , 此时仅为了避免死循环(因为可能迁移一半,槽位未创建好) S4 : 执行之前的操作

3.3 槽思想的扩展

Redis Cluster 是 Redis 官方的方案,这其实也算是一种分片的思路。 而在外部工具里面 ,同样有类似的方案。

例如国产组件 Codis , 其本质上是一个代理中间件,和 Twemproxy 有一些类似。

这个组件会将所有的 key 默认划分为 1024 个槽位(slot) 。 不同于客户端自己的处理,槽位的计算是在 Codis 中进行的 ,访问 Codis 和访问单节点Redis 没有区别。

3.4 后续待扩展的细节

槽位的计算方式

为什么定义这些数量的槽位

不同节点之间如何同步信息

。。。。。

时间有限,东西不少,后续迭代

总结

时间有限 ,Redis 槽位还有一些细节点这一篇没有说 ,后面会来探讨一下为什么槽位要那么定义,以及具体传输的细节。

转载此文是出于传递更多信息目的。若来源标注错误或侵犯了您的合法权益,请与本站联系,我们将及时更正、删除、谢谢。
https://www.414w.com/read/497414.html
0
随机主题
美专家: 中国军事实力世界第二! 与俄罗斯谁常规武器更胜一筹?央视《法治在线》主播经蓓工作着装生活化, 背后原因用心良苦战斗力不输大S! 马筱梅深得汪小菲真传, 痛骂前任: 蹭热度的蛆虫国外渔民用砗磲壳做陷阱,沉到海底珊瑚缝抓东星斑,大家见识一下云辟谣|成都熊猫基地14号圈舍环境恶劣, 场馆设施不达标? 系谣言NBA季后赛: 双星客场闪耀比肩勇士库杜, 防守悍将成败方MVP!提防降价背刺! 这四款车型大降价, 最高降幅达11.7万搞笑配音:老美对日本提供核武器,没想到竟然要收三十亿保护费国内最大的硝盐储能新材料项目开工爱如潮水! 四川大凉山孩子们的“愿望清单”, 被浙江人承包了皇家加勒比回应游轮漏水事故: 机械手臂误触消防洒水器 现对舞台做干燥处理再续“父辈”之荣耀? 荣耀小折叠V Flip手机曝光, 若隐若现华为身影混沌看盘: 螺纹如期冲上半年线, 短线需调整巩固站稳落选欧国杯 拉什福德失望给予祝福牟林: 美国悍然提出杀人双标, 国际刑事法院逮捕以总理博弈白热化郭德纲讽刺同行有多狠?相声没落全因同行太差劲5.23周四竞彩推荐: 杜塞尔多夫 前进之鹰 鹿特丹斯巴达 3串1Steam账号无法通过遗产继承, 赛博遗产计划破灭都2024年了, 为何还有那么多人选择买手动挡? 我说这才是根本原因辽宁会给出D类顶薪续约? 付豪总决赛场均16+7巅峰一季李彦宏吐槽AI发展速度“太慢了,AGI还要十年以上”,英语流利秒杀一大帮老对手
最新回复(0)