【Java面试题】Redis中篇（高可用：主从复制、哨兵、集群）

2024-03-30 06:12
文章标签 java 集群 redis 面试题 主从复制 哨兵 可用 中篇

本文主要是介绍【Java面试题】Redis中篇（高可用：主从复制、哨兵、集群），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 高可用
    • 14.Redis如何保证高可用？
    • 15.Redis的主从复制？
    • 16.Redis主从有几种常见的拓扑结构？
    • 17.Redis的主从复制原理了解吗？
    • 18.说说主从数据同步的方式？
    • 19.主从复制存在的问题？
    • 20.Redis Sentinel(哨兵)了解吗？
    • 21.Redis Sentinel(哨兵)的实现原理？
    • 22.Redis集群了解吗？

高可用

14.Redis如何保证高可用？

Redis 保证高可用主要有三种方式：主从、哨兵、集群。

15.Redis的主从复制？

  1. 主从复制，是指将一台 Redis 服务器的数据，复制到其他的 Redis 服务器。前者称为 主节点(master)，后者称为 从节点(slave)。
  2. 且数据的复制是 单向 的，只能由主节点到从节点。Redis 主从复制支持 主从同步 和 从从同步 两种，后者是 Redis 后续版本新增的功能，以减轻主节点的同步负担。

Redis主从复制简图

  1. 主从复制的作用？
    • 负载均衡： 在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务 （即写 Redis 数据时应用连接主节点，读 Redis 数据时应用连接从节点），分担服务器负载。尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高 Redis 服务器的并发量。
    • 故障恢复： 当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复 (实际上是一种服务的冗余)。
    • 数据冗余： 主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
    • 高可用基石： 除了上述作用以外，主从复制还是哨兵和集群能够实施的 基础，因此说主从复制是 Redis 高可用的基础

16.Redis主从有几种常见的拓扑结构？

  1. Redis 的复制拓扑结构可以支持单层或多层复制关系，根据拓扑复杂性可以分为以下三种：一主一从、一主多从、树状主从结构。

    1. 一主一从结构：一主一从结构是最简单的复制拓扑结构，用于主节点出现宕机时从节点提供故障转移支持。

      image-20240329095921273

    2. 一主多从结构（星形拓扑结构）：使得应用端可以利用多个从节点实现读写分离。对于读占比较大的场景，可以把读命令发送到从节点来分担主节点压力。

      image-20240329095935427

    3. 树状主从结构（树状拓扑结构）：使得从节点不但可以复制主节点数据，同时可以作为其他从节点的主节点继续向下层复制。通过引入复制中间层，可以有效降低主节点负载和需要传送给从节点的数据量。

      image-20240329100006480

17.Redis的主从复制原理了解吗？

  • Redis 主从复制的工作流程大概可以分为如下几步：
    1. 保存主节点（master）信息：这一步只是保存主节点信息，保存主节点的 ip 和 port。
    2. 主从建立连接：从节点（slave）发现新的主节点后，会尝试和主节点建立网络连接。
    3. 发送 ping 命令：连接建立成功后从节点发送 ping 请求进行首次通信，主要是检测主从之间网络套接字是否可用、主节点当前是否可接受处理命令。
    4. 权限验证：如果主节点要求密码验证，从节点必须正确的密码才能通过验证。
    5. 同步数据集：主从复制连接正常通信后，主节点会把持有的数据全部发送给从节点。
    6. 命令持续复制：接下来主节点会持续地把写命令发送给从节点，保证主从数据一致性

18.说说主从数据同步的方式？

  • Redis 在 2.8 及以上版本使用 psync 命令完成主从数据同步，同步过程分为：全量复制和部分复制。

  • 全量复制：

    • 一般用于初次复制场景

    • Redis 早期支持的复制功能只有全量复制，它会把主节点全部数据一次性发送给从节点，当数据量较大时，会对主从节点和网络造成很大的开销。

    • 完全运行流程：

      image-20240329101256214

      1. 发送 psync 命令进行数据同步，由于是第一次进行复制，从节点没有复制偏移量和主节点的运行 ID，所以发送 psync-1。
      2. 主节点根据 psync-1 解析出当前为全量复制，回复+FULLRESYNC 响应。
      3. 从节点接收主节点的响应数据保存运行 ID 和偏移量 offset
      4. 主节点执行 bgsave 保存 RDB 文件到本地
      5. 主节点发送 RDB 文件给从节点，从节点把接收的 RDB 文件保存在本地并直接作为从节点的数据文件
      6. 对于从节点开始接收 RDB 快照到接收完成期间，主节点仍然响应读写命令，因此主节点会把这期间写命令数据保存在复制客户端缓冲区内，当从节点加载完 RDB 文件后，主节点再把缓冲区内的数据发送给从节点，保证主从之间数据一致性。
      7. 从节点接收完主节点传送来的全部数据后会清空自身旧数据
      8. 从节点清空数据后开始加载 RDB 文件
      9. 从节点成功加载完 RDB 后，如果当前节点开启了 AOF 持久化功能， 它会立刻做 bgrewriteaof 操作，为了保证全量复制后 AOF 持久化文件立刻可用。

  • 部分复制：部分复制主要是 Redis 针对全量复制的过高开销做出的一种优化措施， 使用 psync{runId}{offset}命令实现。当从节点（slave）正在复制主节点 （master）时，如果出现网络闪断或者命令丢失等异常情况时，从节点会向 主节点要求补发丢失的命令数据，如果主节点的复制积压缓冲区内存在这部分数据则直接发送给从节点，这样就可以保持主从节点复制的一致性。

19.主从复制存在的问题？

第一个问题是 Redis 的高可用问题，第二、三个问题属于 Redis 的分布式问题。

  • 高可用问题：一旦主节点出现故障，需要手动将一个从节点晋升为主节点，同时需要修改应用方的主节点地址，还需要命令其他从节点去复制新的主节点，整个过程都需要人工干预。
  • 分布式问题：主节点的写能力受到单机的限制。
  • 分布式问题：主节点的存储能力受到单机的限制。

20.Redis Sentinel(哨兵)了解吗？

  1. 主从复制存在一个问题，没法完成自动故障转移。所以我们需要一个方案来完成自动故障转移，它就是 Redis Sentinel（哨兵）。

  2. Redis Sentinel ，它由两部分组成，哨兵节点和数据节点：

    • 哨兵节点： 哨兵系统由一个或多个哨兵节点组成，哨兵节点是特殊的 Redis 节点，不存储数据，对数据节点进行监控。

    • 数据节点： 主节点和从节点都是数据节点；

      image-20240329101954973

  3. 在复制的基础上，哨兵实现了 自动化的故障恢复 功能，下面是官方对于哨兵功能的描述：

    1. 监控（Monitoring）： 哨兵会不断地检查主节点和从节点是否运作正常。
    2. 自动故障转移（Automatic failover）： 当 主节点 不能正常工作时，哨兵会开始 自动故障转移操作，它会将失效主节点的其中一个 从节点升级为新的主节点，并让其他从节点改为复制新的主节点。
    3. 配置提供者（Configuration provider）： 客户端在初始化时，通过连接哨兵来获得当前 Redis 服务的主节点地址。
    4. 通知（Notification）： 哨兵可以将故障转移的结果发送给客户端。

21.Redis Sentinel(哨兵)的实现原理？

  1. 哨兵模式是通过哨兵节点完成对数据节点的监控、下线、故障转移。

    image-20240329102848476

  2. 定时监控：三个定时监控任务完成对各个节点发现和监控：

    1. 每隔 10 秒，每个 Sentinel 节点会向主节点和从节点发送 info 命令获取最新的拓扑结构
    2. 每隔 2 秒，每个 Sentinel 节点会向 Redis 数据节点的sentinel：hello 频道上发送该 Sentinel 节点对于主节点的判断以及当前 Sentinel 节点的信息
    3. 每隔 1 秒，每个 Sentinel 节点会向主节点、从节点、其余 Sentinel 节点发送一条 ping 命令做一次心跳检测，来确认这些节点当前是否可达

    image-20240329102940302

  3. 主观下线/客观下线：

    • 主观下线：一个哨兵节点认为某个节点有问题
      • 每个 Sentinel 节点会每隔 1 秒对主节点、从节点、其他 Sentinel 节点发送 ping 命令做心跳检测
      • 当这些节点超过 down-after-milliseconds 没有进行有效回复，Sentinel 节点就会对该节点做失败判定，这个行为叫做主观下线。
    • 客观下线：超过一定数量的哨兵节点认为主节点有问题。
      • 当 Sentinel 主观下线的节点是主节点时，该 Sentinel 节点会通过 sentinel is- master-down-by-addr 命令向其他 Sentinel 节点询问对主节点的判断
      • 当超过 quorum 个数，Sentinel 节点认为主节点确实有问题，这时该 Sentinel 节点会做出客观下线的决定

    image-20240329103034117

  4. 领导者Sentinel节点选举：

    • Sentinel 节点之间会做一个领导者选举的工作
    • 选出一个 Sentinel 节点作为领导者进行故障转移的工作。
    • Redis 使用了 Raft 算法实现领导者选举。

  5. 故障转移

    • 领导者选举出的 Sentinel 节点负责故障转移，过程如下：

      • 在从节点列表中选出一个节点作为新的主节点，这一步是相对复杂一些的一步
      • Sentinel 领导者节点会对第一步选出来的从节点执行 slaveof no one 命令让其成为主节点
      • Sentinel 领导者节点会向剩余的从节点发送命令，让它们成为新主节点的从节点
      • Sentinel 节点集合会将原来的主节点更新为从节点，并保持着对其关注，当其恢复后命令它去复制新的主节点

      image-20240329103721193

22.Redis集群了解吗？

  1. 前面说到了主从复制存在高可用和分布式的问题
  2. 哨兵解决了高可用的问题，而集群就是终极方案，一举解决高可用和分布式问题。

image-20240329103827998

  1. 数据分区： 数据分区 (或称数据分片) 是集群最核心的功能。集群将数据分散到多个节点，一方面 突破了 Redis 单机内存大小的限制，存储容量大大增加；另一方面 每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。
  2. 高可用： 集群支持主从复制和主节点的 自动故障转移 （与哨兵类似），当任一节点发生故障时，集群仍然可以对外提供服务

在这里插入图片描述

这篇关于【Java面试题】Redis中篇（高可用：主从复制、哨兵、集群）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/860694。

相关文章

JVM 的类初始化机制

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时，有没有考虑过 JVM 是如何把静态的字节码（byte code）转化为运行时对象的呢，这个问题看似简单，但清楚的同学相信也不会太多，这篇文章首先介绍 JVM 类初始化的机制，然后给出几个易出错的实例来分析，帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段，分别是：loading 、Linking、initialization
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
Spring Security--Architecture Overview

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类，它们之间的依赖，构建起了整个框架。想要理解整个架构，最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文（security context）的信息。当前操作的用户是谁，该用户是否已经被认证，他拥有哪些角色权限…这些都被保
阅读更多...
Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2