专注于 JetBrains IDEA 全家桶,永久激活,教程
持续更新 PyCharm,IDEA,WebStorm,PhpStorm,DataGrip,RubyMine,CLion,AppCode 永久激活教程

ShardingSphere 4.x 弹性伸缩实现原理

实现原理

考虑到ShardingSphere的弹性伸缩模块的几个挑战,目前的弹性伸缩解决方案为:临时地使用两个数据库集群,伸缩完成后切换的方式实现。

46_1.png

这种实现方式有以下优点:

1、 伸缩过程中,原始数据没有任何影响。
2、 伸缩失败无风险。
3、 不受分片策略限制。

同时也存在一定的缺点:

1、 在一定时间内存在冗余服务器
2、 所有数据都需要移动

弹性伸缩模块会通过解析旧分片规则,提取配置中的数据源、数据节点等信息,之后创建伸缩作业工作流,将一次弹性伸缩拆解为4个主要阶段

1、 准备阶段
2、 存量数据迁移阶段
3、 增量数据同步阶段
4、 规则切换阶段

46_2.png

准备阶段

在准备阶段,弹性伸缩模块会进行数据源连通性及权限的校验,同时进行存量数据的统计、日志位点的记录,最后根据数据量和用户设置的并行度,对任务进行分片。

存量数据迁移阶段

执行在准备阶段拆分好的存量数据迁移作业,存量迁移阶段采用JDBC查询的方式,直接从数据节点中读取数据,并使用新规则写入到新集群中。

增量数据同步阶段

由于存量数据迁移耗费的时间受到数据量和并行度等因素影响,此时需要对这段时间内业务新增的数据进行同步。不同的数据库使用的技术细节不同,但总体上均为基于复制协议或WAL日志实现的变更数据捕获功能。

  • MySQL:订阅并解析binlog
  • PostgreSQL:采用官方逻辑复制 test_decoding

这些捕获的增量数据,同样会由弹性伸缩模块根据新规则写入到新数据节点中。当增量数据基本同步完成时(由于业务系统未停止,增量数据是不断的),则进入规则切换阶段。

规则切换阶段

在此阶段,可能存在一定时间的业务只读窗口期,通过设置数据库只读或ShardingSphere的熔断机制,让旧数据节点中的数据短暂静态,确保增量同步已完全完成。

这个窗口期时间短则数秒,长则数分钟,取决于数据量和用户是否需要对数据进行强校验。确认完成后,ShardingSphere可通过配置中心修改配置,将业务导向新规则的集群,弹性伸缩完成。

文章永久链接:https://tech.souyunku.com/25539

未经允许不得转载:搜云库技术团队 » ShardingSphere 4.x 弹性伸缩实现原理

JetBrains 全家桶,激活、破解、教程

提供 JetBrains 全家桶激活码、注册码、破解补丁下载及详细激活教程,支持 IntelliJ IDEA、PyCharm、WebStorm 等工具的永久激活。无论是破解教程,还是最新激活码,均可免费获得,帮助开发者解决常见激活问题,确保轻松破解并快速使用 JetBrains 软件。获取免费的破解补丁和激活码,快速解决激活难题,全面覆盖 2024/2025 版本!

联系我们联系我们