IDEA2023.1.3破解,IDEA破解,IDEA 2023.1破解,最新IDEA激活码

一、前言

在前面的文章Mysql系列四：数据库分库分表基础理论中，已经说过分库分表需要应对的技术难题有如下几个：

1、分布式全局唯一id

2、分片规则和策略

3、跨分片技术问题

4、跨分片事物问题

下面我们来看一下Mycat是如何解决分布式全局唯一id的问题的

二、Mycat全局序列号

Mycat保证id唯一的方式有如下几个：

1）本地文件方式

2）数据库方式

3）时间戳方式

4）ZKID生成器

5）ZK递增ID

推荐使用第4，5种

以上5中方式都要统一在server.xml文件中开启全局序列号的配置和在schema.xml文件中配置逻辑表的autoIncrement属性为true(2个必须步骤)

1）sequnceHandlerType进行相应全局序列号策略选项设置（server.xml），在mycat中对应的源码是MyCATSequnceProcessor.java

<property name="sequnceHandlerType">0</property>

　　sequnceHandlerType可取的值有以下几个：

　　　　0：本地文件方式
　　　　1：数据库方式
　　　　2：时间戳方式
　　　　3：ZKID生成器
　　　　4：ZK递增ID

2）autoIncrement属性为true（schema.xml）

<table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3"  rule="mod-long" />

1. 本地文件方式

使用到的mycat源码：io.mycat.route.sequence.handler.IncrSequenceHandler

在server.xml文件中开启全局序列号的配置：

<property name="sequnceHandlerType">0</property>

使用到的配置文件：sequence_conf.properties

#default global sequence
GLOBAL.HISIDS=
GLOBAL.MINID=10001
GLOBAL.MAXID=20000
GLOBAL.CURID=10000

# self define sequence
COMPANY.HISIDS=
COMPANY.MINID=1001
COMPANY.MAXID=2000
COMPANY.CURID=1000

CUSTOMER.HISIDS=
CUSTOMER.MINID=1001
CUSTOMER.MAXID=2000
CUSTOMER.CURID=1000

ORDER.HISIDS=
ORDER.MINID=1001
ORDER.MAXID=2000
ORDER.CURID=1000

HOTNEWS.HISIDS=
HOTNEWS.MINID=1001
HOTNEWS.MAXID=2000
HOTNEWS.CURID=1000

拿HOTNEWS这个表的配置来说明：

HOTNEWS.HISIDS=       #HOTNEWS这张表历史使用的自增id，一般不配置
HOTNEWS.MINID=1001    #HOTNEWS这张表使用的最小自增id
HOTNEWS.MAXID=2000    #HOTNEWS这张表使用的最大自增id
HOTNEWS.CURID=1000    #HOTNEWS这张表当前使用的自增id

缺点：当Mycat重新发布后，自增ID恢复到初始值。原因是因为sequnceHandlerType定义的是静态变量，不推荐使用

示例：

1.1 在mycat的schema.xml文件里面分别配置逻辑表hotnews和mysql的主从机，注意autoIncrement=”true”才能使用全局唯一id

<table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3" rule="mod-long" />
<dataNode name="dn1" dataHost="centos1" database="db1" />
        <dataNode name="dn2" dataHost="centos1" database="db2" />
        <dataNode name="dn3" dataHost="centos1" database="db3" />
        <dataHost name="centos1" maxCon="1000" minCon="10" balance="0"
                          writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
                <heartbeat>select user()</heartbeat>
                <!-- can have multi write hosts -->
                <writeHost host="hostM1" url="192.168.152.130:3306" user="root" password="123456">
                        <!-- can have multi read hosts -->
                        <readHost host="hostS2" url="192.168.152.131:3306" user="root" password="123456" />
                </writeHost>
                <!-- <writeHost host="hostS1" url="localhost:3316" user="root"
                                   password="123456" />-->
                <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->
</dataHost>

1.2 在主数据库（192.168.152.130）分别创建3个数据库db1,db2,db3,然后创建hotnews表

create database db1;
use db1;
create table hotnews(
   id bigint(20) not null primary key auto_increment,
    title varchar(50) default null

);
create database db2;
use db2;
create table hotnews(
   id bigint(20) not null primary key auto_increment,
    title varchar(50) default null

);
create database db3;
use db3;
create table hotnews(
   id bigint(20) not null primary key auto_increment,
    title varchar(50) default null

);

1.3 插入数据

插入数据到hotnews前我们先来看一下使用本地文件方式的配置文件sequence_conf.properties的内容

cat sequence_conf.properties |grep HOTNEWS

插入数据到hotnews

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test1');
insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test2');
insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test3');

1.4 查看hotnews表的结果

select * from hotnews;

再次查看配置文件sequence_conf.properties的内容，发现内容随着插入数据的自增id做了改变

2. 数据库方式

这种方式和本地文件的方式是一样的，只是把sequence_conf.properties的内容用数据库来管理

使用到的mycat源码：io.mycat.route.sequence.handler.IncrSequenceMySQLHandler

这里还是以hotnews表为例

2.1 在server.xml文件中开启全局序列号的配置：

<property name="sequnceHandlerType">1</property>

使用到的配置文件：sequence_db_conf.properties

vim sequence_db_conf.properties

#sequence stored in datanode
GLOBAL=dn1
COMPANY=dn1
CUSTOMER=dn1
ORDERS=dn1

2、2 选择其中的一个分片，执行如下步骤，譬如我在dn1中创建，对应的数据库名为db1（为什么这里会涉及到datanode，因为后续的sequence_db_conf.properties文件会使用到），注意：是登录到数据库中创建，而不是在mycat中创建

第一步：创建SEQUENCE表，用来存储序列号

use db1;
DROP TABLE IF EXISTS MYCAT_SEQUENCE;
CREATE TABLE MYCAT_SEQUENCE (
NAME VARCHAR (50) NOT NULL, 
current_value INT NOT NULL, 
increment INT NOT NULL DEFAULT 100, 
PRIMARY KEY (NAME)
) ENGINE = INNODB ; 
INSERT INTO MYCAT_SEQUENCE(name,current_value,increment) VALUES ('GLOBAL', 100000, 100);

第二步：创建SEQ function


DROP FUNCTION IF EXISTS `mycat_seq_currval`;
DELIMITER ;;
CREATE FUNCTION `mycat_seq_currval`(seq_name VARCHAR(50)) 
RETURNS varchar(64) CHARSET utf8
    DETERMINISTIC
BEGIN DECLARE retval VARCHAR(64);
        SET retval="-999999999,null";  
        SELECT concat(CAST(current_value AS CHAR),",",CAST(increment AS CHAR) ) INTO retval 
          FROM MYCAT_SEQUENCE WHERE name = seq_name;  
        RETURN retval ; 
END
;;
DELIMITER ;


DROP FUNCTION IF EXISTS `mycat_seq_nextval`;
DELIMITER ;;
CREATE FUNCTION `mycat_seq_nextval`(seq_name VARCHAR(50)) RETURNS varchar(64)
 CHARSET utf8
    DETERMINISTIC
BEGIN UPDATE MYCAT_SEQUENCE  
                 SET current_value = current_value + increment 
                  WHERE name = seq_name;  
         RETURN mycat_seq_currval(seq_name);  
END
;;
DELIMITER ;


DROP FUNCTION IF EXISTS `mycat_seq_setval`;
DELIMITER ;;
CREATE FUNCTION `mycat_seq_setval`(seq_name VARCHAR(50), value INTEGER) 
RETURNS varchar(64) CHARSET utf8
    DETERMINISTIC
BEGIN UPDATE MYCAT_SEQUENCE  
                   SET current_value = value  
                   WHERE name = seq_name;  
         RETURN mycat_seq_currval(seq_name);  
END
;;
DELIMITER ;

插入需要自增长的表的策略，这条数据是我们hotnews这个表所需要的。 name必须是大写的字符，不然就会报错

insert into MYCAT_SEQUENCE values('HOTNEWS','101','100');

说明：插入了一个名为HOTNEWS的sequence，当前值为101，步长为100。当插入第一条数据时id为201，后面每插入一条数据id加1

第三步：在sequence_db_conf.properties这个文件中定义hotnews这张表的序列名称，同时可以定义到哪个分片上。这里是定义在dn1上的

　　　　　　名字=分片1[,分片2][,…..][,分片N]

vim sequence_db_conf.properties

保存：

:wq

2.3 重启mycat

[root@centos1 mycat]# ./bin/mycat restart;

2.4 连接mycat进行数据测试

mysql -uroot -p123456 -P8066 -h192.168.152.128

插入数据

insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test11111');
insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test11112');
insert into hotnews(id, title) values(next value for MYCATSEQ_HOTNEWS, 'test11113');

查看结果：

select * from hotnews;

缺点：当mycat挂掉时可能出现主键冲突。不推荐使用

3. 本地时间戳方式

使用到的mycat源码：io.mycat.route.sequence.handler.IncrSequenceTimeHandler

3.1 在server.xml文件中开启全局序列号的配置：

<property name="sequnceHandlerType">2</property>

使用到的配置文件：

sequence_time_conf.properties

　　　　　　　　　　WORKID=01(范围01-31)

　　　　　　　　　　DATAACENTERID=01（范围01-31）

示例：

首先清空hotnews这张表的数据，方便查看测试结果

delete from hotnews;

插入测试数据

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test11111'); 
insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test11112'); 
insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test11113');

查看结果：

select * from hotnews;

优点：不存在id重复的现象。

缺点：主键太长。时间可能被重置。没有特殊要求的场景可以使用

4. 自增长主键

方式1：不同自增长初始值+相同步长

方式2：参考“数据库方式”

5. 分布式ZK ID生成（推荐使用）

使用到的mycat源码：

io.mycat.route.sequence.handler.IncrSequenceZKHandler

io.mycat.route.sequence.handler.DistributedSequenceHandler

环境准备：先在虚拟机192.168.152.130里面装好zookeeper，具体参考我的文章搭建dubbo+zookeeper+dubboadmin分布式服务框架(windows平台下)

5.1 在server.xml文件中开启全局序列号的配置：

vim server.xml

<property name="sequnceHandlerType">3</property>

5.2 修改如下配置文件：

1）myid.properties

vim myid.properties

配置文件说明：

loadZK=true|false //是否使用zk序列生成器

zkURL=xxx.xxx.xxx.xxx:2182,xxx.xxx.xxx.xxx:2182,xxx.xxx.xxx.xxx:2182

clusterId=集群名称

2）sequence_distributed_conf.properties

vim sequence_distributed_conf.properties

配置文件说明：

INSTANCEID=ZK //改成“ZK”（默认是01）

CLUSTERID=01 //集群编号

5.3 重启mycat

[root@centos1 mycat]# ./bin/mycat restart;

5.4 连接mycat进行数据测试

mysql -uroot -p123456 -P8066 -h192.168.152.128

插入数据

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000001');
insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000002');
insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000003');

查看结果：

select * from hotnews;

6. ZK递增方式（推荐使用）

使用到的mycat源码：****io.mycat.route.sequence.handler.IncrSequenceZKHandler

6.1 在server.xml文件中开启全局序列号的配置：

vim server.xml

<property name="sequnceHandlerType">4</property>

使用到的配置文件：

1) myid.properties 参考“5. 分布式ZK ID生成器”中的介绍。

2) sequence_conf.properties

HOTNEWS.HISIDS=       #HOTNEWS这张表历史使用的自增id，一般不配置
HOTNEWS.MINID=1001    #zk使用的区间内最小值
HOTNEWS.MAXID=2000    #zk使用的区间内最大值
HOTNEWS.CURID=1000    #zk使用的区间内当前值

说明：

以hotnews为例，然后根据sequence_conf.properties里面的hotnews的配置取MAXID和MINID的偏移量（这里是1000）作为id的增量值，当插入数据时把这1000个值用完了在继续取MAXID和MINID的偏移量

6.2 重启mycat

[root@centos1 mycat]# ./bin/mycat restart;

6、3 连接mycat进行数据测试

mysql -uroot -p123456 -P8066 -h192.168.152.128

插入数据

insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000001');
insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000002');
insert into hotnews(id, title) values(next value for MYCATSEQ_GLOBAL, 'test00000003');

查看结果：

select *  from hotnews;

来源：https://www.cnblogs.com/leeSmall/category/1103208.html

文章永久链接：https://tech.souyunku.com/?p=14194

MySQL 工作笔记七：分库分表技术难题之分布式全局唯一id解决方案

一、前言

二、Mycat全局序列号

1. 本地文件方式

1.1 在mycat的schema.xml文件里面分别配置逻辑表hotnews和mysql的主从机，注意autoIncrement=”true”才能使用全局唯一id

1.2 在主数据库（192.168.152.130）分别创建3个数据库db1,db2,db3,然后创建hotnews表

1.3 插入数据

1.4 查看hotnews表的结果

2. 数据库方式

2.1 在server.xml文件中开启全局序列号的配置：

2.3 重启mycat

2.4 连接mycat进行数据测试

3. 本地时间戳方式

3.1 在server.xml文件中开启全局序列号的配置：

4. 自增长主键

5. 分布式ZK ID生成（推荐使用）

5.1 在server.xml文件中开启全局序列号的配置：

5.2 修改如下配置文件：

5.3 重启mycat

5.4 连接mycat进行数据测试

6. ZK递增方式（推荐使用）

6.1 在server.xml文件中开启全局序列号的配置：

6.2 重启mycat

相关推荐

评论抢沙发

学习必备：精选优质专栏

大前端WP主题更专业更方便

觉得文章有用就打赏一下文章作者

微信扫一扫打赏

微信扫一扫打赏

QQ咨询

回顶部

一、前言

二、Mycat全局序列号

1. 本地文件方式

1.1 在mycat的schema.xml文件里面分别配置逻辑表hotnews和mysql的主从机，注意autoIncrement=”true”才能使用全局唯一id

1.2 在主数据库（192.168.152.130）分别创建3个数据库db1,db2,db3,然后创建hotnews表

1.3 插入数据

1.4 查看hotnews表的结果

2. 数据库方式

2.1 在server.xml文件中开启全局序列号的配置：

2.3 重启mycat

2.4 连接mycat进行数据测试

3. 本地时间戳方式

3.1 在server.xml文件中开启全局序列号的配置：

4. 自增长主键

5. 分布式ZK ID生成（推荐使用）

5.1 在server.xml文件中开启全局序列号的配置：

5.2 修改如下配置文件：

5.3 重启mycat

5.4 连接mycat进行数据测试

6. ZK递增方式（推荐使用）

6.1 在server.xml文件中开启全局序列号的配置：

6.2 重启mycat

相关推荐

评论 抢沙发

学习必备：精选优质专栏

大前端WP主题 更专业 更方便

觉得文章有用就打赏一下文章作者

微信扫一扫打赏

微信扫一扫打赏

QQ咨询

回顶部

评论抢沙发

大前端WP主题更专业更方便