分库分表之以是被广泛利用,由于工程相对大略,但分库分表并不仅仅是分片,还是须要考虑如何扩缩容(全量同步、增量同步、数据校验等)。
分库分表技能思维导图
因此笔者做了一个传授教化型分库分表示例项目 ,操持将分库分表的技能体系都实际演示一遍。
https://github.com/makemyownlife/shardingsphere-jdbc-demo
当前项目包含三个模块 :
shardingjdbc4-spring:利用 shardingsphere-JDBC 4.X 实现分库分表功能shardingjdbc5-spring:利用 shardingsphere-JDBC 5.X 实现分库分表功能idgenerator: 基于 grpc 实现一个大略的做事端 ID 天生器下面我们展示如何运行 shardingjdbc4-spring 模块,shardingsphere JDBC 4.x 如何整合 spring 实现分库分表功能。
1 业务剖析笔者曾经为武汉一家 O2O 公司订单做事做过分库分表架构设计 ,当企业用户创建一条采购订单 , 会天生如下记录:
订单根本表 t_ent_order :单条记录订单详情表 t_ent_order_detail :单条记录订单明细表 t_ent_order_item:N 条记录订单每年预估天生记录 1 亿条,数据量不大也不小,笔者参考原来神州专车的分库分表办法,制订了如下的分库分表策略:
订单根本表按照 ent_id (企业用户编号) 分库(四个分库),订单详情表保持同等。订单明细表按照 ent_id (企业用户编号) 分库 (四个分库),同时也要按照 ent_id (企业编号) 分表(八个分表)。2 环境准备创建 4 个库,分别是:ds_0、ds_1、ds_2、ds_3 。
然后这四个分库分别实行 doc 目录下的 shardingjdbc-spring.sql 文件。
实行结果如下图所示,每个分库都包含订单根本表 , 订单详情表 ,订单明细表 。但是由于明细表须要分表,以是包含多张表。
3 项目构造
打开项目,如下图所示:
这是一个范例的 springboot 项目,包含掌握器层、实体层、做事层 。
1、pom 文件配置依赖
<dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>4.1.1</version></dependency>
2、分片配置 application-test.yml
配置数据源,上面配置数据源是: ds0、ds1、ds2、ds3 ;配置打印日志,也便是:sql.show ,在测试环境建议打开 ,便于调试;配置哪些表须要分库分表 ,在 shardingsphere.datasource.sharding.tables 节点下面配置:
上图中我们看到配置分片规则包含如下两点:
1.真实节点
对付我们的运用来讲,我们查询的逻辑表是:t_ent_order_item 。
它们在数据库中的真实形态是:t_ent_order_item_0 到 t_ent_order_item_7。
真实数据节点是指数据分片的最小单元,由数据源名称和数据表组成。
订单明细表的真实节点是:ds$->{0..3}.t_ent_order_item_$->{0..7} 。
2.分库分表算法
分别配置分库策略和分表策略 , 每种策略都须要配置分片字段( sharding-columns )和分片算法。
4 测试接口修正配置文件 application-test.yml ,配置好 MySQL 数据库 和 Redis 做事 。
启动 Main 函数:
启动过程中,会打印 shardingsphere jdbc 日志 。
启动成功之后,访问 swagger ui 地址:
http://localhost:9793/shardingsphere-jdbc-server/doc.html#/home
接下来,我们进行两个测试:新增订单和按照订单 ID 查询
1、测试存储订单
点击发送按钮,接口相应成功。
我们插入1 条订单记录、1 条订单详情表进入 ds3 分片,并且 2 条订单条款表进入 ds3 分片的 t_ent_order_item_7 表。
2、测试存储订单
参数名称是 orderId , 参数值:609335823493160961 ,点击发送按钮,接口相应成功 , 返回订单信息。