前面的文章咱们讲了 MyBatis 批量插入的 3 种方法:循环单次插入、MyBatis Plus 批量插入、MyBatis 原生批量插入,详情请点击《MyBatis 批量插入数据的 3 种方法!
》。

但这篇文章也有不完美之处,利用 「循环单次插入」的性能太低,利用「MyBatis Plus 批量插入」性能还行,但要额外的引入 MyBatis Plus 框架,利用「MyBatis 原生批量插入」性能最好,但在插入大量数据时会导致程序报错,那么,本日咱们就会供应一个更优的办理方案。

原生批量插入的“坑”

首先,我们来看一下 MyBatis 原生批量插入中的坑,当我们批量插入 10 万条数据时,实当代码如下:

phpinsertbatch失败MyBatis原生批量插入的坑与解决计划 Node.js

import com.example.demo.model.User;import com.example.demo.service.impl.UserServiceImpl;import org.junit.jupiter.api.Test;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.boot.test.context.SpringBootTest;import java.util.ArrayList;import java.util.List;@SpringBootTestclass UserControllerTest { // 最大循环次数 private static final int MAXCOUNT = 100000; @Autowired private UserServiceImpl userService; / 原生自己拼接 SQL,批量插入 / @Test void saveBatchByNative() { long stime = System.currentTimeMillis(); // 统计开始韶光 List<User> list = new ArrayList<>(); for (int i = 0; i < MAXCOUNT; i++) { User user = new User(); user.setName("test:" + i); user.setPassword("123456"); list.add(user); } // 批量插入 userService.saveBatchByNative(list); long etime = System.currentTimeMillis(); // 统计结束韶光 System.out.println("实行韶光:" + (etime - stime)); }}

核心文件 UserMapper.xml 中的实当代码如下:

<?xml version="1.0" encoding="UTF-8"?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><mapper namespace="com.example.demo.mapper.UserMapper"> <insert id="saveBatchByNative"> INSERT INTO `USER`(`NAME`,`PASSWORD`) VALUES <foreach collection="list" separator="," item="item"> (#{item.name},#{item.password}) </foreach> </insert></mapper>

当我们愉快地运行以上程序时,就涌现了以下的一幕:

沃,程序竟然报错了!

这是由于利用 MyBatis 原生批量插入拼接的插入 SQL 大小是 4.56M,而默认情形下 MySQL 可以实行的最大 SQL 为 4M,那么在程序实行时就会报错了。

办理方案

以上的问题便是由于批量插入时拼接的 SQL 文件太多了,以是导致 MySQL 的实行报错了。
那么我们第一韶光想到的办理方案便是将大文件分成 N 个小文件,这样就不会由于 SQL 太大而导致实行报错了。
也便是说,我们可以将待插入的 List 凑集分隔为多个小 List 来实行批量插入的操作,而这个操作过程就叫做 List 分片

有了处理思路之后,接下来便是实践了,那如何对凑集进行分片操作呢?

分片操作的实现办法有很多种,这个我们后文再讲,接下来我们利用最大略的办法,也便是 Google 供应的 Guava 框架来实现分片的功能。

分片 Demo 实战

要实现分片功能,第一步我们先要添加 Guava 框架的支持,在 pom.xml 中添加以下引用:

<!-- google guava 工具类 --><!-- https://mvnrepository.com/artifact/com.google.guava/guava --><dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>31.0.1-jre</version></dependency>

接下来我们写一个小小的 demo,将以下 7 个人名分为 3 组(每组最多 3 个),实当代码如下:

import com.google.common.collect.Lists;import java.util.Arrays;import java.util.List;/ Guava 分片 /public class PartitionByGuavaExample { // 原凑集 private static final List<String> OLD_LIST = Arrays.asList( "唐僧,悟空,八戒,沙僧,曹操,刘备,孙权".split(",")); public static void main(String[] args) { // 凑集分片 List<List<String>> newList = Lists.partition(OLD_LIST, 3); // 打印分片凑集 newList.forEach(i -> { System.out.println("凑集长度:" + i.size()); }); }}

以上程序的实行结果如下:

从上述结果可以看出,我们只须要利用 Guava 供应的 Lists.partition 方法就可以很轻松的将一个凑集进行分片了。

原生批量插入分片实现

那接下来,便是改造我们的 MyBatis 批量插入代码了,详细实现如下:

@Testvoid saveBatchByNativePartition() { long stime = System.currentTimeMillis(); // 统计开始韶光 List<User> list = new ArrayList<>(); // 构建插入数据 for (int i = 0; i < MAXCOUNT; i++) { User user = new User(); user.setName("test:" + i); user.setPassword("123456"); list.add(user); } // 分片批量插入 int count = (int) Math.ceil(MAXCOUNT / 1000.0); // 分为 n 份,每份 1000 条 List<List<User>> listPartition = Lists.partition(list, count); // 分片批量插入 for (List<User> item : listPartition) { userService.saveBatchByNative(item); } long etime = System.currentTimeMillis(); // 统计结束韶光 System.out.println("实行韶光:" + (etime - stime));}

实行以上程序,终极的实行结果如下:

从上图可以看出,之前批量插入时的非常报错不见了,并且此实现办法的实行效率竟比 MyBatis Plus 的批量插入的实行效率要高,MyBatis Plus 批量插入 10W 条数据的实行韶光如下:

总结

本文我们演示了 MyBatis 原生批量插入时的问题:可能会由于插入的数据太多从而导致运行失落败,我们可以通过分片的办法来办理此问题,分片批量插入的实现步骤如下:

打算出分片的数量(分为 N 批);利用 Lists.partition 方法将凑集进行分片(分为 N 个凑集);循环将分片的凑集进行批量插入的操作。

关注公众号「Java中文社群」查看更多 MyBatis 和 Spring Boot 的系列文章。