MySQL 批量插入不重复数据的解决方法
来源丨java葵花宝典
知识这个东西，看来真的要温故而知新，一直不用，都要忘记了
业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入
那么问题来了，是不是每次插入之前都要查一遍，看看重不重复，在代码里筛选一下数据，重复的就过滤掉呢？
向大数据数据库中插入值时，还要判断插入是否重复，然后插入。如何提高效率
看来这个问题不止我一个人苦恼过。
解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。
几百万的数据，不可能查出来，做去重处理
说一下我google到的解决方案
1、insert ignore into
当插入数据时，如出现错误时，如重复数据，将不返回错误，只以警告形式返回。所以使用ignore请确保语句本身没有问题，否则也会被忽略掉。例如：
insert ignore into user （name） values （‘telami’）
这种方法很简便，但是有一种可能，就是插入不是因为重复数据报错，而是因为其他原因报错的，也同样被忽略了～
2、on duplicate key update
当primary或者unique重复时，则执行update语句，如update后为无用语句，如id=id，则同1功能相同，但错误不会被忽略掉。
例如，为了实现name重复的数据插入不报错，可使用一下语句：
insert into user （name） values （‘telami’） on duplicate key update id = id
这种方法有个前提条件，就是，需要插入的约束，需要是主键或者唯一约束（在你的业务中那个要作为唯一的判断就将那个字段设置为唯一约束也就是unique key）。
3、insert … select … where not exist
根据select的条件判断是否插入，可以不光通过primary 和unique来判断，也可通过其它条件。例如：
insert into user （name） select ‘telami’ from dual where not exists （select id from user where id = 1）
这种方法其实就是使用了mysql的一个临时表的方式，但是里面使用到了子查询，效率也会有一点点影响，如果能使用上面的就不使用这个。
4、replace into
如果存在primary or unique相同的记录，则先删除掉。再插入新记录。
replace into user select 1， ‘telami’ from books
这种方法就是不管原来有没有相同的记录，都会先删除掉然后再插入。
实践
选择的是第二种方式
这里用的是mybatis，批量插入的一个操作，mobile_number 已经加了唯一约束。这样在批量插入时，如果存在手机号相同的话，是不会再插入了的。
中国移动正式启动了5G无线网络感知测试系统采购项目
什么是嵌入式开发板_学嵌入式用什么开发板
应用方案┃烟草流动检测方案
在Rust编译器中开始更高级别的新跨语言ABI实验
在射频芯片封装过程中，什么参数会影响封装的灵敏度？
MySQL 批量插入不重复数据的解决方法
希捷科技发布2021财年第一财季财务报告
美国研制电池环保回收方法，未来可用于制造和回收锂离子电池
GE公司发布工业互联网服务技术 助力医疗高效运营
中断方式和DMA方式有什么不同
FastThreadLocal快在哪里
短期内，鸿蒙会否继续取代安卓
用TDA1521制作的小型功放及音箱,TDA1521 AMPLIFIER
最后是谁吃了亏！伟创力工厂已停产，因华为剔除其供应链
苹果又搞鬼？iPhone X用发烫后狂降频：性能跌到3成
美高森美与Broadcom合作扩展下一代宽带产品组合
半导体硅晶圆厂合晶宣布，合晶上海厂将在本月底开始迁厂！
今日看点丨传华为推“三折机” 最快Q2问世；比亚迪秦 L 工信部“证件照”公布：预计搭载第 5 代 DM-i 混动技
荣耀20和荣耀20 Pro对比究竟谁更好
什么是内压测试？环境温度对电池性能有何影响？
知识这个东西，看来真的要温故而知新，一直不用，都要忘记了
业务很简单：需要批量插入一些数据，数据来源可能是其他数据库的表，也可能是一个外部excel的导入
那么问题来了，是不是每次插入之前都要查一遍，看看重不重复，在代码里筛选一下数据，重复的就过滤掉呢？
向大数据数据库中插入值时，还要判断插入是否重复，然后插入。如何提高效率
看来这个问题不止我一个人苦恼过。
解决的办法有很多种，不同的场景解决方案也不一样，数据量很小的情况下，怎么搞都行，但是数据量很大的时候，这就不是一个简单的问题了。
几百万的数据，不可能查出来，做去重处理
说一下我google到的解决方案
1、insert ignore into
当插入数据时，如出现错误时，如重复数据，将不返回错误，只以警告形式返回。所以使用ignore请确保语句本身没有问题，否则也会被忽略掉。例如：
insert ignore into user （name） values （‘telami’）
这种方法很简便，但是有一种可能，就是插入不是因为重复数据报错，而是因为其他原因报错的，也同样被忽略了～
2、on duplicate key update
当primary或者unique重复时，则执行update语句，如update后为无用语句，如id=id，则同1功能相同，但错误不会被忽略掉。
例如，为了实现name重复的数据插入不报错，可使用一下语句：
insert into user （name） values （‘telami’） on duplicate key update id = id
这种方法有个前提条件，就是，需要插入的约束，需要是主键或者唯一约束（在你的业务中那个要作为唯一的判断就将那个字段设置为唯一约束也就是unique key）。
3、insert … select … where not exist
根据select的条件判断是否插入，可以不光通过primary 和unique来判断，也可通过其它条件。例如：
insert into user （name） select ‘telami’ from dual where not exists （select id from user where id = 1）
这种方法其实就是使用了mysql的一个临时表的方式，但是里面使用到了子查询，效率也会有一点点影响，如果能使用上面的就不使用这个。
4、replace into
如果存在primary or unique相同的记录，则先删除掉。再插入新记录。
replace into user select 1， ‘telami’ from books
这种方法就是不管原来有没有相同的记录，都会先删除掉然后再插入。
实践
选择的是第二种方式
这里用的是mybatis，批量插入的一个操作，mobile_number 已经加了唯一约束。这样在批量插入时，如果存在手机号相同的话，是不会再插入了的。
中国移动正式启动了5G无线网络感知测试系统采购项目
什么是嵌入式开发板_学嵌入式用什么开发板
应用方案┃烟草流动检测方案
在Rust编译器中开始更高级别的新跨语言ABI实验
在射频芯片封装过程中，什么参数会影响封装的灵敏度？
MySQL 批量插入不重复数据的解决方法
希捷科技发布2021财年第一财季财务报告
美国研制电池环保回收方法，未来可用于制造和回收锂离子电池
GE公司发布工业互联网服务技术 助力医疗高效运营
中断方式和DMA方式有什么不同
FastThreadLocal快在哪里
短期内，鸿蒙会否继续取代安卓
用TDA1521制作的小型功放及音箱,TDA1521 AMPLIFIER
最后是谁吃了亏！伟创力工厂已停产，因华为剔除其供应链
苹果又搞鬼？iPhone X用发烫后狂降频：性能跌到3成
美高森美与Broadcom合作扩展下一代宽带产品组合
半导体硅晶圆厂合晶宣布，合晶上海厂将在本月底开始迁厂！
今日看点丨传华为推“三折机” 最快Q2问世；比亚迪秦 L 工信部“证件照”公布：预计搭载第 5 代 DM-i 混动技
荣耀20和荣耀20 Pro对比究竟谁更好
什么是内压测试？环境温度对电池性能有何影响？