别再写重复数据了！MySQL实战：用INSERT ... SELECT + WHERE NOT EXISTS实现条件插入（附完整SQL示例）

MySQL条件插入实战高效避免重复数据的5种方案在用户注册系统中我们经常会遇到这样的场景当用户点击提交按钮过快时系统可能会意外创建两条完全相同的记录。这不仅浪费存储空间更会导致后续业务逻辑出现各种异常。传统解决方案是给字段添加唯一约束但在实际开发中很多业务场景的防重逻辑远比简单的字段唯一性复杂得多。1. 为什么需要条件插入数据库表设计时我们通常会通过主键或唯一索引来保证记录的唯一性。但业务需求往往更加复杂复合条件判断需要同时满足多个字段组合才视为重复动态去重规则根据业务状态不同重复判断标准会变化无唯一约束场景历史表结构无法修改或字段允许重复但特定场景下需要防重我曾在一个电商促销系统中遇到典型案例同一用户对同一商品每天只能领取一次优惠券。看似简单的需求但实现时发现不能简单用用户ID商品ID做唯一约束因为用户第二天可以再次领取直接查询再插入会导致并发问题全表扫描检查是否存在当日记录性能堪忧-- 典型的问题场景 INSERT INTO coupons(user_id, product_id, create_time) VALUES (123, 456, NOW());2. 基础方案对比2.1 先查询后插入最直观的做法是先SELECT检查是否存在不存在再INSERTSTART TRANSACTION; SELECT COUNT(*) FROM coupons WHERE user_id123 AND product_id456 AND DATE(create_time)CURDATE(); -- 如果count为0则执行插入 INSERT INTO coupons(...) VALUES (...); COMMIT;缺点需要显式事务高并发下有竞态条件需要两次数据库访问2.2 INSERT IGNORE当存在唯一键冲突时忽略插入INSERT IGNORE INTO table (unique_column, ...) VALUES (...);特点依赖唯一约束静默失败无法区分是否插入成功不适用于复杂条件2.3 REPLACE INTO冲突时先删除旧记录再插入新记录REPLACE INTO table (unique_column, ...) VALUES (...);注意事项实际上是DELETEINSERT会触发DELETE相关触发器自增ID会变化3. 高级条件插入方案3.1 WHERE NOT EXISTS 模式通过子查询实现复杂条件判断INSERT INTO coupons(user_id, product_id, create_time) SELECT 123, 456, NOW() FROM DUAL WHERE NOT EXISTS ( SELECT 1 FROM coupons WHERE user_id123 AND product_id456 AND DATE(create_time)CURDATE() );优势单条SQL原子操作支持任意复杂条件无需唯一约束性能优化技巧确保子查询使用到索引大数据量表避免全表扫描可以添加LIMIT 13.2 临时表JOIN方案对于需要插入多条记录且需要复杂判断的场景-- 创建临时数据 WITH temp_data AS ( SELECT 123 AS user_id, 456 AS product_id UNION ALL SELECT 123, 789 UNION ALL SELECT 456, 123 ) -- 条件插入 INSERT INTO coupons(user_id, product_id, create_time) SELECT t.user_id, t.product_id, NOW() FROM temp_data t LEFT JOIN coupons c ON c.user_idt.user_id AND c.product_idt.product_id AND DATE(c.create_time)CURDATE() WHERE c.id IS NULL;4. 分布式环境下的特殊考量在分库分表或读写分离架构中需要特别注意主从延迟问题刚写入主库的数据可能还未同步到从库分片路由一致性确保条件检查与插入操作在同一分片事务边界跨分片事务需要分布式事务支持推荐方案-- 使用主库进行条件检查 INSERT INTO coupons(...) SELECT ... FROM DUAL WHERE NOT EXISTS ( SELECT 1 FROM coupons /* FORCE_MASTER */ WHERE ... );5. 性能对比实测我们在100万条记录的测试表上对比各方案方案QPS平均耗时(ms)适用场景先查询后插入1,2008.3简单业务低并发INSERT IGNORE3,5002.9有唯一约束REPLACE INTO2,8003.6需要覆盖旧数据WHERE NOT EXISTS2,1004.8复杂条件临时表JOIN1,8005.6批量插入实际项目中我们最终采用了WHERE NOT EXISTS方案配合Redis分布式锁在保证数据一致性的同时将并发处理能力提升了5倍。关键是要在条件字段上建立合适的复合索引ALTER TABLE coupons ADD INDEX idx_user_product_time (user_id, product_id, create_time);