需求:对一张用户表依据name/email/card_num字段去除反复数据;
思绪:用group by要领能够查询出'去重'后的数据,将这些数据存储到一张暂时表中,然后将暂时表的数据存储到指定的表中;
误区及解决方案:group by要领只能猎取部份字段(去重指定字段),不能一次猎取到完全的数据,然则能够经由过程max函数猎取group by效果鸠合的id,再依据id鸠合查询出悉数的纪录。
测试思绪
- 查询去重后的数据
SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;
- 从去重后的数据中猎取id鸠合
SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T;
- 依据去重后的数据中猎取id鸠合,从源数据中取得纪录列表
SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);
现实要领
- 依据去重后的数据中猎取id鸠合,从源数据中取得纪录列表,将这些列表数据存入一个暂时表中
create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);
- 将暂时表中的数据存入指定的数据表中,终了
insert into users_copy1 select * from tmp_data;
检测
- 检测效果是否是和第一步查询去重后的数据总数雷同
select count(*) from users_copy1;
测试效果:1.4w条数据中有2300条数据反复,现实运转效果为0.7s,基础满足如今的需求。
更多MySQL相干技术文章,请接见MySQL教程栏目举行进修!
以上就是数据库依据指定字段去重的细致内容,更多请关注ki4网别的相干文章!