MySQL去重的方法整理

站长资源 2024/11/24 佚名

2 0 1

MySQL去重的方法整理

【初级】有极少的重复行

使用distinct查出来，然后手动一行一行删除。

【中级】按照单个字段的重复去重

例如：对id字段去重

使用方法：获取id的重复字段的值，利用相同id字段所在的行中，比较出数据不同的字段，删除除了最小（或最大）的字段所在的该行之外的所有重复的行。一般使用主键来比较，因为主键的值一定是唯一值，绝对不相同。

id  name

1    a

1    b

2    c

2    a

3    c

结果：

id  name

1    a 

2    a

操作：

delete from a_tmp 

where id in (select * from (select b.id from a_tmp b group by b.id having count(b.id) >1) bb) 

and name not in (select * from (select min(a.name) from a_tmp a GROUP BY a.id having count(a.id) >1) aa);

注意：

上述加粗并绿色的字，必须加别名，必须使用select * from (……)这样的格式，否则会报错：

[Err] 1093 - You can't specify target table 'a_tmp' for update in FROM clause

【高级】按多个字段的重复来去重

例如：对id，name相同的去重，即：对id，name都相同的算作重复行，对id相同而name不同的算作不重复行

使用方法：和单个字段相似，一般使用主键来比较，因为主键的值一定是唯一值。

id  name  rowid

1  a      1

1  a      2

1  b      3

2  b      4

2  b      5

3  c      6

3  d     7

结果：

id  name  rowid

1  a      1 

1  b      3

2  b      4

3  c      6

3  d     7

操作：

第一种：

delete from a_tmp 

where (id,name) in (select * from (select b.id,b.name from a_tmp b group by b.id,b.name having count(b.id) >1) bb) 

and rowid not in (select * from (select min(a.rowid) from a_tmp a group by a.id,a.name having count(a.id) >1) aa);

第二种：

将id和name字段的值连接起来插入到临时表中b_tmp，这样便可以使用【中级】的单字段的判断删除方法。

#将两字段连接的值，a_tmp表中唯一值的字段插入b_tmp表

insert into b_tmp 

 select concat(id,name),rowid from a_tmp;

#查出需要留下来的行

select id_name,max(rowid)

 from b_tmp 

 group by id_name

 having count(id_name)>1;

#使用【中级】的方法，或存储过程完成去重的工作

【终极】每行都有两份一样的数据

例如：

使用方法：对于整行的数据都一样，是没办法使用SQL语句删除的，因为没有可以使用的条件限制来留下一行删除所有与其相同的行。没有不同的字段可以自己创造不同的字段，即：添加一个字段，设为自增长，并设为主键，它会自动添加上值。

id  name

1   a

1   a

1   b

1   b

2   c

2   c

3   c

3   c

结果：

id  name   rowid

1   a       1

1   b       3

2   c       5

3   c       7

操作：

添加一个自增长的字段，并暂时设为主键。

使用上面【中级】和【高级】的方法操作。

感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！

MySQL去重,MySQL去重的方法

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

评论“MySQL去重的方法整理”

暂无评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月24日

MySQL去重的方法整理

mysql 正确清理binlog日志的两种方法

MySQL交换分区的实例详解

评论“MySQL去重的方法整理”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接