现在的位置: 首页 > 综合 > 正文

【随笔★数千万邮箱】近期爆出的一亿多条数据按邮箱字段去重复,什么数据?你懂的!

2013年02月12日 ⁄ 综合 ⁄ 共 305字 ⁄ 字号 评论关闭

近期爆出的一亿多条数据按邮箱字段去重复,什么数据?你懂的!

一亿多条数据,按邮箱去错去重复,还剩6000多万。

以下是sql语句,海量数据还真不是那么好玩的呀,随随便便一个sql都要跑上十几分钟,半小时。。。。 

SELECT MIN(ID) as id into tmp from Tbl_AllUser group by email  --先按mail去重后将ID写入临时表中

insert into tbl_AllUser_New
select UserName,Email,Source from Tbl_AllUser right join tmp on Tbl_AllUser.id=tmp.id --再按临时表中的ID将数据写入新表中

 求更优的SQL!

抱歉!评论已关闭.