学步园

Distinct是SQL中一种很常见的操作，能够很方便地筛选掉结果中重复的行。首先来看看Distinct操作的效果：

mysql> select * from ob;
+------+------+------+
| a    | b    | c    |
+------+------+------+
|    1 |    2 |    3 |
|    1 |    2 |    3 |
|    1 |    2 |    3 |
|    1 |    2 | 2323 |
|    1 |  323 |   21 |
|    9 |    9 |    9 |
+------+------+------+
6 rows in set (0.00 sec)

/// 取出所有不同行

mysql> select distinct * from ob;

+------+------+------+
| a    | b    | c    |
+------+------+------+
|    1 |    2 |    3 |
|    1 |    2 | 2323 |
|    1 |  323 |   21 |
|    9 |    9 |    9 |
+------+------+------+

4 rows in set (0.00 sec)

/// 取出所有a, b列不相同的行

mysql> select distinct a, b from ob;
+------+------+
| a    | b    |
+------+------+
|    1 |    2 |
|    1 |  323 |
|    9 |    9 |
+------+------+
3 rows in set (0.00 sec)

在数据库的设计中，如何实现Distinct操作呢？一般有两种基本思路：排序（Sort）法，哈希（Hash）法。

排序法将表格中的数据全部按照distinct指定的列为key进行排序，然后逐行迭代，每迭代出一行数据都与上一行数据根据key作对比，如果相同，则丢弃当前行继续迭代下一行，如果不同则输出。排序法带来的一个副作用就是数据输出按照key有序。mysql在某些情况下不是使用排序法，通过下面的输出可以观察到行并不是有序的：

mysql> select distinct a, b from ob;
+------+------+
| a    | b    |
+------+------+
|    1 |    2 |
|    1 |  323 |
|    9 |    9 |
|    0 |    0 |
+------+------+
4 rows in set (0.00 sec)

哈希法将表格中的数据全部按照distinct指定的列值为key作为hash key进行分桶，key相同的行自然就被区分出来了。

排序法在具体实现中会遇到这么一些问题：

1. 数据集超出了内存限制，如何排序？

2. 如何实现可以尽可能减少数据拷贝？

3. 如果已经有了Sort运算符，如何实现代码重用。

考虑一种理想实现，sort依次排序出最大，次大，较大，。。。等行，没一行输出后都跟前一行比较，如果key相等则丢弃，这样，sort完毕，distinct也做完了。堆排序可以较好地满足这一要求。但是，堆排序不支持外排，当数据集合超出内存限制时该方法将失效。

最后说个题外话，distinct跟groupby蛮像的，那么他们的区别又在哪里呢？ 简单地说，distinct是一种很弱的groupby。详细见网上转载的一篇文章：

原文地址：http://lalaalisa.blogspot.com/2012/03/sql-distinct-vs-group-by.html

SQL語法 : DISTINCT vs GROUP BY