编程珠玑开篇--磁盘文件排序问题——转自http://blog.csdn.net/fisher_jiang/
输入:
所输入的文件,至多包含n个正整数,每个正整数都小于n,题目中n = 10^7,如果输入时某个正整数重复出现俩次,就会产生致命的错误,这些整数,与其他任何数据都不相关.
输出:
以增序形式输出经过排序的整数列表
约束
至多只有1MB(包括程序本身)可用的主存,但是可以用的磁盘空间是充足的,运行时间至多几分钟,10秒针是最适宜的运行时间.
作者第一个方案使用基于磁盘的合并排序.将每个号码用32位整数表示,可以在1MB的空间里存储250000个号码,使用一个带有40个通道的程序,在第一个通道中将前250000的任意整数读入内存,并对它们进行排序,可以使用高效的快速排序,但是完成整个任务,我们要牺牲读文件40次的代价.最后作者引出了另外一种解决方案位图和位向量:
我们可以用一个20位的字符串可以表示小于20的非负数集合.例如,我们可以将集合{1,2,3,5,8,13}存储在下面字符串中:
集合中代表数字的各个位设置为1 ,而其他的位全部设置为0
在上面问题中,我们使用一千万位的字符串表示该文件,当且仅当整数i在该文件中的时候,第i位才被设置为1,这种表示法使用了这个问题中的三中属性,输入的范围相对小一些,并且还不包括重复的数据,而且没有数据和单个整数以外的每一记录相关联
算法实现分三阶段
1 设置每个位为0
2 读取文件,将相应的位设置为1
3 检查每个位,当为1时,将整数写入
这些函数使用常量来设置，清除并测试位值
- #define BITSPEREORD 32 // the type int contains 32 bits
- #define SHIFT 5 // pow(2,5)
- #define MASK 0X1F //00011111
- #define NUMBER 10000000
- int bitBuffer[ 1 + NUMBER / BITSPEREORD ] ;
- void clr( int i ) //set every bit 0
- {
- bitBuffer [ i >> SHIFT ] &= ~ ( 1 << ( i & MASK )) ;
- }
- //i & MASK 相当于 i mod 32
- void set ( int i ) //set the n bits 1
- {
- bitBuffer [ i >> SHIFT ] |= ( 1 << ( i & MASK )) ;
- }
- int test( int i ) //read the sort number from bitBuffer
- {
- return bitBuffer [ i >> SHIFT ] & ( 1 << ( i & MASK )) ;
- }
- 通过位运算实现的上面的排序算法如下：
- <pre class="csharp" name="code">int main ()
- {
- int i ;
- for ( i = 0 ; i < NUMBER ; i ++ )
- {
- clr(i);
- }
- while(scanf("%d",&i) != EOF )
- {
- set( i );
- }
- for ( i = 0 ; i < NUMBER ;i ++ )
- {
- if (test(i))
- printf("%d/n",i);
- }
- return 0 ;
- }
- 使用一个包含100万个不重复正整数的文件且每个正整数都小于1000万进行测试：下表报告了使用</pre>
- <pre class="csharp" name="code">系统命令行排序，C++和C的排序程序，位运算的排序成本</pre>
- <pre class="csharp" name="code"><table cellspacing="1" cellpadding="1" width="250" summary="" border="1"><tbody><tr><td> </td><td>系统排序</td><td>C++/STL</td><td>C/qsort</td><td>C/位运算</td></tr><tr><td>总时间（秒）</td><td>89</td><td>38</td><td>12.6</td><td>10.7</td></tr><tr><td>计算时间（秒）</td><td>79</td><td>28</td><td>2.4</td><td>0.5</td></tr><tr><td>MB</td><td>0.8</td><td>70</td><td>4</td><td>1.25 </td></