HASH GAME - Online Skill Game GET 300

　　为了解决现有哈希算法分区溢出的缺点,使用归并连接思想对现有的哈希连接算法进行了改进,设计了一种哈希归并连接(Hash Merge Join, HMJ)算法。该算法分成两个阶段:哈希阶段和归并阶段。哈希阶段利用哈希表的哈希值作为数据对比键值,对哈希表中所有数据进行排序,把整个哈希表中的数据当作一个分区,然后依次对所有数据进行类似处理,使得数据基于哈希值和原始键值有序;归并阶段则对排好序的数据进行归并连接,完成整个连接操作。测试结果证明,该算法不会产生分区溢出。

　　到目前为止,国内外学者提出了许多实现连接的算法,并提出了许多改进方法。1977年,Blasgen在文献[4]中提出了许多经典的连接算法。基于元组的嵌套循环连接(Nested Loops Join, NLJ)是最容易想到的一种算法,也是最简单的一种算法,在具体实现嵌套循环连接过程中,都是使用基于块的嵌套循环连接算法[5]思想。该方法适合于数据量较小且内存可以存放下的情况,但如果数据量超过内存大小,则内关系需要多次扫描,扫描的次数等于外关系大小是可用内存大小的倍数。1980年,Kim提出了一种“rocking”[6]的思想,把每次循环中读取内关系的最后一块当作下次循环的第一块,这样就节省了一块内存大小数据的I/O操作。Hagmman在文献[7]指出,使用“rocking”思想的嵌套循环方法在缓存区的大小等于两个关系的大小时,该方法是最佳策略。但数据量较大情况下,嵌套循环连接算法的效率都较差。

　　实现连接的技术与方法有很多,如嵌套循环连接算法、基于归并排序的连接算法、基于哈希的连接算法、基于索引的连接算法等,这些算法在不同的应用场合表现出不同的性能。对于连接属性上不存在索引且条件表达式中存在等值连接的情况,虽然嵌套循环连接、基于归并排序和基于哈希的算法都可以处理,但由于算法各自的优缺点,性能都受到一定影响。针对这些不足,本文提出一种使用归并连接实现哈希连接的方法,该方法充分利用了哈希与排序两者的思想,利用哈希思想来进行排序,然后利用归并排序思想对有序数据进行归并连接。既利用了哈希分隔数据的优点,又利用了归并排序减少数据对比次数的优点,使得算法在连接处理上的性能有较大的提升。