现在的位置: 首页 > 综合 > 正文

重删系统的可扩展性和可靠性

2013年12月02日 ⁄ 综合 ⁄ 共 846字 ⁄ 字号 评论关闭

    随着备份数据的增长,备份系统的地可扩展性便是一个亟待解决的问题。NEC公司开发的HYDRAstor系统是一个可扩展的二次存储系统,并应用于企业领域。主要优势有:支持在线扩容,在线更新,同时能够容忍多个磁盘,节点或网络错误,并且能够在错误发生后自动重建,并通知用户的可恢复性。它有前端的访问节点与网格化架构的后端存储节点两部分组成。后端存储中实现数据重删,并且结合分布式哈希算法,把数据块分布存储到各个节点,实现均衡存储。为实现数据可靠性,采用冗余编码方式,使用纠删码(Erasure Codes)来保证数据在部分节点失效后,仍可以恢复出原来数据。而且用户可以结合数据的重要性,选用不同级别,从而采用不同参数的纠删码方案保证数据最大的恢复性。
    关于重删系统下的数据分布存储,Li Kai, Hugo Pattaerson 等EMC研究者研究了重删集群系统的数据路由问题,以保证数据尽可能均衡的存储到各节点,同时保证可扩展的吞吐量(随着节点增对,吞吐量增大),并且保证尽可能高的重删率。通过比较状态有关路由算法和状态无关路由算,以及分析路由数据块的大小等,我们可以看出,通过选择合适的参数,重删系统下的分布存储不仅可以提高系统的可扩展性,而且可以保证接近单个节点的重删效率。
   关于容错编码,有完全复制与冗余编码两种方式,不管怎样,他们都要消耗一定的存储空间,这与重删系统的目标减少存储空间似乎矛盾,但是为了可靠性与可用性,我们一定要考虑,关键看能否利用更小的空间达到最大可靠性。完全复制(即一个文件或一个块保存多个副本)占用更多的存储空间,冗余度较高,但对于读可提高并发性。但对备份系统来说,读是少量的关键是写,显然不是很适用。而冗余编码,可以利用更小的存储空间提供较高的可靠性,相对完全复制冗余度小。RS类编码已广泛应用存储领域,其中HYDRAStor 用的是Cauchy-based
Reed-solomon codes,一种柯西矩阵RS码,编码效率比RS码要高很多,且能够处理更大数据量。
   

抱歉!评论已关闭.