English

鼎甲一体机容灾技术—重复数据删除

精准、高效的重复数据删除


数据的备份保护,总是充斥着大量冗余数据占用存储空间,为了解决这个问题,人们开始关注“重复数据删除”技术,希望能节约出大量的存储空间。所以,在数据的备份容灾产品中,“重复数据删除”技术也就成了考量产品在技术含量、运行性能、产品质量等方面是否优越的考核指标之一。


一、重复数据删除的应用优势

鼎甲科技在重复数据删除的处理上,立足于用户角度,既实现了减少对客户端主机资源的占用,又实现了数据存储空间的节约使用。

  1. 支持源端去重,减少备份业务在数据传输时对网络资源的占用。

  2. 集合了固定块和变长块的分割技术对不同的备份目标类型选用合适的数据分块技术。同时,采用变长块分割技术可以针对不同范围内的数据对象进行动态分块,使得数据块的匹配概率和效率更高。

  3. 采用优化的指纹索引技术进行数据比对通过把指纹数据读到内存中处理,提升数据的比对效率,并减少了对客户端主机计算资源的占用,使得数据去重运算在客户端主机资源占用和重删率之间达到最佳平衡点。

  4. 支持全局重删和局部重删全局重删只保存唯一一份相同数据,最大化减少备份数据的冗余存储。


二、重复数据删除的核心技术

鼎甲科技为了达到最佳的数据去重效果,DBackup中集合了固定块和变长块的分割技术。

  • 固定块分割技术,是把备份数据分割成互不重叠的定长数据块,常用的块大小有4k、8k、16k、32k、64k、128k等,由于不需要对数据块的分界点进行计算,所以运算相对简单,计算资源占用较少。但由于采用了定长的分块处理,当向数据对象中插入数据或者从中删除数据时,会导致数据块重新分块,严重地影响重复数据删除的效果。

  • 变长块分割技术,对备份的数据通过一个不断滑动的窗口来确定数据块分界,按其特征函数把备份数据动态分割成不同大小的数据块。基于变长块的处理,有效的解决了固定块分割中存在的问题,当向数据对象中插入数据或者从中删除数据时,如果变化的内容不在数据块的边界内,数据块不发生改变;当新增的内容产生一个新的边界时,一个数据块会分成两个数据块;如果变化的内容发生在滑动窗口内,将会破坏分界数据块,那么两个数据块合成一个数据块,或者两个数据块之间的边界发生变化,产生新的数据块。因此,插入或者删除内容只影响相邻的一个或者两个数据块,其余数据块不会受影响,这样使得数据的去重更为精准,但由于需要不断计算数据的分界,导致占用部分计算资源。


三、鼎甲科技实现数据重删的社会价值

鼎甲科技对重复数据删除的实现,在数据分块处理上,充分利用了固定块和变长块的技术优势,既保障了源端重删时对客户端主机资源的最小化占用,又实现了对重复数据的最大化删除。

固定块分割技术相对比较简单,所以目前在国内外多数备份产品的数据重删处理中普遍使用。而变长块的处理技术,由于涉及到数据块的动态分割,技术难度较大,目前国内尚无备份产品能实现,即使在国际的主流备份产品中,也只有数个具有很强技术实力的公司能实现。

鼎甲科技对于变长块技术,投入了大量的人力物力,经过长时间的研究和论证,在鼎甲迪备产品中利用这一技术实现了数据重删处理,可以骄傲的说:填补了国内在使用变长块进行数据重删处理上的技术空白。

联系我们