科创中国

电子信息技术

本发明公开了一种用于数据去重系统的碎片重写方法，其在数据去重中增加一个缓存作为重写感知缓存，该重写感知缓存中的数据项为数据块所引用的容器标识(Container ID)，对判定为数据碎片的数据块，如果其引用的容器标识(Container ID)已存储在该重写感知缓存中，则此数据无需重写，否则重写该数据碎片。本发明的方法是在数据去重的过程中增加了一个与数据读时同样大小且缓存策略相同的缓存，避免了不必要的重复数据块的重写，克服了现有算法存在的缺陷。相比与现有的去碎片算法，一是改善了因数据碎片对读性能造成的影响，通过重写数据碎片来提高读性能；二是在提高读性能的同时保证了更少的去重率损失。

在基于数据去重的系统中，后续存储的文件的数据块共享之前存储的文件的数据块，从而数据块被分散而非连续地存储在磁盘上，形成大量的分散存储碎片，对系统的读性能造成重大影响。随着存储文件的数量的增加，后续文件的数据碎片化趋于严重，从而读性能也逐渐下降。在读数据时，尽管增大读缓存大小可以相对提高读性能，但提高的程度有限，增大读缓存大小不能从根本上解决问题。比如在基于数据去重技术的备份系统中最后存储的文件(版本)的数据读(恢复)性能比第一个文件（版本）降低了约10倍甚至更多，这将严重影响系统的可用性，尤其在灾难恢复的时候。由数据去重引起的数据碎片不像磁盘碎片可以通过后台整理而重新保证数据的连续性。因数据块之间存在共享，重新迁移数据块将涉及到索引更新等更复杂的问题，所以数据去重系统中的读性能是一个急需解决的问题。

冯丹，1970年5月生，湖北京山人，华中科技大学计算机学院院长，教授，博士生导师。信息存储系统教育部重点实验室副主任，武汉光电国家实验室（筹），兼任中国计算机学会外部设备专业委员会委员，中国计算机学会信息存储技术专业委员会委员，中国电子工业标准化技术协会海量存储标准工作委员会副主任委员武汉市科学技术协会常委，武汉市政协委员，第十三届全国人大代表。