基于应用感知的重复数据删除存储系统的性能优化研究

Abstract

近几年，数据量急剧膨胀，主存储系统和小型移动设备都面临着数据存储能力不足的挑战。重复数据删除技术可以有效地减少需要存储的数据量，缓解存储设备的空间压力。但是在节省存储空间的同时，重复数据删除技术会带来一定的额外开销，主要包括元数据的查找和管理、数据碎片化引起的读放大问题等，在一定程度上制约了重复数据删除技术在大数据环境下的性能和系统的可扩展性。 对主存储系统和移动设备中的读写数据内容的分析结果表明，在主存储系统和移动设备上，应用所产生的数据存在着大量的冗余，但是这些冗余数据均存在着局部性现象，即数据冗余基本上存在于同种应用产生的数据中，不同应用的数据之间的冗余率很低。 在主存储系统中，提出...

In recent years, with rapidly increasing of data, primary storage systems and small mobile devices encounter the challenges of insufficient data storage capacity. Data deduplication can effectively reduce the amount of data that should be stored, thus reduding the space pressure of storage systems. However, data deduplication will bring some additional overheads, such as the search and management ...