一种等级化动态可变的共享重复数据存储和读取机制
专利类型：发明专利
语 言：中文
申 请 号：CN201710506611.7
申 请 日：20170628
申 请 人：重庆大学
申请人地址：400044重庆市沙坪坝区沙正街174号
公 开 日：20171013
公 开 号：CN107249035A
代 理 人：
代理机构：
摘 要：本发明为云备份系统提出一种等级化动态可变的共享重复数据存储和读取机制，适用于云备份系统的等级化和公平化的服务质量需求。该方法与重复数据删除技术有机的契合，针对不同等级的租户，提供不同的服务质量策略，提高了系统的重删率并达到最佳的服务效果。该发明保障了租户在云备份系统环境中享有公平且具有等级化的服务质量。??全部
主 权 项：本发明为云备份系统提出一种等级化动态可变的共享重复数据存储和读取机制，主要包括数据备份与数据恢复两个部分。数据备份的具体步骤为：(1)客户端对租户需要备份的数据流进行数据分块，然后对分块后的数据使用哈希算法计算得到对应的指纹，把数据块指纹以及租户等级信息发送至服务器。(2)服务器接收到客户端发送的数据信息后，进行如下步骤：(2.1)根据租户的服务等级，为租户的备份业务建立相应优先级，按服务等级对应的权重为租户分配对应比例的内存空间和吞吐量阈值。(2.2)对数据备份中每位租户的吞吐量，周期性的实时监测。将监测得到的租户吞吐量进行求和，并根据租户等级对应的权重，以及系统中各个等级的租户人数，计算出不同等级的平均吞吐量。每个监测周期结束后，如果租户吞吐量大小低于对应等级的平均吞吐量大小，增加内存空间和吞吐量阈值；如果租户吞吐量大小高于对应等级的平均吞吐量大小，减少内存空间和吞吐量阈值。(2.3)根据步骤(2.1)中确定业务优先级后，按照租户备份业务优先级，从高优先级到低优先级依次遍历步骤(1)发送来的指纹序列，在指纹索引表中查询，若不存在该指纹，则标记对应的数据块为新数据块；反之则说明对应的数据块已经被存储过，标记该数据块为重复数据块，并记录该数据块的存储地址。(2.4)对新数据块进行存储，具体步骤为：(a)如果新数据块是高优先级租户与低优先级租户在单位时间周期内共同备份的数据，采用共享重复数据存储策略，并根据新数据块的存储地址更新指纹索引表。共享重复数据存储策略具体为：根据步骤(2.2)中得到的租户吞吐量和各个等级的平均吞吐量，查看高优先级租户和低优先级租户的吞吐量比值是否大于等于对应等级的平均吞吐率比值。如果高优先级租户和低优先级租户的吞吐量比值大于等于对应等级的平均吞吐率比值，由高优先级租户完成对新数据块存储，否则由低优先级租户完成对新数据块的存储。(b)如果新数据块不是高优先级租户与低优先级租户在单位时间周期内共同备份的数据，由数据块所属租户完成数据块存储，并根据新数据块的存储地址更新指纹索引表。数据恢复的具体步骤为：(1)客户端读取租户需要恢复数据的地址，将需要恢复数据的地址和租户等级信息发送至服务器。(2)服务器接收到客户端发送的恢复数据地址、租户等级信息，进行如下步骤：(2.1)根据租户的服务等级，为租户的恢复业务建立相应优先级。(2.2)通过恢复数据的地址，在磁盘上查找保存该数据的元数据信息。(2.3)按服务等级对应的权重为租户分配内存空间和吞吐量阈值。(2.4)对数据恢复中每位租户的吞吐量，周期性的实时监测，将监测得到的租户吞吐量进行求和，并根据租户等级对应的权重，以及系统中各个等级的租户人数，计算出不同等级的平均吞吐量。每个监测周期结束后，如果租户吞吐量大小低于对应等级的平均吞吐量大小，增加内存空间和吞吐量阈值；如果租户吞吐量大小高于对应等级的平均吞吐量大小，减少内存空间和吞吐量阈值。(2.5)根据步骤(2.1)中确定业务优先级后，按照租户恢复业务优先级，从高优先级到低优先级扫描步骤(2.2)中所恢复数据的元数据信息，并在服务器缓存中查找，如果元数据信息对应的数据块存在缓存中，直接恢复；如果元数据信息对应的数据块不在缓存中，执行如下步骤：(a)如果数据块是高优先级租户与低优先级租户在单位时间周期内共同恢复的数据，采用共享数据读取策略处理。该策略具体为：根据步骤(2.4)中得到的租户吞吐量和各个等级的平均吞吐量，查看高优先级租户和低优先级租户的吞吐量比值是否大于等于对应等级的平均吞吐率比值。如果高优先级租户和低优先级租户的吞吐量比值大于等于对应等级的平均吞吐率比值，由高优先级租户完成对数据块的缓存，高优先级租户的内存空间增加1个数据块对应的元数据大小，低优先级租户的内存空间减少1个数据块对应的元数据大小；否则由低优先级租户完成对数据块的缓存并恢复；(b)如果数据块不是高优先级租户与低优先级租户在单位时间周期内共同备份的数据，则由数据块所属租户完成对数据块的缓存并恢复。
关 键 词：
法律状态：生效
IPC专利分类号：H04L29/08(2006.01)I;H04L12/26(2006.01)I