一种结构化海量实时数据的动态存储优化方法
专利类型：发明专利
语 言：中文
申 请 号：CN201810270412.5
申 请 日：20180329
申 请 人：重庆大学
申请人地址：400044 重庆市沙坪坝区沙坪坝正街174号
公 开 日：20180824
公 开 号：CN201810270412.5
代 理 人：胡柯
代理机构：北京众合诚成知识产权代理有限公司 11246
摘 要：本发明公开了一种结构化海量实时数据的动态存储优化方法，它包括：设定数据甄别规范和时间阈值；读取数据；筛选并标记数据；建立动态双缓存区；对动态缓冲区中的数据建立混合索引；将动态缓存区中小于时间阈值的数据存入到动态实时数据库中；若动态缓存区中的数据超过时间阈值，将超过时间阈值的数据存入到关系型历史数据库中；将实时数据库中超过时间阈值的内存索引与硬盘索引合并；索引合并后，将实时数据库中的数据存入到关系型历史数据库中。本发明取得的有益效果是：能够在接收数据时，采用双缓冲区交替接收实时数据，或对实时数据进行处理后可以不间断的接收实时数据，使内存效率达到最大，降低了接收数据的延迟性。
主 权 项：1.一种结构化海量实时数据的动态存储优化方法，其特征在于，所述方法步骤如下：S1：设定数据甄别规范和时间阈值；S2：读取结构化实时数据；S3：筛选并标记出与甄别规范相对应的实时数据；S4：建立动态双缓存区，用于接收筛选并标记的实时数据；S5：对动态缓冲区中的标记数据与非标记数据分别建立混合索引；S6：将动态缓存区中小于时间阈值的标记数据和非标记数据分别存入到动态实时数据库的不同区域中，并使用内存池技术对内存进行管理；S7：若动态缓存区中的标记数据或非标记数据超过时间阈值，则将该动态缓存区超过时间阈值的数据存入到关系型历史数据库中；S8：将实时数据库中超过时间阈值的内存索引与硬盘索引合并；S9：在索引合并完成后，将实时数据库中的实时数据存入到关系型历史数据库中。
关 键 词：
法律状态：公开
IPC专利分类号：G06F17/30;G06F17/00;G;G06;G06F;G06F17;G06F17/30;G06F17/00