您所在的位置: 成果库 读写分离的数据更新方法及其装置、KV存储系统

读写分离的数据更新方法及其装置、KV存储系统

发布时间: 2022-06-21

基本信息

合作方式： 技术咨询
成果类型： 发明专利
行业领域：
新一代信息技术产业,信息传输、软件和信息技术服务业
成果介绍

 本申请涉及一种读写分离的数据更新方法及其装置、KV存储系统。所述方法包括：从外部文件读取记录；对读取的每条记录进行预定处理，将每条经过预定处理的记录写入数据文件；为每条写入数据文件的记录生成索引记录，并将生成的索引记录写入索引文件；将数据文件和索引文件存入分布式文件系统；通知查询服务组件进行索引文件更新操作，使得查询服务组件的本地与分布式文件系统存有相同的索引文件。本申请实施例通过读写分离来提高数据入库效率，此外，通过将数据和索引分为数据文件和索引文件，有利于根据需要实现快速动态扩容，进而提升写入能力和降低硬件成本。

主权利要求: 1.一种读写分离的数据更新方法，其特征在于，所述方法包括：从外部文件读取记录；对读取的每条记录进行预定处理，将每条经过所述预定处理的记录写入数据文件；为每条写入所述数据文件的记录生成索引记录，并将生成的索引记录写入索引文件；将所述数据文件和所述索引文件存入分布式文件系统；通知查询服务组件进行索引文件更新操作，使得所述查询服务组件更新本地的索引文件，以使所述查询服务组件的本地与所述分布式文件系统存有相同的索引文件；所述方法还包括：从所述分布式文件系统中获取每个表分区的全部索引文件；对每个表分区的每个索引文件进行遍历，以确定每个表分区的重复记录主键，所述每个表分区的重复记录主键是指在本分区中对应有超过一条索引记录的记录主键；获取每个表分区的每个重复记录主键对应的所有索引记录内容，并比较每个重复记录主键对应的各个索引记录内容之间的更新时间，将更新时间非最新的索引记录内容对应的索引记录确定为特定索引记录；删除每个表分区的每个索引文件中的特定索引记录；将每个表分区的每个已删除特定索引记录的索引文件上传至所述分布式文件系统，以替换对应的原始索引文件；通知所述查询服务组件进行索引文件更新操作。

成果亮点
团队介绍
成果资料