科创中国
基于层次存储介质的数据调度方法
发布时间: 2023-02-08
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
电子信息技术
成果介绍
本发明涉及计算机领域的存储技术，提供了一种基于层次存储介质的数据调度方法，该方法包括如下步骤：存储自动分级；定向存取；监控数据访问操作；数据估值；数据迁移。本发明使集群能够使用层次存储介质进行合理的数据调度，访问性能高，成本低。如果系统中该数据分段有多个副本，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点；所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。
成果亮点
一种基于层次存储介质的数据调度方法，其特征在于，所述方法包括如下步骤：存储自动分级：hadoop集群启动，根据主机名将各个节点划分为不同的存储层次；定向存取：选择距离近、存储层次高的空闲节点存储和读取文件；监控数据访问操作：记录文件访问信息，并判断迁移时机是否到来，若迁移时机到来，则执行下述操作；数据估值：根据访问记录，使用信息估值模型对数据进行估值；数据迁移：根据所述数据的估值结果，判断数据的位置是否满足数据越热存储层次越高的特点，若不满足，则进行数据迁移，使得数据的位置满足数据越热存储层次越高的特点。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案
成果综合评价报告
评价单位：- (-) 评价时间：2023-04-18
吴正斌
天津中科先进技术产业有限公司
总经理
综合评价
这个企业已经有一定的基础，建议与相关学会组织搭建平台，请学会以及研究所、大学和相关企业参与，可能会攻克难关，会对我们国家甚至世界所存在的问题提出解决的措施并做出贡献，前途可期。
查看更多>
下载app