科创中国
基于层次存储介质的数据调度方法
成果类型：: 发明专利
发布时间: 2023-02-08 09:42:23
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 郝建平 | 2023-02-16 14:32:39
本发明涉及计算机领域的存储技术，提供了一种基于层次存储介质的数据调度方法，该方法包括如下步骤：存储自动分级；定向存取；监控数据访问操作；数据估值；数据迁移。本发明使集群能够使用层次存储介质进行合理的数据调度，访问性能高，成本低。如果系统中该数据分段有多个副本，确定距离较近的迁移源和迁移目标，迁移源优先选择剩余空间较少、负载轻的节点，迁移目标优先选择负载轻的节点；所述迁移控制模型为：进行迁移速率控制，使用多线程分批次执行所述数据迁移任务，降低迁移过程对集群中节点访问性能的影响。
一种基于层次存储介质的数据调度方法，其特征在于，所述方法包括如下步骤：存储自动分级：hadoop集群启动，根据主机名将各个节点划分为不同的存储层次；定向存取：选择距离近、存储层次高的空闲节点存储和读取文件；监控数据访问操作：记录文件访问信息，并判断迁移时机是否到来，若迁移时机到来，则执行下述操作；数据估值：根据访问记录，使用信息估值模型对数据进行估值；数据迁移：根据所述数据的估值结果，判断数据的位置是否满足数据越热存储层次越高的特点，若不满足，则进行数据迁移，使得数据的位置满足数据越热存储层次越高的特点。
随着互联网的普及，数据量呈爆炸性增长。这些数据的存储就成了很多企业需要考虑的重点问题。目前用于存储数据的设备，常见的有硬盘、光盘、磁带、闪存卡等。不同的设备，存储数据的方式不同，访问性能有差异，价格也有区别。通常情况下，访问性能越好，单位容量的价格就越高。很多企业都希望能够用最小的成本达到最佳的性能，达到性能与成本最佳的权衡，这就需要将多种不同特性的存储介质组合多个层次统一使用，这种存储介质被称为层次存储介质。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
在队列中所有数据分段都确定了迀移方向后，如果系统中该数据分段有多个副本，确定距离较近的迀移源和迀移目标，迀移源优先选择剩余空间较少、负载轻的节点，迀移目标优先选择负载轻的节点。本实施例充分考虑到数据块存储位置有多个的情况，选择迀移源与迀移目标时考虑到了两者的剩余空间和距离，尽量缩短迀移时间。本实施例在hadoop集群的分布式文件系统HDFS中实现了分级存储技术，建立多层次存储架构，使得hadoop集群能够使用层次存储介质进行合理的数据调度，实现数据在各层存储介质间透明迀移，且不影响集群的服务质量，使集群的访问性能较高而成本较低。
技术合作
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
下载app