科创中国
分级存储节能方法
成果类型：: 发明专利
发布时间: 2023-02-08 09:34:45
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 郝建平 | 2023-02-16 14:36:24
本发明提供一种分级存储节能方法，所述方法包括以下步骤：存储自动分级：集群启动，自动识别各主机所处于的存储层次，并按照比例将存储层次低的节点调整为节能模式；定向存取：选择距离近、存储层次高的存储层存储和读取文件；寻找热数据：记录文件中各数据块的访问信息，根据所述记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列。本发明的分级存储方法保证了集群的节能。
一种分级存储节能方法，其特征在于，所述方法包括以下步骤: 存储自动分级:hadoop集群启动，利用主机名识别各主机所处于的存储层次，并按照比例将存储层次低的节点调整为节能模式； 定向存取:选择距离近、存储层次高、正常工作模式的存储层存储和读取文件； 寻找热数据:记录文件中各数据块的访问信息，判断迀移时机，当迀移时机到来时，根据记录信息，得出每个访问数据块的价值，按照价值从高到低形成队列;通过信息估值模型处理所述记录信息，数据块的访问信息包括访问用户、访问时间以及数据块信息； 数据块迀移:将价值高的数据块迀移到存储层次高的存储层，将价值低的数据块迀移到存储层次低的存储层;通过队列过滤模型和路径匹配模型，在信息估值模型处理后得到的数据块值队列的基础上，形成具体的数据迀移任务，利用迀移控制模型完成数据迀移;所述队列过滤模型为:根据阈值过滤掉不需要迀移的数据分段，过滤后形成的队列中的所有数据分段都已经确定迀移方向，阈值反映了本存储层次上前一次的迀移结果;所述路径匹配模型为:在队列中所有的块都确定了迀移方向后，确定距离较近的迀移源和迀移目标，迀移源优先选择剩余空间较少、负载轻、正常工作模式的节点
随着数据量的爆炸式增长，存储和处理海量数据的服务器集群越来越普遍。这些服务器集群的能耗问题，越来越引起人们的关注。据统计，在构建一个服务器集群的成本中，仅服务器和冷却系统的电力消耗就占据了20%，而大部分服务器在多数时候都处于低负载状态，普遍不高于30%，造成了很大的电力浪费。为了尽力减少这种电力浪费带来的不必要的损失，集群节能技术应运而生。目前集群的节能技术，其关键点是将集群中的任务集中运行在个别服务器上，而其他服务器调整为节能状态或关掉，从而达到集群节能的目的。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明的分级存储节能方法在集群实现分级存储技术，使用分级存储的方法，在集群中使用层次存储介质，将访问热点固定在较高层次的存储上，按照比例将存储层次低的节点调整为节能模式，保证了集群的节能并节约了成本。本发明的分级存储节能方法使用分级存储的方法，在hadoop集群中使用层次存储介质，将访问热点固定在较高层次的存储上，这样就不需要对任务进行迀移，只需将低层次的存储节点处于节能状态即可。这样保证了集群的节能，又能使得集群中的个别服务器不会成为访问的瓶颈，一举两得。
技术合作
可以理解的是，对于本领域的普通技术人员来说，可以根据本发明的技术构思做出其他各种相应的改变与变形，而所有这些改变与变形都应属于本发明权利要求的保护范围。
下载app