科创中国
基于标签传递的资源动态调整系统及方法
发布时间: 2023-11-15
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本发明涉及一种基于标签传递的资源动态调整方法，涉及数据处理技术领域，尤其涉及基于标签传递的资源动态调整系统及方法，应用于分布式计算系统，所述系统包括需求管理装置和资源池管理装置；所述需求管理装置，获取当前提交的分布式计算框架作业请求；所述资源池管理装置,根据当前提交的分布式计算框架作业请求和负载大小的不同，从而通过标签机制向分布式计算框架发送扩容或缩减资源标签，动态地将任务实际申请的资源量扩容或缩减。本发明能够通过资源的动态调整，更加合理地优化资源配置，有效利用有限的集群资源，达到“既不牺牲批处理任务的性能，又能降低流处理任务的尾延迟”的效果。
成果亮点
1.一种基于标签传递的资源动态调整系统，应用于分布式计算系统，其特征在于：包括需求管理装置和资源池管理装置；
所述需求管理装置，获取当前提交的分布式计算框架作业请求；
所述资源池管理装置,根据当前提交的分布式计算框架作业请求和负载大小的不同，从而通过标签机制向分布式计算框架发送扩容或缩减资源标签，动态地将任务实际申请的资源量扩容或缩减。
2.根据权利要求1所述的基于标签传递的资源动态调整方法，其特征在于，所述资源池管理装置包括资源管理模块A1和标签推送模块A2，
所述资源管理模块A1负责接收各个slave节点传送过来的资源信息，记录和更新每个slave节点的资源状态变化；所述资源信息包括机器的CPU型号，CPU核数，CPU三级缓存大小，内存频率，内存容量和硬盘容量；
所述标签推送模块A2，收集slave节点发过来的心跳信息，统计、整理和计算出整个集群的CPU和内存负载。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
下载app