科创中国
基于Zlib压缩算法的云计算资源管理器通信延迟优化方法
发布时间: 2023-11-15
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
电子信息技术
成果介绍
本发明公开了一种基于Zlib压缩算法的云计算资源管理器通信延迟优化方法，该云计算管理器用于管理包含主节点和多个对应从节点的分布式计算框架，该方法包括：对于待发送的消息，从节点采用协议数据交换格式工具库Protobuf进行序列化并在网络层使用Zlib算法进行压缩后传递给主节点；主节点对接收到的消息，根据压缩消息的长度标识进行解压缩。本发明实现了有限的网络带宽下，高流量的并发消息传递时，有效地通信延迟优化。
成果亮点
1.一种基于Zlib压缩算法的云计算资源管理器通信延迟优化方法，该云计算管理器用于管理包含主节点和多个对应从节点的分布式计算框架，该方法包括以下步骤：
对于待发送的消息，从节点采用协议数据交换格式工具库Protobuf进行序列化并在网络层使用Zlib算法进行压缩后传递给主节点；
主节点对接收到的消息，根据压缩消息的长度标识进行解压缩。
2.根据权利要求1所述的方法，其中，在压缩消息之前，协议数据交换格式工具库Protobuf的字符串类型被修改为字节类型，并在消息中添加uint64类型的字段用于存储从节点的压缩消息的长度。
3.根据权利要求1所述的方法，其中，还包括根据以下步骤统计从节点和主节点之间消息传递的通信总延迟：
在每轮心跳时间间隔内，从主节点收到从节点发送的第一条消息开始，到主节点处理完从节点发送的最后一条消息结束，以时间差作为每轮心跳时间间隔的通信延迟；
累加每轮心跳时间间隔的延迟，作为最终的通信总延迟。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
下载app