需求发布 成果发布 科创案例库 揭榜挂帅
技术路演 会议展览 科创联合体 项目申报
前沿动态 科技政策 院士开讲 青托工程
科技服务团 学术资源
试点城市(园区) 双创活动周
协作站点 学会服务
问题库 项目库 开源库
English
您所在的位置: 成果库 一种Spark框架中Reduce任务执行方法、装置、设备及存储介质

一种Spark框架中Reduce任务执行方法、装置、设备及存储介质

发布时间: 2023-06-21

来源: 试点城市（园区）

基本信息

合作方式： 合作开发
成果类型： 发明专利
行业领域：
电子信息技术
成果介绍
本申请公开了一种Spark框架中Reduce任务执行方法、装置、设备及存储介质，包括：获取执行应用程序的Reduce任务所需Executor的第一数量，并确定Spark框架节点中可用Executor的第二数量；基于所述可用Executor之间的通信距离从所述第二数量个所述可用Executor中确定出所述第一数量个所述可用Executor，以得到与所述应用程序对应的具有低通信延迟的目标Executor集合。
成果亮点
所述通信距离表征所述可用Executor所在节点之间的通信延迟；在相应的Spark框架节点中启动所述目标Executor集合中的所述可用Executor，以利用启动后的所述可用Executor执行所述应用程序的Reduce任务。可见，本申请以通信距离作为主要考虑因素在Spark框架中将Executor启动在彼此靠近的节点上，以减少作业运行时Reduce任务之间的通信延迟，提高任务执行性能。
团队介绍
南华大学是由工业和信息化部、国家国防科技工业局、中国核工业集团公司、中国核工业建设集团公司与湖南省人民政府共建，成立于1958年的全日制公立综合性大学。学校由原隶属中国核工业部的中南工学院、核工业第六研究所与原隶属湖南省的衡阳医学院合并组建而成。学校座落在历史文化名城湖南省衡阳市市区，占地面积3000亩。团队成员有付仲明，何梦思，罗凌云，丁平尖，朱涛，万亚平。
成果资料
产业化落地方案
点击查看
成果综合评价报告

评价单位：- (-) 评价时间：2023-06-25

段斌

衡阳市科学技术协会

部长

综合评价

该技术具有较强的财务盈利能力，其财务净现值良好，投资回收期合理。综上所述，技术的经济和社会效益客观，技术的投产将改善优化当地产业结构，实现高质量发展的目标。
查看更多>
更多