科创中国
基于CPU‑GPU异构集群的大数据一体机实现方法
发布时间: 2022-10-13
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
电子信息技术
成果介绍
本发明适用于云计算技术领域，提供了一种基于CPU-GPU异构集群的大数据一体机实现方法，所述方法包括：搭建一个计算机集群，所述计算机集群中包含一个配有CPU处理器的Master节点和其余配有CPU和GPU处理器的Slave节点；将CUDA安装在Slave节点上；选择Hadoop提供的MapReduce模型，为每个任务块启动一个Map任务，并将Map任务发送给Slave节点进行计算；Slave节点将接收到的Map任务划分成相应的比例后分给CPU或GPU，以执行Map和Reduce操作，并将操作结果发送给Master节点；Master节点接收各Slave节点反馈的操作结果，完成全部任务处理。
成果亮点
一种基于CPU-GPU异构集群的大数据一体机实现方法，其特征在于，所述方法包括：步骤一、搭建一个计算机集群，所述计算机集群中每个计算机作为一个节点，所述节点中包含一个配有CPU处理器的Master节点和其余配有CPU和GPU处理器的Slave节点，所述Master节点用于根据预定的任务调度策略对任务进行调度控制，所述Slave节点用于Map或Reduce的计算操作；步骤二、选择CUDA作为GPU的计算模型，并将所述CUDA安装在所述Slave节点上；步骤三、选择Hadoop提供的MapReduce模型，通过Master节点将任务划分成多个任务块，为每个任务块启动一个Map任务，并将所述Map任务发送给所述Slave节点进行计算；步骤四、所述Slave节点根据自身CPU与GPU的计算能力，将接收到的所述Map任务划分成相应的比例后分给所述CPU或GPU上空闲的计算单元，执行Map和Reduce操作，并将操作结果发送给所述Master节点；步骤五、所述Master节点接收各Slave节点反馈的操作结果，完成全部任务处理。
团队介绍
发明人：田盼;喻之斌;刘勇;杨洋;曾永刚;贝振东;须成忠
联系方式：0755-86392458
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案
成果综合评价报告
评价单位：- (-) 评价时间：2022-12-14
吴正斌
天津中科先进技术产业有限公司
总经理
综合评价
这个企业已经有一定的基础，建议与相关学会组织搭建平台，请学会以及研究所、大学和相关企业参与，可能会攻克难关，会对我们国家甚至世界所存在的问题提出解决的措施并做出贡献，前途可期。
查看更多>
下载app