科创中国
一种Spark GraphX参数调优方法、装置、电子设备及存储介质
发布时间: 2023-11-14
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本发明提供一种Spark GraphX参数调优方法、装置、电子设备及存储介质，该方法包括：获取Spark GraphX和RAPIDS的配置参数；将配置参数输入预建性能模型，预测运行Spark GraphX的程序运行时间；基于配置参数及所述程序运行时间，确定配置向量，配置向量用于表征配置参数‑程序运行时间的映射关系；采用优化算法对配置向量进行迭代搜索，得到最优配置参数。该方案可以实现Spark GraphX程序高性能的调参优化。
成果亮点
1.一种Spark GraphX参数调优方法，其特征在于，所述方法包括：
获取Spark GraphX和RAPIDS的配置参数；
将所述配置参数输入预建性能模型，预测运行所述Spark GraphX的程序运行时间；
基于所述配置参数及所述程序运行时间，确定配置向量，所述配置向量用于表征配置参数-程序运行时间的映射关系；
采用优化算法对所述配置向量进行迭代搜索，得到最优配置参数。
2.根据权利要求1所述的方法，其特征在于，所述性能模型的构建，包括：
获取训练数据集，所述训练数据集包括若干所述配置向量；
将所述训练数据集输入网络模型进行训练，得到所述性能模型。
3.根据权利要求2所述的方法，其特征在于，所述训练数据集的确定方法，包括：
获取随机配置参数；
收集所述Spark GraphX按照所述随机配置参数运行结束后对应的随机程序运行时间；
所述随机配置参数与所述随机程序运行时间，构成一个随机配置向量；
若干所述随机配置向量构成所述训练数据集。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
下载app