科创中国
一种Spark程序关于配置参数的敏感度分析方法
发布时间: 2023-11-09
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本发明公开了一种Spark程序关于配置参数的敏感度分析方法。该方法包括：针对Spark程序的配置参数集合，随机生成若干个有差异的配置参数构成敏感度测试组；利用所述敏感度测试组中的每个配置参数运行Spark程序，获得各配置参数对应的真实运行时间，并计算运行时间的标准差；基于所述运行时间的标准差和设定阈值的比较，判断当前Spark程序对各配置参数的敏感度，进而利用敏感度确定所分配的优化时间。本发明可以有效地表征待优化Spark程序关于配置参数的敏感度，解决了“高时间成本，低优化收益”问题。
成果亮点
1.一种Spark程序关于配置参数的敏感度分析方法，包括以下步骤：
步骤S1：针对Spark程序的配置参数集合，随机生成若干个有差异的配置参数构成敏感度测试组；
步骤S2：利用所述敏感度测试组中的每个配置参数运行Spark程序，获得各配置参数对应的真实运行时间，并计算运行时间的标准差；
步骤S3：基于所述运行时间的标准差和设定阈值的比较，判断当前Spark程序对各配置参数的敏感度，进而利用敏感度确定优化空间。
2.根据权利要求1所述的方法，其特征在于，所述敏感度测试组根据以下步骤获得：
针对Spark程序的配置参数集合，生成基础随机配置参数集；
对该基础随机配置参数集使用n次扰动操作，从而得到n个Spark配置参数，将这n个配置参数构成敏感度测试组。
3.根据权利要求2所述的方法，其特征在于，所述针对Spark程序的配置参数集合，生成基础随机配置参数集包括：
针对布尔型配置参数，随机生成True或者False取值；
针对类别型配置参数，从可选类别中随机选择并生成相应的参数；
针对连续型参数：根据实际的物理资源，确定取值范围并在该范围内随机生成的整数型或者浮点型参数。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案
下载app