科创中国
一种Spark程序关于配置参数的敏感度分析方法
成果类型：: 发明专利
发布时间: 2023-11-09 15:10:43
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-20 11:52:03
本发明公开了一种Spark程序关于配置参数的敏感度分析方法。该方法包括：针对Spark程序的配置参数集合，随机生成若干个有差异的配置参数构成敏感度测试组；利用所述敏感度测试组中的每个配置参数运行Spark程序，获得各配置参数对应的真实运行时间，并计算运行时间的标准差；基于所述运行时间的标准差和设定阈值的比较，判断当前Spark程序对各配置参数的敏感度，进而利用敏感度确定所分配的优化时间。本发明可以有效地表征待优化Spark程序关于配置参数的敏感度，解决了“高时间成本，低优化收益”问题。
1.一种Spark程序关于配置参数的敏感度分析方法，包括以下步骤：
步骤S1：针对Spark程序的配置参数集合，随机生成若干个有差异的配置参数构成敏感度测试组；
步骤S2：利用所述敏感度测试组中的每个配置参数运行Spark程序，获得各配置参数对应的真实运行时间，并计算运行时间的标准差；
步骤S3：基于所述运行时间的标准差和设定阈值的比较，判断当前Spark程序对各配置参数的敏感度，进而利用敏感度确定优化空间。
2.根据权利要求1所述的方法，其特征在于，所述敏感度测试组根据以下步骤获得：
针对Spark程序的配置参数集合，生成基础随机配置参数集；
对该基础随机配置参数集使用n次扰动操作，从而得到n个Spark配置参数，将这n个配置参数构成敏感度测试组。
3.根据权利要求2所述的方法，其特征在于，所述针对Spark程序的配置参数集合，生成基础随机配置参数集包括：
针对布尔型配置参数，随机生成True或者False取值；
针对类别型配置参数，从可选类别中随机选择并生成相应的参数；
针对连续型参数：根据实际的物理资源，确定取值范围并在该范围内随机生成的整数型或者浮点型参数。
优化性能： 通过敏感度分析，你可以找到最优的参数配置，以最大化程序的性能。这对于大规模数据处理任务特别重要。
成本效益分析： 如果你使用云服务，不同的配置可能会导致不同的费用。通过敏感度分析，你可以找到在给定性能水平下的最经济的配置。
调优决策支持： 在程序设计和调优过程中，敏感度分析可以提供对不同设计选择的洞察，帮助你做出明智的决策。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
选择关键参数： 从你的Spark程序中选择一些关键的配置参数，这些参数可能影响程序的性能或结果。例如，可以选择调整并行度、内存分配、缓存大小等参数。
参数范围设置： 为每个选择的参数定义一个范围。这可以是参数的取值范围，也可以是增量步长。例如，如果你关心并行度，可以定义一个并行度的范围，例如从2到10，以及一个增量步长，比如每次增加2。
设计实验： 对于每个参数的组合，运行Spark程序。确保使用相同的输入数据和其他环境设置，以便比较不同参数组合的性能。
性能度量： 确定一个或多个性能度量标准，这些标准可以衡量程序的性能。例如，可以关注任务完成时间、内存使用量、CPU利用率等。
收集数据： 记录每个参数组合下的性能度量数据。这将帮助你后续分析不同参数值的影响。
分析结果： 使用收集到的数据进行分析。可以使用图表、统计方法等工具，比较不同参数值下的性能表现。这将帮助你识别哪些参数对程序的性能产生了最大的影响。
技术转让
在Spark程序中进行配置参数的敏感度分析是一种有趣且实用的方法，它可以帮助你了解不同参数对程序性能和结果的影响。
下载app