科创中国
一种增强深度学习算法鲁棒性的优化方法和系统
成果类型：: 发明专利
发布时间: 2023-02-07 11:08:02
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 郝建平 | 2023-02-24 14:59:09
本发明提供一种增强深度学习算法鲁棒性的优化方法和系统。所述优化方法包括：根据所述样本数据和向量化结果,得到测试样本与训练样本的概率密度比值，通过卷积层参数和高斯核宽度对所述概率密度比值进行建模得到建模后比值的估计值；根据建模后比值的估计值得到测试样本的概率密度的估计值；结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离；对最小化的KL距离的卷积层参数和高斯核宽度基于KLIEP算法进行反向求导得到更新后卷积层参数，以及进行交叉验证得到优化后的高斯核宽度并得到优化后的网络输出。
结合卷积结果以及基于KLIEP优化算法，对测试样本的概率密度和测试样本的概率密度的估计值之间的KL距离进行最小化,得到具有卷积层参数和高斯核宽度的最小化的KL距离；对最小化的KL距离的卷积层参数和高斯核宽度基于KLIEP算法进行反向求导得到更新后卷积层参数，以及进行交叉验证得到优化后的高斯核宽度；根据更新后卷积层参数和优化后的高斯核宽度,得到优化后的网络输出；所述对所述卷积结果进行池化运算,得到批量池化结果的步骤，具体为：对所述卷积结果中预设的2*2的区域进行取像素均值运算，得到批量池化结果。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分 析学习的神经网络，它模仿人脑的机制来解释数据，建立多层架构对于特征进行逐层抽象。 常规的流程有预处理，特征提取，特征选择，识别与预测。目前应用于图像识别、语音识别、 自然语言理解、天气预测、基因表达等领域.弥散张量图像配准。
卷积神经网络（convolutional neural network,CNN)是一种前馈神经网络，与传 统算法不同的是，卷积神经网络的相邻层之间的神经单元并不是全连接，而是部分连接，并 且对于一个卷积核的卷积运算权值共享，从而减少了参数个数，通过多次卷积与池化过程 达到特征提取的目的。利用卷积可以实现对图像模糊处理，边缘检测从而有利于特征提取， 利用池化运算可以较简便地对图像进行降维，从而减小参数与计算量，但是在利用卷积神 经网络算法处理图像数据时，经常会遇到当训练数据和测试数据的分布不同时，利用训练 数据学习得到的模型可能难以适用于测试数据，比如，在现实世界图像的光照条件与数据 库中的训练数据的光照条件无法做到统一。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明实施例的优化系统，通过运用KLIEP算法替代原有的最小二乘法，并通过基 于KLIEP的算法进行参数优化，有利于当训练数据和测试数据的分布不同时(对于图像来说 训练与测试数据的光照等条件有偏差），利用训练数据学习得到的模型依然适用于测试数 据，增强特征提取的鲁棒性与分类精度。对所述卷积结果中预设的2*2的区域进行取像素均值运算，得到批量池化结果Τρ， 也就是说，通过求相邻卷积结果的均值进一步缩小特征维度。
技术合作
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、修改、替换和变型。
下载app