科创中国
基于Transformer轻量化模型的图像分类方法
发布时间: 2026-05-18
基本信息
合作方式：
技术转让
成果类型：
发明专利
行业领域：
电子信息技术,信息安全技术,计算机及网络技术
成果介绍
本发明公开了一种基于Transformer轻量化模型的图像分类方法，属于深度学习图像分类的领域，包括以下步骤：S1:对ShuffleNetV2的基本模块和下采样模块进行改进，ShB模块是在基本模块中加入了跳跃连接和ECA，将下采样模块与多特征提取、ECA和Ghost模块相结合提出ShD模块；S2：根据ViT模块提出一种局部和全局信息交互的ShT模块；S3：将ShD与ShB和ShT模块进行有效设计堆叠，构建ShViT网络；S4：ShViT网络在分类数据集上进行训练及测试，得到分类结果。本发明搭建了参数量低、所需内存资源低的轻量化网络模型ShViT，能够在参数量减少的情况下实现较好的分类性能。
成果亮点
本成果提出了一种基于Transformer轻量化模型的图像分类方法，成功解决了传统ViT模型因自注意力计算复杂度与输入图像尺寸平方成正比，导致在边缘设备上推理速度慢、内存占用大的行业核心难题。该方法通过稀疏注意力与局部增强卷积的混合结构，在保持全局建模能力的同时将计算量降低一个数量级，在ImageNet等标准数据集上以更低的算力消耗取得了与主流Transformer相媲美的分类精度，实现了精度与效率的绝佳平衡。
团队介绍
燕山大学坐落于河北省秦皇岛市，是一所以工学为主，文学、理学、经济学、管理学、法学、艺术学、教育学等多学科协调发展的全国重点大学。学校源于哈尔滨工业大学，始建于1920年，1960年独立办学定名为东北重型机械学院，1997年整体南迁至秦皇岛并更名为燕山大学。学校是河北省人民政府、教育部、工业和信息化部、国家国防科技工业局四方共建高校，拥有雄厚的师资力量和科研实力，特别是在机械工程、材料科学与工程等学科领域享有盛誉，为国家培养了大批高素质人才。
成果资料
产业化落地方案
下载app