科创中国
多特征融合的人-物交互动作识别方法
发布时间: 2026-03-18
基本信息
合作方式：
技术转让
成果类型：
发明专利
行业领域：
生物与新医药技术,医药生物技术,医疗仪器技术、设备与医学专用软件
成果介绍
本发明涉及一种多特征融合的人‑物交互动作识别方法，通过提取视频序列帧进行数据处理。首先，采用基于深度学习的目标检测算法进行物体识别，提取物体的边界框及位置信息。然后，将骨骼数据和物体识别结果进行交叉融合，根据骨骼信息提取骨骼段之间的角度特征和关节之间的相对距离特征、物体到关节间的相对距离和角度特征并进行多特征融合。最后，本发明的方法将人与物体间的特征向量和人体关节间的特征向量整合后通过多层学习的分类方法对视频进行动作分类，从而可以更准确的完成视频的动作分类。
成果亮点
本成果研发了一种面向复杂交互场景的多特征融合动作识别方法。该方法突破传统仅关注人体姿态的局限，将人体骨骼数据与深度学习检测的物体位置信息进行深层次交叉融合。通过提取人体骨骼段角度、关节距离等自身特征，并创新性地引入物体到关节的相对距离与角度特征，构建了富含空间语义的人-物交互特征向量。最后采用多层学习方法进行分类，精准刻画了人与物之间的几何交互关系。实验证明，该方法显著提升了对“喝水”、“打电话”等复杂人-物交互动作的识别精度，为智能监控、人机协作及行为分析提供了关键技术支撑。
团队介绍
燕山大学 丁伟利 , 边双双 , 高原
成果资料
下载app