科创中国
基于人机交互的个体行为、状态检测技术
发布时间: 2022-09-30
基本信息
合作方式：
技术服务
成果类型：
新技术
行业领域：
电子信息技术
成果介绍
一种基于人机交互的虚拟拍照综合系统及方法，涉及***硬件开发与人机交互领域。该方法可通过姿态、语音控制两种手段对虚拟拍照系统进行控制。姿态控制方法，使用人体骨骼夹角变化以及静态时人体姿态持续时间作为控制依据，具有较高的鲁棒性。语音控制方法，通过实时语音输入，经预处理后与语音库进行比对实现语音控制。虚拟拍照系统使用任意一张图片作为背景，使实际人物融合在背景中，实现虚拟照片的拍摄。具体过程包括：相机标定、背景选取、初步虚拟背景融合、色彩匹配。本发明立足人机交互，控制方法新颖，应用范围广，可提供自助式拍摄体验，可应用于博物馆、科技馆等活动的宣传、推广等方面。
成果亮点
可以根据语言控制实现背景图像的切换。利用***内部集成的麦克风组作为音频输入设备。经过噪声抑制(NS)、回声消除(AEC)以及自动增益控制(AGS)等多种预处理提高语音数据质量，尽可能地避免环境噪声的影响。通过Grammar-Builder类添加了“上一张”、“下一张”、“确定”3种语音命令，***的Speech Recognition Engine类是语音识别的核心，它负责从***传感器获取处理后的音频数据流，然后分析和解译这些数据流，然后匹配出最合适的语音命令。引擎给基本发声单元一定的权重，如果判断出发声包含特定待识别的命令，就通过事件进行进一步处理，如果不包含，直接丢掉这部分音频数据流。
团队介绍
天津科技大学电子信息与自动化学院拥有“仪器科学与技术”和“控制科学与工程”2个一级学科硕士点及 “电子信息”专业硕士点。拥有自动化、电气工程及其自动化、电子信息工程、通信工程、测控技术与仪器、机器人工程6个本科专业。学院以学科建设为重点，以培养适应社会需求的人才为宗旨。自动化专业和电气工程及其自动化专业，旨在办出强、弱电结合，软、硬件结合的宽口径自动化类专业，使学生具有更广阔的发展空间；测控技术与仪器专业在信息的采集与智能化技术方面具有较强的学科与科研实力；以研究信息的传递为主的电子信息工程、通信工程、机器人工程专业是社会急需专业，引领着技术时代的需求方向。为培养学生的创新创业能力，学院建设有开放的电子创新实验室，指导学生参加全国大学生电子竞赛、“恩智浦”智能车大赛、“互联网+”等大学生竞赛，近三年在国家级、省级等各类竞赛中获奖200多项。
成果资料
下载app