一种基于多输出特征融合的BLSTM的语音情感识别方法
成果类型:: 发明专利
发布时间: 2023-12-29 08:53:27
本发明公开了一种基于多输出特征融合的BLSTM的语音情感识别方法,该方法包括:对语音情感数据库中的的语音样本进行预处理;提取常用的传统特征以及改进的新特征;对提取的特征进行BP算法特征优选;将提取好的优选特征随机选择65%的样本作为训练集,送入到多输出特征融合的BLSTM网络模型中进行训练,用Adam算法作为网络的优化器,获得优化后的网络模型;利用S4优化得到的三层六个输出特征融合的BLSTM网络模型,将剩下的35%的样本作为测试集,对其进行情感分类,对EMODB语音情感数据库中全部的情感样本进行分类,完成语音的情感识别。本发明方法提出的多输出特征融合的BLSTM网络模型,其能有效提高网络的分类效果,提高识别率,降低算法的时间复杂度。
本发明的目的在于克服现有技术的不足,而提供一种基于多输出特征融合的BLSTM的语音情感识别方法。该方法考虑到语音的时序性,以及后文对前文的影响,即编码从后到前的信息,选择BLSTM(Bidirectional Long Short Term Memory Network,双向长短时记忆网络),同时利用历史和未来的信息,以更好的捕捉双向的语义依赖。还可以为网络提供额外的上下文,并导致更快,甚至更充分的学习。在此基础上,从ResNet的跨层连接得到启发,考虑到LSTM不同层都有输出,如果结合在一起,特征能更充分的利用,把BLSTM不同层的输出经过全连接层变换,得到的各个层的特征相加,实现当前特征与浅层特征的融合,再对融合得到的特征分类,得到最终的预测结果。BLSTM的每一层特征相加融合,实际上是用低层网络信息补充高层网络信息,输出更多的特征信息,减少情感信息的丢失。而输入采用优选特征的方式,可以降低算法的时间复杂度,降低网络模型的训练难度,方便硬件平台的移植等。
基于多输出特征融合的BLSTM的语音情感识别方法(Amulti-outputfeaturefusingBLSTMmethodforspeechemotionrecognition)是一种基于深度学习技术的情感识别方法,用于识别语音中的情感状态。它可以广泛应用于许多领域,包括但不限于语音交互、语音识别、自然语言处理、心理健康、语音分析和情感计算。以下是一些应用前景的例子:
语音交互:这项技术可以用于语音控制的智能家居设备、车载语音控制系统、智能语音助手和语音控制的游戏设备。
语音识别:这项技术可以用于语音转文字、会议记录和语音识别输入法等应用程序。
自然语言处理:这项技术可以用于情感分析、智能聊天机器人、机器翻译和语音分类等应用程序。
心理健康:这项技术可以用于情感识别和心理健康监测等应用程序,帮助人们更好地了解自己的情感状态并提供相应的帮助。
语音分析:这项技术可以用于语音数据分析,例如语音质量评估、语音信号处理和语音识别等。
总之,基于多输出特征融合的BLSTM的语音情感识别方法具有广泛的应用前景,可以应用于许多不同领域的应用程序。随着深度学习技术的不断发展,这项技术可能会在未来得到更加广泛的应用。
广西师范大学地处世界级旅游城市、国家历史文化名城桂林,是国家教育部与广西壮族自治区人民政府共建高校,“中西部高校基础能力建设工程项目”高校,广西重点建设的“国内一流大学”高校,全国文明校园。有王城、育才、雁山3个校区,校园面积4100多亩,各类学生50000多人,各类教职工4000多人(含离退休人员)。学校已发展成为广西教师教育的“领头羊”、人文强桂的“主力军”、科技兴桂的“生力军”、广西国际教育的“排头兵”。目前,学校正全力推进“双一流”建设和综合改革,努力实现建设国际知名、教师教育特色鲜明的国内一流大学的目标。
本发明提出一种基于多输出特征融合的BLSTM的语音情感识别方法,该方法创新性的提出将优选特征作为输入方式的语音情感识别框架结构,降低了算法的时间复杂度,从ResNet网络的跨层连接出发,考虑到BLSTM不同层的输出,如果结合在一起,特征能更充分的利用,输出更多的特征信息,以减少语音情感信息的丢失。本发明方法提出的多输出特征融合的BLSTM网络模型,其能有效提高网络的分类效果,提高识别率,降低算法的时间复杂度。
技术转让,许可,合作所需资金需双方协商,此项技术想尽快落地保定,希望具备此项技术研发的技术方,能够尽快承接此项目。