基于多头注意力长短期记忆模型的语音情感识别方法(英文) |
| |
引用本文: | 赵焱,赵力,路成,李溯南,唐传高,连海伦.基于多头注意力长短期记忆模型的语音情感识别方法(英文)[J].东南大学学报,2022(2):103-109. |
| |
作者姓名: | 赵焱 赵力 路成 李溯南 唐传高 连海伦 |
| |
作者单位: | 1. 东南大学信息科学与工程学院;2. 东南大学生物科学与医学工程学院 |
| |
基金项目: | The National Natural Science Foundation of China(No. 61571106, 61633013, 61673108, 81871444); |
| |
摘 要: | 针对语音情感识别中不同表征空间的信息利用不足问题,提出了一种多头注意力的双层长短时记忆模型,用于充分挖掘有效的情感信息.该模型以具有时序情感信息的帧级别特征作为输入值,利用长短时记忆模块学习时域特征,设计了特征注意力模块和时间多头注意力模块,对长短时记忆模块的逐层输出值、特征注意力模块输出值、时间多头注意力模块输出值进行融合.结果表明,相比传统的长短时记忆模型,所提方法在eENTERFACE和GEMEP两个数据集上的识别准确率分别提升了14.6%和10.5%,从而证明了其在语音情感识别任务中的有效性.
|
关 键 词: | 语音情感识别 长短期记忆 多头注意力机制 帧级别特征 自注意力 |
|
|