基于ALBERT、Bi-GRU和注意力机制的文本情感分析

针对静态词向量方法不能很好地解决一词多义,长短时记忆网络参数量较多、训练时间过长等不足,提出将ALBERT预训练模型、双向门控循环单元、多头注意力机制融合在一起,构建了一个微博文本情感预测模型.首先,通过ALBERT模型获取文本动态词向量;然后采用双向门控循环单元提取文本特征;接着引入多层注意力机制捕获文本序列中的重要信息;最后,通过Softmax进行情感分类.实验结果表明：所提出的模型与传统模型相比,能有效提取文本的特征,与静态词向量相比,模型准确率提升1.76%,与长短时记忆网络相比,参数数量下降25%,训练效率提升20%,有较好的实用价值.     

基于线性注意力和类Transformer模型的语音情感识别

鉴于Transformer模型在自然语言处理等序列任务中的优异性能,提出了一种适用于语音情感识别任务的改进的类Transformer模型.为了减小Transformer模型中多头注意力单元内部由softmax运算引起的巨大时间消耗与内存开销,提出了一种新的线性自注意力计算方法,通过使用泰勒级数展开公式代替原来的指数函数...     

基于反向卷积的Bi-LSTM语音识别

语音本身具有一定的上下文相关性,而传统语音识别系统中的语言模型对历史信息记忆能力不足,无法充分学习语音序列的相关性。为解决该问题,提出一种基于反向卷积的双向长短时记忆(Bi-LSTM)网络的语音识别方法,该模型在反向长短时记忆单元通路末端增加了一个卷积层,再经过两个全连接层,最后通过分类器输出识别结果。将该模型与目前主流的深度学习模型进行实验对比,结果表明该模型能有效提高语音识别正确率。     

基于MHA-Lattice LSTM的中文命名实体识别

命名实体识别模型Lattice LSTM集成字信息和词信息,在路由词信息的过程中会退化成词模型,不能有效利用字信息内在关联性.针对上述问题,提出基于多头注意力机制的Lattice LSTM模型,获取字信息的内在关联和远距离语义信息,同时对模型进行调参优化与改进.在多个数据集上的实验验证,该模型相对于基线模型F1值提高了0.48％～1.11％.     

融入时空注意力机制的深度学习网络视频动作分类

为了减少基于深度学习动作识别过程中视频图像背景和冗余帧等对识别效果的影响,在深度学习框架中加入注意力机制,提出了一种利用长短时记忆(long short-term memory,LSTM)网络等强化特征提取的方法.首先,改进了数据处理方法,使用融入空间注意力机制的残差网络提取视频中的动作序列空间特征;其次,提出时序注意...     

基于Transformer编码器的多级表示与融合特征输入的语音情感识别方法（英文）

为了提高语音情感识别的准确度，探讨了将Transformer应用于语音情感识别的可能性.将对数梅尔尺度谱图及其一阶差分特征相融合作为输入，使用Transformer来提取分层语音表示，分析注意头个数和Transformer编码器层数的变化对识别精度的影响.结果表明，在ABC、CASIA、DES、EMODB和IEMOCAP语音情感数据库上，相比以MFCC为特征的Transformer,所提模型的精度分别提高了13.98%、8.14%、24.34%、8.16%和20.9%.该模型表现优于递归神经网络(RNN)、卷积神经网络(CNN)、Transformer等其他模型.     

基于线性注意力和类Transformer模型的语音情感识别（英文）

鉴于Transformer模型在自然语言处理等序列任务中的优异性能,提出了一种适用于语音情感识别任务的改进的类Transformer模型.为了减小Transformer模型中多头注意力单元内部由softmax运算引起的巨大时间消耗与内存开销,提出了一种新的线性自注意力计算方法,通过使用泰勒级数展开公式代替原来的指数函数,并根据矩阵乘积的关联性将softmax运算相对于输入序列长度的时间复杂度和空间复杂度从O(N~2)降至O(N),其中N为序列长度.在2个不同语言的情感语料库上进行实验.结果表明:所提出的线性注意力算法可获得与原始缩放点积注意力相近的性能,而模型训练过程中的时间和内存开销大幅降低;与原始的Transformer模型相比,改进后的模型具有更鲁棒的语音情感识别性能.     

基于改进E-EfficientNet的古陶瓷纹饰分类模型

为进一步提高古陶瓷纹饰分类精度，提出一种基于改进EfficientNet的古陶瓷纹饰分类模型。该模型通过引入高效率注意力机制(ECA)模块改进原主干网络EfficientNet-B0,有效捕获通道间的交互信息，利用跳跃连接在特征提取的最后一层加入ECA模块，获得古陶瓷纹饰注意力特征图，并利用迁移学习和Adam优化算法在古陶瓷纹饰数据集上进行实验验证。结果表明，改进后的E-EfficientNet模型在古陶瓷纹饰数据集上的识别准确率达到了99.26%,较改进前提高了2.48%;与同类轻量化模型ShuffleNet-V2和MobileNet-V3对比，识别准确率分别提高了2.10%和2.91%;与其他经典模型VGG、ResNet对比，不仅参数量大幅度减少，识别准确率均明显提高，可有效用于古陶瓷纹饰分类。     

基于多注意力的多变量时间序列特征选择方法

特征选择是避免维度诅咒的一种数据预处理技术。在多变量时间序列预测中,为了同时找到与问题相关性最大的变量及其对应时延,提出一种基于多注意力的有监督特征选择方法。该方法利用带有注意力模块和学习模块的深度学习模型,将原始二维时间序列数据正交分割成两组一维数据,分别输入两个不同维度的注意力生成模块,得到特征维度和时间维度的注意权重。两个维度的注意力权值点积叠加作为全局注意力得分进行特征选择,作用于原始数据后输入随学习模块训练不断更新至收敛。实验结果表明,所提出的方法在特征数小于10时可达到全量数据训练效果,与现有几种基线方法相比实现了最佳准确率。     

基于改进YOLOv5的小样本水下声呐图像目标检测

声纳图像目标检测在水下救援和资源勘探中具有重要意义。传统的声纳目标检测技术存在智能化程度低、鲁棒性差、实时性差、识别精度低等问题。尽管许多基于卷积神经网络的目标检测算法在自然图像中取得了很大的成功。然而,对于水下声纳图像来说,海底混响噪声干扰、前景目标区域像素占比低、成像分辨率差等问题对实现准确的水下目标检测提出了相当大的挑战。为了解决这些问题,文章基于YOLOv5目标检测模型提出了一种新的声纳图像目标检测器。首先,在原有Backbone的基础上基于多头注意力机制引入C3MHSA模块和SE注意机制,提高模型的收敛性和提取目标形状和空间有效特征的能力。此外,在Backbone中加入RFB模块,提高网络在高感受野存在的情况下学习重要信息的能力。实验结果表明,改进后的Yolov5网络的m AP@0.5值为98.9%,较原始YOLOv5模型有了全面大幅提升,明显优于现有方法。     

引入双循环机制深度学习模型的文本情感分析

深度神经网络模型通常使用注意力机制或融合卷积神经网络来提取特征,但由于注意力机制抓取的特征过于单一,存在提取特征不完善的问题。 将循环机制引入卷积神经网络中,构建了具有双循环结构的网络模型(DRCNN),从而改善模型的特征提取能力,将其与双向长短期记忆网络结合,提出一种带有注意力机制、特征提取能力更强的混合模型(BiLSTM-DRCNN)并应用于情感分类任务中。通过情感分类的实验分析表明,BiLSTM-DRCNN 神经网络模型具有比较好的性能,与融合卷积神经网络(CNN)和双循环长短期记忆神经网络(BiLSTM)模型相比,综合评价指标提高2%以上;与BiLSTM-CNN、Fusion Model 模型相比,综合评价指标提高了近1%,且收敛速度更快。     

基于通道注意力的人脸表情识别

目的:解决通道注意力提取过程中各个通道信息利用不充分、交互性不足的问题。方法:提出一种基于SENet改进的通道注意力模型。本模型利用Inverted Bottleneck提取更加完整的通道信息。将GELU函数引入表情识别,以改善网络升维操作带来的过度融合问题。同时利用信息熵判断不同卷积核生成特征图的重要程度,为网络引入更多的归纳偏置。结果:在CK+和Oulu-CASIA库人脸表情数据集上的正确率分别达到95.92%和91.21%。结论:本方法能够更加充分地利用各通道特征,在有效提升准确率的同时具有较好的泛化能力。     

基于Att-CN-BiLSTM模型的中文新闻文本分类

将卷积神经网络（CNN）和双向长短期记忆神经网络（BiLSTM）相结合,提出一种基于注意力机制的Att-CN-BiLSTM中文新闻文本分类模型.模型通过注意力机制有效融合了CNN层和BiLSTM层提取的新闻文本语义特征.在THUCnews新浪新闻数据集上与CNN、BiLSTM及其改进模型进行对比实验,模型分类准确率达到98.96%,精确率、召回率和F1值指标也都优于对比模型,实验结果表明Att-CN-BiLSTM模型可以有效提升中文新闻文本分类效果.     

基于深度记忆网络的特定目标情感分类研究

特定目标情感分类不仅依赖于上下文信息,还需结合特定目标的特征信息,是一种细粒度的情感分析。针对特定目标情感分类提出了一种基于深度记忆网络的分类模型。该模型以双向LSTM和注意力机制为主干框架,从双向LSTM中抽取出目标的特征表示,将目标特征信息加入句子表示中,并加入多计算层（Hops）结构,用以挖掘句子和目标更深层次的情感特征信息,每个计算层的结构类似,共享参数。最后在SemEval2014和SemEval2016数据集上进行实验,取得了比其它基准模型更好的效果。     

基于二维情感空间的语音情感识别

为提高语音情感的正确识别率,在利用反映"激发维"维度信息的韵律特征基础上,提出了采用反映"评价维"维度信息的音质特征作为新的情感特征使用。再将韵律特征参数和音质特征参数结合并用于语音情感识别,并采用支持向量机分类器实现对汉语生气、高兴、悲伤、厌烦和中性五类情感的识别。试验结果表明,基于"激发维"和"评价维"二维情感空间取得的情感总体平均正确识别率为84%,比基于"激发维"一维情感空间取得的识别率高出了12%。可见同时考虑从"激发维"和"评价维"二维情感空间进行语音情感识别,识别结果得到了较大改善。     

融合情感符号的自注意力BLSTM情感分析

利用深度学习方法进行情感分析时,将文本作为一个整体进行编码,缺乏对表情符号与情感词的有效关注。而传统基于词典的方法则过分依赖于情感词典与判断规则的质量,不能充分考虑文本深层语义关系。针对该问题,构建融合表情符号与情感词的自注意力模型。通过BLSTM训练得到情感符号,并与文本特征向量融合,同时引入结构化自注意力机制识别文本中不同情感符号的情感信息。在NLPCC2014和微博公开语料数据集上的实验表明,相较传统情感分析方法,该模型可有效提高情感分类准确率。     

基于认知评估的多维耳语音情感识别（英文）

研究了基于认知评估原理的多维耳语音情感识别.首先,比较了耳语音情感数据库和数据采集方法,研究了耳语音情感表达的特点,特别是基本情感的表达特点.其次,分析了耳语音的情感特征,并通过近年来的文献总结相关阶特征在效价维和唤醒维上的特征.研究了效价维和唤醒维在区分耳语音情感中的作用.最后,研究情感识别算法和应用耳语音情感识别的高斯混合模型.认知能力的评估也融入到情感识别过程中,从而对耳语音情感识别的结果进行纠错.基于认知分数,可以提高情感识别的结果.实验结果表明,耳语音信号中共振峰特征与唤醒维度不显著相关,而短期能量特征与情感变化在唤醒维度相关.结合认知分数可以提高语音情感识别的结果.     

CNN结合BLSTM的短文本情感倾向性分析

情感分析在业界被广泛应用于产品分析、商品推荐等方面,具有很高的商业价值。目前常用的研究方法主要基于机器学习算法和基于词典的方法,该类方法通常需依赖复杂的人工规则和特征工程。针对传统情感分类方法需要人工干预的问题,总结目前已有可用于情感分析的深度学习方法,提出将卷积神经网络（CNN）和双向长短时记忆网络（BLSTM）进行组合,并将融合后的特征添加至注意力机制,设计出CBLSTM-Attention模型。实验表明,该模型在中文数据集上准确率达0.965 0,在NLPCC英文数据集上准确率达0.942 2,证明该方法不仅可提高文本情感倾向性分析的准确率,而且可有效解决人工干预问题。     

基于BERT+BiLSTM+Attention的对抗训练新闻文本分类模型

新闻文本分类是长文本分类的典型问题，因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers, BERT)和双向长短时记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)以及注意力机制的对抗训练分类模型(BBA-AT).将预处理新闻文本数据经过BERT进行训练得到词嵌入编码，在训练后的词向量级别上进行扰动达到数据增广的效果，以此来进行对抗训练，之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的BBA-AT模型F₁值在TNEWS数据集上比BERT模型提升了1.34%.     

利用学习者画像实现个性化课程推荐

在"互联网+"在线学习环境下,探索符合学习习惯和偏好的个性化推荐路径能够降低学习者学习的盲目性、提升学习者在线学习体验.文章提出了一种基于学习者画像的个性化课程推荐方法,首先,利用爬虫技术获得Bilibili网站30多万名学习者的数据,然后对学习者学习数据进行定量分析,尤其是在个性化特征最明显的情感表达方面,采用了基于注意力机制的双向长短时记忆网络进行情感分析,从而构建了包含学习者基本信息、行为和弹幕文本三个维度的学习者画像特征模型.在此基础上,利用深度神经网络建立了教学资源与学习者画像之间的关系模型,用该模型预测学习者新的学习需求.实验结果表明,当学习者登录后,输入要选择的课程,模型能够根据学习者画像推荐相似学习者学习过的课程,提供个性化课程推荐服务,且推荐评价指标也表明该模型能够提高推荐性能.