基于线性注意力和类Transformer模型的语音情感识别（英文）

鉴于Transformer模型在自然语言处理等序列任务中的优异性能,提出了一种适用于语音情感识别任务的改进的类Transformer模型.为了减小Transformer模型中多头注意力单元内部由softmax运算引起的巨大时间消耗与内存开销,提出了一种新的线性自注意力计算方法,通过使用泰勒级数展开公式代替原来的指数函数,并根据矩阵乘积的关联性将softmax运算相对于输入序列长度的时间复杂度和空间复杂度从O(N~2)降至O(N),其中N为序列长度.在2个不同语言的情感语料库上进行实验.结果表明:所提出的线性注意力算法可获得与原始缩放点积注意力相近的性能,而模型训练过程中的时间和内存开销大幅降低;与原始的Transformer模型相比,改进后的模型具有更鲁棒的语音情感识别性能.     

Transformer架构下的稠密NRSfM网络实现

针对单目三维稠密重建任务传统方法可扩展性较低的特点,基于Transformer架构改进出能使用深度学习方法求解的三维运动重建网络,并提高网络的三维重建精度.修改Transfomer架构的查询矩阵、键矩阵和值矩阵,并使用点积与Moore-Penrose伪逆操作替换Transformer中的点积注意力.将传统三维非刚体运动...     

基于LT-YOLOv5s的PCB缺陷检测方法

针对传统PCB缺陷检测算法检测准确度低、实时性差等问题，提出一种改进的YOLOv5s网络PCB缺陷检测方法。针对缺陷特性，去除大目标的检测尺度，保留中小目标检测尺度；在网络模型末端用Transformer替代BottleneckCSP模块，提升了网络模型捕获目标特征的能力；结合坐标注意力模块，提升模型的性能并减少参数。以某PCB数据集为测试对象，结果表明，改进后的算法平均精度均值(mAP)达到99.04%,平均检测速度为19ms/帧，改进后的算法能够更加快速有效的检测出PCB缺陷。     

基于层次注意力模型的软件众包定价方法研究

为了解决软件众包任务定价决策阶段可用信息有限的问题,提出一种基于层次注意力模型的软件众包定价方法。利用层次注意力模型提取软件众包任务需求文本语义特征,可以在需求文本中自动发掘与任务价格相关的有效信息。此外,将文本划分成词和句两个层次对全文进行有重点的表示,可以更好地表示文本特征。实验结果表明,该方法能够有效克服生产环境的局限性,降低特征提取难度,并在一定程度上提高了预测性能。     

基于多头注意力长短期记忆模型的语音情感识别方法（英文）

针对语音情感识别中不同表征空间的信息利用不足问题,提出了一种多头注意力的双层长短时记忆模型,用于充分挖掘有效的情感信息.该模型以具有时序情感信息的帧级别特征作为输入值,利用长短时记忆模块学习时域特征,设计了特征注意力模块和时间多头注意力模块,对长短时记忆模块的逐层输出值、特征注意力模块输出值、时间多头注意力模块输出值进行融合.结果表明,相比传统的长短时记忆模型,所提方法在eENTERFACE和GEMEP两个数据集上的识别准确率分别提升了14.6%和10.5%,从而证明了其在语音情感识别任务中的有效性.     

基于注意力机制的DenseNet模型的树种识别应用

随着图像识别分类技术的发展,该技术被人们应用到工农业生产各个领域,以提高其工作质量和效率。在特殊领域背景复杂数据集分类任务中,为增强神经网络的分类能力,降低参数冗余,提高训练效率,提出一种基于注意力机制的DenseNet模型。该神经网络能够通过添加注意力机制获取图像重要信息,以解决数据敏感问题,提高网络整体性能。在复杂树种叶片公开数据集Leafsnap和公共数据集SVHN上分别取得了91.25%和98.27%的分类精确率。实验结果表明,基于注意力机制的DenseNet模型分类效果明显优于其他网络模型。     

基于多尺度特征注意的遥感图像语义分割方法

提出了一种基于多尺度特征注意网络的遥感图像语义分割方法,用于精确的像素级分割问题。通过利用由Transformer主干网络的不同层提取的多尺度特征,设计了一个双向聚合特征金字塔网络来捕获长距离依赖关系和细粒度细节。在网络结构中并行加入一个通道注意分支,从通道维度进行注意力增强以提高分割准确性。通过在两个高分辨率遥感数据集上的实验证明了该方法的有效性,实验结果优于其他分割方法。     

基于改进YOLOv3算法的行人目标检测研究

针对行人目标检测任务中目标检测速度慢及小目标难以检测的问题,提出一种融合CBAM注意力机制的YOLOv3多尺度目标检测模型.该算法首先以YOLOv3为基础网络进行特征提取,然后在YOLOv3的多尺度特征融合层新增一个两倍下采样特征图,用于补充小目标特征信息,最后在YOLOv3的各尺度特征图融合后加入卷积注意力模型(CB...     

基于Transformer编码器的多级表示与融合特征输入的语音情感识别方法（英文）

为了提高语音情感识别的准确度，探讨了将Transformer应用于语音情感识别的可能性.将对数梅尔尺度谱图及其一阶差分特征相融合作为输入，使用Transformer来提取分层语音表示，分析注意头个数和Transformer编码器层数的变化对识别精度的影响.结果表明，在ABC、CASIA、DES、EMODB和IEMOCAP语音情感数据库上，相比以MFCC为特征的Transformer,所提模型的精度分别提高了13.98%、8.14%、24.34%、8.16%和20.9%.该模型表现优于递归神经网络(RNN)、卷积神经网络(CNN)、Transformer等其他模型.     

引入双循环机制深度学习模型的文本情感分析

深度神经网络模型通常使用注意力机制或融合卷积神经网络来提取特征,但由于注意力机制抓取的特征过于单一,存在提取特征不完善的问题。 将循环机制引入卷积神经网络中,构建了具有双循环结构的网络模型(DRCNN),从而改善模型的特征提取能力,将其与双向长短期记忆网络结合,提出一种带有注意力机制、特征提取能力更强的混合模型(BiLSTM-DRCNN)并应用于情感分类任务中。通过情感分类的实验分析表明,BiLSTM-DRCNN 神经网络模型具有比较好的性能,与融合卷积神经网络(CNN)和双循环长短期记忆神经网络(BiLSTM)模型相比,综合评价指标提高2%以上;与BiLSTM-CNN、Fusion Model 模型相比,综合评价指标提高了近1%,且收敛速度更快。     

基于YOLOX-Swin的高效建筑火灾烟雾检测和疏散模拟方法（英文）

为了实现高效的建筑火灾应急救援疏散,分析了将目标检测技术应用于建筑火灾应急处置的可能性.将目标检测算法应用于火灾预警阶段,将Transformer、卷积神经网络CNN和轻量级注意力机制模块CBAM相结合,对火焰和烟雾局部和全局特征进行提取,提高目标检测算法的精度并实现对火灾发生位置的快速定位.提出一种用于路径搜索的改进的蚁群算法,对启发函数和信息素挥发系数进行改进.在案例中,建立栅格图模型,结合定位信息,通过仿真模拟的方式验证方法的有效性.结果表明：相比与YOLOX算法,YOLOX-Swin模型平均精度提高1.5%;改进蚁群算法降低了传统蚁群算法的搜索范围,提高模型的收敛速度,有效避免了模型陷入局部最优解的困境.将火灾预警和火灾人员疏散相结合,建立完整的建筑火灾应急处置方案.     

基于BERT+BiLSTM+Attention的对抗训练新闻文本分类模型

新闻文本分类是长文本分类的典型问题，因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers, BERT)和双向长短时记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)以及注意力机制的对抗训练分类模型(BBA-AT).将预处理新闻文本数据经过BERT进行训练得到词嵌入编码，在训练后的词向量级别上进行扰动达到数据增广的效果，以此来进行对抗训练，之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的BBA-AT模型F₁值在TNEWS数据集上比BERT模型提升了1.34%.     

基于Attention-CLSTM模型的商品评论分类

文本分类是自然语言处理中的一项重要基础任务,指对文本集按照一定的分类体系或标准进行自动分类标记。目前网络文化监督力度不够、不当言论不受限制,导致垃圾评论影响用户体验。因此提出一种基于注意力机制的CLSTM混合神经网络模型,该模型可以快速有效地区分正常评论与垃圾评论。将传统机器学习SVM模型和深度学习LSTM模型进行对比实验,结果发现,混合模型可在时间复杂度上选择最短时间,同时引入相当少的噪声,最大化地提取上下文信息,大幅提高评论短文本分类效率。对比单模型分类结果,基于注意力机制的CLSTM混合神经网络模型在准确率和召回率上均有提高。     

基于动态对抗适应网络的垃圾分类算法

为了解决垃圾的自动分类问题,基于动态对抗适应网络,提出了一种融入空间注意力机制的垃圾图像分类算法。在训练迭代过程中,算法通过利用领域鉴别器与特征提取器的相互对抗,不断增强领域鉴别器的识别能力与特征提取器的迷惑能力,让模型学习获得更多的领域不变量;并针对模型的参数进行不断优化更新,最终达到领域适应的目的。同时,将空间注意力模块融入领域对抗自适应中,使得网络更加关注与分类任务有关的关键区域,使模型能够定位到感兴趣的信息,并对无用信息进行抑制。在垃圾数据集上的实验结果表明,所提模型可以取得较好的分类效果,且优于对比算法。     

基于注意力机制的U2-Net图像语义分割

图像语义分割是计算机视觉领域中的一项重要技术,在自动驾驶、医学影像分析、智能家居和安防监控等领域都有广泛的应用。近年,利用深度学习模型进行图像语义分割的方法得到了广泛关注和研究。然而,深度学习模型很容易出现过拟合问题,并且面对一些存在遮挡、噪声的图像时容易预测出错,从而导致模型分割精度下降。针对这个问题,提出了一种联合注意力机制的U²-Net图像语义分割优化方法,在以VGG为主干网络的U²-Net模型中,增加CBAM注意力模块,使网络模型能够更加关注与分割任务相关的区域,忽略掉一些无关或噪声干扰的区域,增强特征图的表征,进而能够有效地提高模型的性能和泛化能力。实验结果表明,在增加CBAM模块后,U²-Net模型的MIoU及准确率分别提高了8.21%和4%。     

联合对比学习的图神经网络会话推荐

基于会话的推荐(SBR)是一项具有挑战性的任务,其目的是根据匿名行为序列推荐项目。本文提出了一种新的方法,称为联合对比学习的图神经网络会话推荐(CLGNN),在图注意力机制的基础上,用对比学习辅助训练,以获得更好的推荐结果。具体来说,CLGNN首先在会话图上采用注意力机制学习项目嵌入,然后聚合会话内的项目生成会话嵌入,最后使用会话嵌入和候选项目嵌入计算分数生成推荐,同时使用对比学习优化项目嵌入空间。以几种常见的评价指标为依据,在真实的两个数据集上进行实验,结果表明本文模型推荐性能良好。     

基于Att-CN-BiLSTM模型的中文新闻文本分类

将卷积神经网络（CNN）和双向长短期记忆神经网络（BiLSTM）相结合,提出一种基于注意力机制的Att-CN-BiLSTM中文新闻文本分类模型.模型通过注意力机制有效融合了CNN层和BiLSTM层提取的新闻文本语义特征.在THUCnews新浪新闻数据集上与CNN、BiLSTM及其改进模型进行对比实验,模型分类准确率达到98.96%,精确率、召回率和F1值指标也都优于对比模型,实验结果表明Att-CN-BiLSTM模型可以有效提升中文新闻文本分类效果.     

基于多注意力的多变量时间序列特征选择方法

特征选择是避免维度诅咒的一种数据预处理技术。在多变量时间序列预测中,为了同时找到与问题相关性最大的变量及其对应时延,提出一种基于多注意力的有监督特征选择方法。该方法利用带有注意力模块和学习模块的深度学习模型,将原始二维时间序列数据正交分割成两组一维数据,分别输入两个不同维度的注意力生成模块,得到特征维度和时间维度的注意权重。两个维度的注意力权值点积叠加作为全局注意力得分进行特征选择,作用于原始数据后输入随学习模块训练不断更新至收敛。实验结果表明,所提出的方法在特征数小于10时可达到全量数据训练效果,与现有几种基线方法相比实现了最佳准确率。     

英语任务型教学设计初探

任务型教学是第二语言教学界所提出来的一种有效的教学方法,其核心内容是在完成任务的过程中使学习者的注意力得到合理的分配,从而使其语言得到持续而平衡的发展.在任务型教学设计的相关理论指导下,结合教学经验,针对英语任务型教学设计的理论基础、基本原则、教学实践及其注意的问题,提出设计方案和解决办法.     

浅析政治课导入的策略及运用原则

导入是指上课时教师能迅速创造一种融洽的教学情调和课堂氛围,把学生注意力带进一个与教学任务和教学内容相适应的情感世界,是教师集中学生注意力,激发学生学习兴趣,引导学生进入学习状态的一种方式。