基于ALBERT、Bi-GRU和注意力机制的文本情感分析

针对静态词向量方法不能很好地解决一词多义,长短时记忆网络参数量较多、训练时间过长等不足,提出将ALBERT预训练模型、双向门控循环单元、多头注意力机制融合在一起,构建了一个微博文本情感预测模型.首先,通过ALBERT模型获取文本动态词向量;然后采用双向门控循环单元提取文本特征;接着引入多层注意力机制捕获文本序列中的重要信息;最后,通过Softmax进行情感分类.实验结果表明：所提出的模型与传统模型相比,能有效提取文本的特征,与静态词向量相比,模型准确率提升1.76%,与长短时记忆网络相比,参数数量下降25%,训练效率提升20%,有较好的实用价值.     

融合注意力与比较增强学习机制的情感分析

文本情感分析通过提取文本特征,根据文本中的情感倾向进行分类.研究表明,递归神经网络和卷积神经网络模型具有良好的性能.为提高文本情感分类性能,提出一种融合注意力和比较增强学习机制的混合网络情感分析模型,用比较增强学习机制进行分类来替代大量的复杂计算.该模型通过嵌入层向量化后,分别用CNN和双向门控循环单元提取不同特点的文...     

基于门控循环单元-注意力机制模型的股票价格预测

考虑到股票价格具有高噪声和非线性的特点,构建了一个基于门控循环单元-注意力机制(Gated Recurrent Unit-Attention Mechanism, GRU-AM)的股票价格预测模型.首先将经过处理后的股票数据输入到门控循环单元(Gated Recurrent Unit, GRU)中,使其能够充分地学习数据并挖掘更深层次的数据特征.接着将从GRU中学习到的特征向量传入注意力机制(Attention Mechanism, AM).其次通过这种方式,可以学习到不同时间特征状态的权重,从而更有效地捕捉时间特征的重要性.最后通过与七种基准模型在多个数据集上的对比,验证了模型的有效性.     

基于多头注意力长短期记忆模型的语音情感识别方法（英文）

针对语音情感识别中不同表征空间的信息利用不足问题,提出了一种多头注意力的双层长短时记忆模型,用于充分挖掘有效的情感信息.该模型以具有时序情感信息的帧级别特征作为输入值,利用长短时记忆模块学习时域特征,设计了特征注意力模块和时间多头注意力模块,对长短时记忆模块的逐层输出值、特征注意力模块输出值、时间多头注意力模块输出值进行融合.结果表明,相比传统的长短时记忆模型,所提方法在eENTERFACE和GEMEP两个数据集上的识别准确率分别提升了14.6%和10.5%,从而证明了其在语音情感识别任务中的有效性.     

融合情感符号的自注意力BLSTM情感分析

利用深度学习方法进行情感分析时,将文本作为一个整体进行编码,缺乏对表情符号与情感词的有效关注。而传统基于词典的方法则过分依赖于情感词典与判断规则的质量,不能充分考虑文本深层语义关系。针对该问题,构建融合表情符号与情感词的自注意力模型。通过BLSTM训练得到情感符号,并与文本特征向量融合,同时引入结构化自注意力机制识别文本中不同情感符号的情感信息。在NLPCC2014和微博公开语料数据集上的实验表明,相较传统情感分析方法,该模型可有效提高情感分类准确率。     

基于BERT+BiLSTM+Attention的对抗训练新闻文本分类模型

新闻文本分类是长文本分类的典型问题，因此提取词与词之间的关系特征就尤为重要.提出了基于双向Transformer编码表示的预训练模型(Bidirectional Encoder Representations from Transformers, BERT)和双向长短时记忆网络(Bi-directional Long Short-Term Memory, BiLSTM)以及注意力机制的对抗训练分类模型(BBA-AT).将预处理新闻文本数据经过BERT进行训练得到词嵌入编码，在训练后的词向量级别上进行扰动达到数据增广的效果，以此来进行对抗训练，之后通过双向长短时记忆网络对数据集进行编码提取双向语义表征.本文提出的BBA-AT模型F₁值在TNEWS数据集上比BERT模型提升了1.34%.     

基于并行决策树的微博互动数预测

社交网络的快速发展,微博成为主要的社交媒体平台,针对如何预测微博文本的未来互动数,对微博进行有效的分发控制的问题,提出一种基于并行决策树的微博互动数所属级数预测的方法。首先,对用户以往发表的微博进行用户特征和微博文本特征的处理;然后,使用并行决策树分类算法对训练数据进行分类模型的构建;最后使用得到的分类模型对新微博文本的互动数所属级数进行分类预测。通过对比算法的实验,验证了所提方法具有较高的分类精度和较好的可扩展性,能够对微博所属级数进行有效的分类预测。     

融合多层注意力机制与双向LSTM的语义关系抽取

关系抽取是构建如知识图谱等上层自然语言处理应用的基础。针对目前大多数关系抽取模型中忽略部分文本局部特征的问题,设计一种结合实体位置特征与多层注意力机制的双向LSTM网络结构。首先根据位置特征扩充字向量特征,并将文本信息向量化,然后将文本向量化信息输入双向LSTM模型,通过多层注意力机制,提高LSTM模型输入与输出之间的相关性,最后通过分类器输出关系获取结果。使用人工标注的百科类语料进行语义关系获取实验,结果表明,改进方法优于传统基于模式匹配的关系获取方法。     

引入双循环机制深度学习模型的文本情感分析

深度神经网络模型通常使用注意力机制或融合卷积神经网络来提取特征,但由于注意力机制抓取的特征过于单一,存在提取特征不完善的问题。 将循环机制引入卷积神经网络中,构建了具有双循环结构的网络模型(DRCNN),从而改善模型的特征提取能力,将其与双向长短期记忆网络结合,提出一种带有注意力机制、特征提取能力更强的混合模型(BiLSTM-DRCNN)并应用于情感分类任务中。通过情感分类的实验分析表明,BiLSTM-DRCNN 神经网络模型具有比较好的性能,与融合卷积神经网络(CNN)和双循环长短期记忆神经网络(BiLSTM)模型相比,综合评价指标提高2%以上;与BiLSTM-CNN、Fusion Model 模型相比,综合评价指标提高了近1%,且收敛速度更快。     

基于Att-CN-BiLSTM模型的中文新闻文本分类

将卷积神经网络（CNN）和双向长短期记忆神经网络（BiLSTM）相结合,提出一种基于注意力机制的Att-CN-BiLSTM中文新闻文本分类模型.模型通过注意力机制有效融合了CNN层和BiLSTM层提取的新闻文本语义特征.在THUCnews新浪新闻数据集上与CNN、BiLSTM及其改进模型进行对比实验,模型分类准确率达到98.96%,精确率、召回率和F1值指标也都优于对比模型,实验结果表明Att-CN-BiLSTM模型可以有效提升中文新闻文本分类效果.     

基于线性注意力和类Transformer模型的语音情感识别（英文）

鉴于Transformer模型在自然语言处理等序列任务中的优异性能,提出了一种适用于语音情感识别任务的改进的类Transformer模型.为了减小Transformer模型中多头注意力单元内部由softmax运算引起的巨大时间消耗与内存开销,提出了一种新的线性自注意力计算方法,通过使用泰勒级数展开公式代替原来的指数函数,并根据矩阵乘积的关联性将softmax运算相对于输入序列长度的时间复杂度和空间复杂度从O(N~2)降至O(N),其中N为序列长度.在2个不同语言的情感语料库上进行实验.结果表明:所提出的线性注意力算法可获得与原始缩放点积注意力相近的性能,而模型训练过程中的时间和内存开销大幅降低;与原始的Transformer模型相比,改进后的模型具有更鲁棒的语音情感识别性能.     

融合注意力机制的深度交叉网络作物推荐模型

根据土壤数据进行作物推荐是农业大数据应用的重要内容之一.针对现有土壤数据推荐模型忽略土壤文本域信息、土壤数据交叉特征表达能力不足和无差别对待交叉特征问题,提出一种融合注意力机制的深度交叉网络作物推荐模型.首先,该模型对土壤文本数据通过向量化嵌入转化成低维稠密向量;然后通过注意力机制训练稠密向量交叉特征的权重;再连接数值...     

基于Bi-LSTM和Attention的智能合约分类

针对区块链技术存在智能合约服务困难问题,提出基于注意力机制和双向长短期记忆神经网络的智能合约分类.运用Bi-LSTM网络从智能合约源代码和账户信息两个角度进行建模,提取出智能合约的最大特征信息.加入注意力机制的Bi-LSTM模型在Dataset-E、Dataset-N和Dataset-EO数据集上正确率分别达到89.8...     

基于深度记忆网络的特定目标情感分类研究

特定目标情感分类不仅依赖于上下文信息,还需结合特定目标的特征信息,是一种细粒度的情感分析。针对特定目标情感分类提出了一种基于深度记忆网络的分类模型。该模型以双向LSTM和注意力机制为主干框架,从双向LSTM中抽取出目标的特征表示,将目标特征信息加入句子表示中,并加入多计算层（Hops）结构,用以挖掘句子和目标更深层次的情感特征信息,每个计算层的结构类似,共享参数。最后在SemEval2014和SemEval2016数据集上进行实验,取得了比其它基准模型更好的效果。     

基于评论文本的自适应特征提取推荐研究

现有评论文本推荐方法多使用静态词向量技术获取评论嵌入,但单词多义性会对语义理解产生偏差,且特征拼接策略无法平衡用户和商品特征对推荐结果的影响.为此,提出了基于评论文本的自适应特征提取推荐模型.该模型使用动态词嵌入预训练模型BERT解决多义性问题,结合Bi-GRU与注意力机制的双向特征提取增强特征表达能力,并以自适应特征...     

融合情感分析与 SVM_LSTM 模型的股票指数预测

由于股票市场变化存在着多因素、非线性、时变性等特点,传统预测模型忽视了股指波动影响因素特征提取的合理性与准确性,导致预测效果不理想。鉴于此,提出了融合情感分析和 SVM_LSTM 特征提取模型的股指预测方法以提高股指预测精度,将 SVM 和 LSTM 方法相结合建立 SVM_LSTM 模型,提取影响股指波动的情感极性特征、涨跌趋势特征以及股票技术指标特征,进而弥补影响股指波动的存在因素实现股指预测。通过与传统股指预测方法相比较,该方法实验结果的 MSE（均方差）达到了 0.172 2,比传统模型的均方差缩小了约0.083 7,证明了该预测方法在准确度上效果更好。     

基于层次注意力模型的软件众包定价方法研究

为了解决软件众包任务定价决策阶段可用信息有限的问题,提出一种基于层次注意力模型的软件众包定价方法。利用层次注意力模型提取软件众包任务需求文本语义特征,可以在需求文本中自动发掘与任务价格相关的有效信息。此外,将文本划分成词和句两个层次对全文进行有重点的表示,可以更好地表示文本特征。实验结果表明,该方法能够有效克服生产环境的局限性,降低特征提取难度,并在一定程度上提高了预测性能。     

基于线性注意力和类Transformer模型的语音情感识别

鉴于Transformer模型在自然语言处理等序列任务中的优异性能,提出了一种适用于语音情感识别任务的改进的类Transformer模型.为了减小Transformer模型中多头注意力单元内部由softmax运算引起的巨大时间消耗与内存开销,提出了一种新的线性自注意力计算方法,通过使用泰勒级数展开公式代替原来的指数函数...     

一种基于情感分析的网络舆情演化分析方法

以微博作为研究对象,针对微博类短文本数据的特点,从情感的角度出发,提出基于情感分析的舆情演化分析。该方法以文本的情感值作为特征对微博数据进行时间分片,然后使用DTM模型对分片后的数据进行话题演化分析。实验表明,该方法能较好地划分微博数据,有效地找到舆情变化的时间点。     

一种注意力融合的多尺度点云分类网络

针对传统点云分类网络不能较好结合全局特征和局部特征信息、导致分类精度不够高的问题,提出一种包含注意力机制的特征融合模型。通过构建多尺度网络,增大网络感受野,从而获得不同程度特征。采用注意力机制进行特征融合,使得局部特征和全局特征相互补偿,增强特征描述符的语义丰富性,获得上下文有效信息,以此提高整体的分类精度。在公开数据集ModelNet 40上对该算法进行验证,取得92.85%的分类精度,验证该网络模型的可行性。