基于注意力机制的文本情感倾向性研究

计算机工程与科学

基于注意力机制的文本情感倾向性研究

裴颂文1,2，王露露1

（1.上海理工大学光电信息与计算机工程学院，上海 200093;2.复旦大学管理学院，上海 200433）

收稿日期:2018-07-26 修回日期:2018-09-24 出版日期:2019-02-25 发布日期:2019-02-25
基金资助:
上海市浦江人才计划（16PJ1407600）；中国博士后科学基金（2017M610230）；国家自然科学基金（61332009，61775139）；计算机体系结构国家重点实验室开放题目（CARCH201807）

Text sentiment analysis based on attention mechanism

PEI Songwen1,2,WANG Lulu1

（1.School of OpticalElectrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093;

2.School of Management,Fudan University,Shanghai 200433,China）

Received:2018-07-26 Revised:2018-09-24 Online:2019-02-25 Published:2019-02-25

摘要/Abstract

摘要：

社交媒体上短文本情感倾向性分析作为情感分析的一个重要分支，受到越来越多研究人员的关注。为了改善短文本特定目标情感分类准确率，提出了词性注意力机制和LSTM相结合的网络模型PATLSTM。将文本和特定目标映射为一定阈值范围内的向量，同时用词性标注处理句子中的每个词，文本向量、词性标注向量和特定目标向量作为模型的输入。PATLSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系，不需要对句子进行句法分析，且不依赖情感词典等外部知识。在SemEval2014Task4数据集上的实验结果表明，在基于注意力机制的情感分类问题上，PATLSTM比其他模型具有更高的准确率。

关键词: 注意力机制, 长短时记忆网络, 短文本, 情感分析

Abstract:

As an important branch of sentiment analysis, short-text sentiment classification on social media has attracted more and more researchers’ attention. To improve the accuracy of the short text targetbased sentiment classification, we propose a network model that combines the part-of-speech attention mechanism with long short-term memory (PAT-LSTM). The text and the target are mapped to a vector within a certain threshold range. In addition, each word in the sentence is marked by the part-of-speech. The text vector, target vector and part-of-speech vector are then input into the model. The PAT-LSTM model can fully explore the relationship between target words and emotional words in a sentence, and it does not require syntactic analysis of sentences or external knowledge such as sentiment lexicon. The results of comparative experiments on the Eval2014 Task4 dataset show that the PAT-LSTM network model has higher accuracy in attention-based sentiment classification.

Key words: attention mechanism, LSTM, short text, sentiment analysis

裴颂文1,2，王露露1. 基于注意力机制的文本情感倾向性研究[J]. 计算机工程与科学.

PEI Songwen1,2,WANG Lulu1. Text sentiment analysis based on attention mechanism[J]. Computer Engineering & Science.

[1]	张永智, 何可人, 戈珏. 改进YOLOv7网络在低空遥感图像目标检测中的应用[J]. 计算机工程与科学, 2024, 46(07): 1269-1277.
[2]	王钦晨, 段利国, 王君山, 张昊妍, 郜浩. 基于BERT字句向量与差异注意力的短文本语义匹配策略[J]. 计算机工程与科学, 2024, 46(07): 1321-1330.
[3]	王泽宇, 徐慧英, 朱信忠, 李琛, 刘子洋, 王子奕. 基于YOLOv8改进的密集行人检测算法：MER-YOLO[J]. 计算机工程与科学, 2024, 46(06): 1050-1062.
[4]	邓翔宇, 裴浩媛, 盛迎. 基于网络融合的改进MobileViT人脸表情识别[J]. 计算机工程与科学, 2024, 46(06): 1072-1080.
[5]	张玉莹, 朱广丽, 谈光璞, . 基于情感增强和语义依存的金融隐式情感分析模型[J]. 计算机工程与科学, 2024, 46(06): 1112-1120.
[6]	尹春勇, 赵峰. 基于双层注意力和深度自编码器的时间序列异常检测模型[J]. 计算机工程与科学, 2024, 46(05): 826-835.
[7]	赵金源, 贾迪. 改进YOLOv5的多人姿态估计修正算法[J]. 计算机工程与科学, 2024, 46(05): 852-860.
[8]	马长林, 孙状. 基于实体知识的远程监督关系抽取[J]. 计算机工程与科学, 2024, 46(05): 945-950.
[9]	曹浩东, 汪海涛, 贺建峰. 融合序列局部信息的日期感知序列推荐算法[J]. 计算机工程与科学, 2024, 46(04): 734-742.
[10]	要媛媛, 刘宇航, 程雨菁, 彭梦晓, 郑文, . 融合多注意力机制的自监督小样本医学图像分割[J]. 计算机工程与科学, 2024, 46(03): 479-487.
[11]	晋广印, 赵旭俊, 龚艺璇. 基于长短期记忆网络的移动轨迹目的地预测[J]. 计算机工程与科学, 2024, 46(03): 525-534.
[12]	杨晓强, 黄加诚. 基于动态定位和特征融合的多分支细粒度识别方法[J]. 计算机工程与科学, 2024, 46(02): 253-263.
[13]	黄珍伟, 陈伟, 王文杰, 路锦通. 基于改进 RetinaNet网络的水下机器人目标检测与实验[J]. 计算机工程与科学, 2024, 46(02): 264-271.
[14]	张欢, 李卫疆, . 基于类型注意力和GCN的远程监督关系抽取[J]. 计算机工程与科学, 2024, 46(02): 316-324.
[15]	王姗姗, 汪梦竹, 骆志刚. 局部判别损失无监督域适应方法[J]. 计算机工程与科学, 2024, 46(01): 132-141.