基于注意力机制的混合神经网络关系分类方法

计算机工程与科学

• 计算机网络与信息安全 • 上一篇下一篇

基于注意力机制的混合神经网络关系分类方法

庄传志1,2，靳小龙1,2，李忠1,2，孙智1,2

（1.中国科学院计算技术研究所网络数据科学与技术重点实验室，北京，100190；

2.中国科学院大学计算机与控制学院，北京 100049）

收稿日期:2019-07-10 修回日期:2019-09-17 出版日期:2020-01-25 发布日期:2020-01-25
基金资助:
国家重点研发计划(2016YFB1000902);国家自然科学基金(61772501,61572473,61572469,91646120)

An attention-based hybrid neural network

relation classification method

ZHUANG Chuan-zhi1,2,JIN Xiao-long1,2,LI Zhong1,2,SUN Zhi1,2

(1.CAS Key Laboratory of Network Data Science and Technology,Institute of Computing Technology,

Chinese Academy of Sciences，Beijing 100190;

2.School of Computer and Control Engineering,University of Chinese Academy of Sciences,Beijing 100049,China）

Received:2019-07-10 Revised:2019-09-17 Online:2020-01-25 Published:2020-01-25

摘要/Abstract

摘要：

关系分类是自然语言处理领域的一项重要语义处理任务。传统的关系分类方法通过人工设计各类特征以及各类核函数来对句子内部2个实体之间的关系进行判断。近年来，关系分类方法的主要工作集中于通过各类神经网络获取句子的语义特征表示来进行分类，以减少手动构造各类特征。在句子中，不同关键词对关系分类任务的贡献程度是不同的，然而重要的词义有可能出现在句子中的任意位置。为此，提出了一种基于注意力的混合神经网络关系分类模型来捕获重要的语义信息，用来进行关系分类，该方法是一种端到端的方法。实验结果表明了该方法的有效性。

关键词: 关系分类, 卷积神经网络, 长短时记忆网络, 注意力机制

Abstract:

Relation classification is an important semantic processing task in the field of natural language processing. The traditional relation classification method judges the relationship between two entities within a sentence by manually designing various features and various kernel functions. In recent years, the main work of the relation classification methods has focused on obtaining semantic feature representations of sentences through various neural networks to perform classification, so as to reduce the manual construction of various features. In sentences, the contribution of different keywords to the relation classification tasks are different, but the most important word meanings may appear at any position in the sentences. To this end, we propose an attention-based hybrid neural network relation classification method to capture the important semantic information for relation classification. This method is an end-to-end method. Experimental results show the effectiveness of the method.

Key words: relation classification, convolutional neural network, long short-term memory network, attention mechanism

庄传志1,2，靳小龙1,2，李忠1,2，孙智1,2. 基于注意力机制的混合神经网络关系分类方法[J]. 计算机工程与科学.

ZHUANG Chuan-zhi1,2,JIN Xiao-long1,2,LI Zhong1,2,SUN Zhi1,2.

An attention-based hybrid neural network

relation classification method

[J]. Computer Engineering & Science.

[1]	张永智, 何可人, 戈珏. 改进YOLOv7网络在低空遥感图像目标检测中的应用[J]. 计算机工程与科学, 2024, 46(07): 1269-1277.
[2]	田红鹏, 吴璟玮. RIB-NER：基于跨度的中文命名实体识别模型[J]. 计算机工程与科学, 2024, 46(07): 1311-1320.
[3]	王泽宇, 徐慧英, 朱信忠, 李琛, 刘子洋, 王子奕. 基于YOLOv8改进的密集行人检测算法：MER-YOLO[J]. 计算机工程与科学, 2024, 46(06): 1050-1062.
[4]	邓翔宇, 裴浩媛, 盛迎. 基于网络融合的改进MobileViT人脸表情识别[J]. 计算机工程与科学, 2024, 46(06): 1072-1080.
[5]	张玉莹, 朱广丽, 谈光璞, . 基于情感增强和语义依存的金融隐式情感分析模型[J]. 计算机工程与科学, 2024, 46(06): 1112-1120.
[6]	尹春勇, 赵峰. 基于双层注意力和深度自编码器的时间序列异常检测模型[J]. 计算机工程与科学, 2024, 46(05): 826-835.
[7]	赵金源, 贾迪. 改进YOLOv5的多人姿态估计修正算法[J]. 计算机工程与科学, 2024, 46(05): 852-860.
[8]	佟缘, 姚念民. 基于对span的预判断和多轮分类的实体关系抽取[J]. 计算机工程与科学, 2024, 46(05): 916-928.
[9]	马长林, 孙状. 基于实体知识的远程监督关系抽取[J]. 计算机工程与科学, 2024, 46(05): 945-950.
[10]	陈杰, 李程, 刘仲. 面向多核向量加速器的卷积神经网络推理和训练向量化方法[J]. 计算机工程与科学, 2024, 46(04): 580-589.
[11]	曹浩东, 汪海涛, 贺建峰. 融合序列局部信息的日期感知序列推荐算法[J]. 计算机工程与科学, 2024, 46(04): 734-742.
[12]	要媛媛, 刘宇航, 程雨菁, 彭梦晓, 郑文, . 融合多注意力机制的自监督小样本医学图像分割[J]. 计算机工程与科学, 2024, 46(03): 479-487.
[13]	晋广印, 赵旭俊, 龚艺璇. 基于长短期记忆网络的移动轨迹目的地预测[J]. 计算机工程与科学, 2024, 46(03): 525-534.
[14]	杨晓强, 黄加诚. 基于动态定位和特征融合的多分支细粒度识别方法[J]. 计算机工程与科学, 2024, 46(02): 253-263.
[15]	黄珍伟, 陈伟, 王文杰, 路锦通. 基于改进 RetinaNet网络的水下机器人目标检测与实验[J]. 计算机工程与科学, 2024, 46(02): 264-271.

基于注意力机制的混合神经网络关系分类方法

An attention-based hybrid neural network

relation classification method

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价