CRF和词典相结合的蒙古文地名识别研究

J4 ›› 2016, Vol. 38 ›› Issue (05): 1046-1051.

CRF和词典相结合的蒙古文地名识别研究

吴金星1，丽丽1，杨振新2

(1.内蒙古大学蒙古学学院,内蒙古呼和浩特 010021；2.中国科学院合肥智能机械研究所，安徽合肥 230031)

收稿日期:2015-10-29 修回日期:2015-12-10 出版日期:2016-05-25 发布日期:2016-05-25
基金资助:
内蒙古自治区蒙古语言文字信息化专项扶持项目（2012339）；国家自然科学基金（61070099）;内蒙古自治区教育厅项目（NJZC16002）

Recognition of geographical names in Mongolian
based on conditional random fields and dictionary

WU Jinxing1,LI Li1,YANG Zhenxin2

（1.School of Mongolian Studies,Inner Mongolia University,Huhhot 010021;
2.Institute of Intelligent Machine,Chinese Academy of Science,Hefei 230031,China)

Received:2015-10-29 Revised:2015-12-10 Online:2016-05-25 Published:2016-05-25

摘要/Abstract

摘要：

蒙古语在命名实体识别方面开展过人名的识别，但在地名的识别方面还没有开展相应的研究。首次实现了基于条件随机场模型的蒙古文地名识别。首先从蒙古语黏着性特点分析入手，研究了蒙古语语料库中地名的存在形式以及各类地名的特点，针对蒙古语语料库中地名的特点，在词汇特征、指示词特征、特征词特征等特征基础上引入了词性特征。之后通过地名词典补召了未识别的地名。以内蒙古大学开发的100万词规模的标注语料库为训练数据，该模型的地名识别性能达到了94.68%的准确率、84.40%的召回率和89.24%的F值。

关键词: 蒙古文地名, 识别, CRF, 特征, 词典

Abstract:

This is the first realization of Mongolian geographical names recognition based on conditional random fields. First we analyze the existing forms and characteristics of the geographical names in the corpus from the aspect of Mongolian adhesion characteristic. In addition to designation words and the part of speech, lexical features are also introduced as the location feature of geographical names. Then unrecognized names are called by location dictionaries. Taking the 3rdlevel annotated corpus with about 1000,000 words as the training data, the proposed model achieves an accuracy of 94.68%, a recall rate of 84.40%, and a F score of 89.24%.

Key words: Mongolian geographical name;recognition;CRF;feature;dictionary

吴金星1，丽丽1，杨振新2. CRF和词典相结合的蒙古文地名识别研究[J]. J4, 2016, 38(05): 1046-1051.

WU Jinxing1,LI Li1,YANG Zhenxin2. Recognition of geographical names in Mongolian
based on conditional random fields and dictionary [J]. J4, 2016, 38(05): 1046-1051.

[1]	刘沛, 刘昌华, 林俏伶. 基于优化特征堆叠与集成学习的车联网入侵检测模型[J]. 计算机工程与科学, 2024, 46(12): 2186-2195.
[2]	马金林, 闫琦, 马自萍. 西夏文字的多层掩码识别方法[J]. 计算机工程与科学, 2024, 46(12): 2227-2238.
[3]	李涛, 王松, 谢甜, 马亚彤. 基于MCL的多速率点云动作识别[J]. 计算机工程与科学, 2024, 46(11): 2035-2044.
[4]	付燕, 杨旭, 叶鸥. 基于CNN和Transformer特征融合的烟雾识别方法[J]. 计算机工程与科学, 2024, 46(11): 2045-2052.
[5]	杜连成, 郭军军, 叶俊杰, 余正涛, . 双级交互式自适应融合的多模态神经机器翻译[J]. 计算机工程与科学, 2024, 46(11): 2071-2080.
[6]	李公瑾, 邵玉斌, 杜庆治, 龙华, 马迪南 . 基于双向胶囊网络的恶意评论检测[J]. 计算机工程与科学, 2024, 46(10): 1765-1774.
[7]	陈昌奉, 赵宏州, 周恺卿. 基于图神经网络的代码抄袭检测方法[J]. 计算机工程与科学, 2024, 46(10): 1815-1824.
[8]	陈清江, 邵菲, 王炫钧. 混合U型网络与Transformer的图像去模糊[J]. 计算机工程与科学, 2024, 46(10): 1843-1851.
[9]	冯兴杰, 曹若轩. 融合特征投影和负监督的文本分类[J]. 计算机工程与科学, 2024, 46(10): 1864-1874.
[10]	余佳妮, 胡朝霞, 蒋从锋. 一种基于多特征的日志事件异常检测方法研究[J]. 计算机工程与科学, 2024, 46(09): 1587-1597.
[11]	陈磊, 梁正友, 孙宇, 蔡俊民. 多尺度特征融合的移动端单目深度估计研究[J]. 计算机工程与科学, 2024, 46(09): 1616-1524.
[12]	杨胜荣, 车文刚, 高盛祥, 赵云莱. 多阶段特征蒸馏加权的轻量级图像超分辨率网络[J]. 计算机工程与科学, 2024, 46(08): 1433-1443.
[13]	刘晓华, 徐茹枝, 杨成月. 一种基于多特征融合嵌入的中文命名实体识别模型研究[J]. 计算机工程与科学, 2024, 46(08): 1473-1481.
[14]	徐捷, 邵玉斌, 杜庆治, 龙华, 马迪南. 结合混合特征提取与深度学习的长文本语义相似度计算[J]. 计算机工程与科学, 2024, 46(08): 1513-1520.
[15]	丁建平, 李卫军, 刘雪洋, 陈旭. 命名实体识别研究综述[J]. 计算机工程与科学, 2024, 46(07): 1296-1310.