CRF和词典相结合的蒙古文地名识别研究

J4 ›› 2016, Vol. 38 ›› Issue (05): 1046-1051.

CRF和词典相结合的蒙古文地名识别研究

吴金星1，丽丽1，杨振新2

(1.内蒙古大学蒙古学学院,内蒙古呼和浩特 010021；2.中国科学院合肥智能机械研究所，安徽合肥 230031)

收稿日期:2015-10-29 修回日期:2015-12-10 出版日期:2016-05-25 发布日期:2016-05-25
基金资助:
内蒙古自治区蒙古语言文字信息化专项扶持项目（2012339）；国家自然科学基金（61070099）;内蒙古自治区教育厅项目（NJZC16002）

Recognition of geographical names in Mongolian
based on conditional random fields and dictionary

WU Jinxing1,LI Li1,YANG Zhenxin2

（1.School of Mongolian Studies,Inner Mongolia University,Huhhot 010021;
2.Institute of Intelligent Machine,Chinese Academy of Science,Hefei 230031,China)

Received:2015-10-29 Revised:2015-12-10 Online:2016-05-25 Published:2016-05-25

摘要/Abstract

摘要：

蒙古语在命名实体识别方面开展过人名的识别，但在地名的识别方面还没有开展相应的研究。首次实现了基于条件随机场模型的蒙古文地名识别。首先从蒙古语黏着性特点分析入手，研究了蒙古语语料库中地名的存在形式以及各类地名的特点，针对蒙古语语料库中地名的特点，在词汇特征、指示词特征、特征词特征等特征基础上引入了词性特征。之后通过地名词典补召了未识别的地名。以内蒙古大学开发的100万词规模的标注语料库为训练数据，该模型的地名识别性能达到了94.68%的准确率、84.40%的召回率和89.24%的F值。

关键词: 蒙古文地名, 识别, CRF, 特征, 词典

Abstract:

This is the first realization of Mongolian geographical names recognition based on conditional random fields. First we analyze the existing forms and characteristics of the geographical names in the corpus from the aspect of Mongolian adhesion characteristic. In addition to designation words and the part of speech, lexical features are also introduced as the location feature of geographical names. Then unrecognized names are called by location dictionaries. Taking the 3rdlevel annotated corpus with about 1000,000 words as the training data, the proposed model achieves an accuracy of 94.68%, a recall rate of 84.40%, and a F score of 89.24%.

Key words: Mongolian geographical name;recognition;CRF;feature;dictionary

吴金星1，丽丽1，杨振新2. CRF和词典相结合的蒙古文地名识别研究[J]. J4, 2016, 38(05): 1046-1051.

WU Jinxing1,LI Li1,YANG Zhenxin2. Recognition of geographical names in Mongolian
based on conditional random fields and dictionary [J]. J4, 2016, 38(05): 1046-1051.

参考文献［11］

［1］	Masayuki A, Matsumoto Yuji. Japanese named entity extration with redundant morphological analysis［C］∥Proc of Human Language Technology ConferenceNorth American Chapter of the Association for Computational Linguistics,2003:815.
［2］	Sekine,Satoshi.NYU:Description of the Japanese NE system used for MET2［C］∥Proc of the 7th Message Understanding Conference MUC7,1998:1.
［3］	Nasunurtu, Xue Yan, Shu Qin, et al. Research on automatic recognition of mongolian names ［C］∥Proc of the 7th National Conference on Computational Linguistics, 2003:97102.(in Chinese)
［4］	Tonglaga. Automatic recognition of Mongolian names based on corpus［D］.Beijing: Minzu University of China,2013.(in Chinese)
［5］	Wu Jinxing. A study on Mongolian postagging corpus and the related technologies［D］.Huhhot:Inner Mongolia University,2008.(in Chinese)
［6］	Sun Hong, Chen Junjie. Research on the Chinese Topontm recognition method with twolayer CRF and rules combination［J］.Computer Applications and Software,2014(11):175177.(in Chinese)
［7］	Liao Wenping. A study on Chinese location names recognition based on CRF［D］.Dalian: Dalian University of Technology,2010.(in Chinese)
［8］	Aili S, Yusuf A. The system design and implementation of Uygur names［J］. Management and Technology of Small and Medium Sized Enterprises,2014(24):188189.(in Chinese)
［9］	Aierken M. Recognition based on conditional random fields［D］. Urumqi: Xinjiang University ,2013.(in Chinese)
［10］	Muhammad J,Ibrahim T,Omar H. Research of uyghur person names recognition based on statistics and rules［J］. Journal of Xinjiang University(National Science Edition),2014(3): 319324.(in Chinese)
［11］	Arkin M, Hamdulla A, Tursun D. Recognition of uyghur place names based on rules［J］.Communications Technology, 2013(7):103105.(in Chinese)
	附中文参考文献：.
［3］	那顺乌日图，雪艳，淑琴,等.蒙古文人名自动识别研究［C］∥全国第七届计算语言学联合会议论文集,2003:97102.
［4］	通拉嘎.基于蒙古文语料库的人名自动识别［D］.北京：中央民族大学，2013.
［5］	吴金星.蒙古语词法标注语料库的构建及相关技术研究［D］.呼和浩特：内蒙古大学，2008.
［6］	孙红，陈俊杰.双层CRF与规则相结合的中文地名识别方法研究［J］.计算机应用与软件，2014(11):175177.
［7］	廖文平.基于CRF的中文地名识别研究［D］.大连:大连理工大学,2010.
［8］	赛买提·艾力，玉素甫·艾白都拉.维吾尔族人名识别系统的设计与实现［J］.中小企业管理与科技旬刊，2014(24):188189.
［9］	木合塔尔·艾尔肯. 基于条件随机场的维吾尔语人名识别［D］.乌鲁木齐：新疆大学，2013.
［10］	加日拉·买买提热衣木，吐尔根·伊布拉音，艾山·吾买尔.基于统计和规则混合策略的维吾尔人名识别研究［J］.新疆大学学报（自然科学版）,2014(3):319324.
［11］	木合塔尔·艾尔肯，艾斯卡尔·艾木都拉，地里木拉提·吐尔逊.基于规则的维吾尔地名识别［J］.通信技术，2013(7):103105.

[1]	谷文俊, 张晟恺, 邱晓梦, 李亚康, 宋伟. 基于双模态的小角散射图像结构表征技术研究[J]. 计算机工程与科学, 2023, 45(08): 1443-1452.
[2]	喻金平, 朱伟锋, 廖列法. 基于RoBERTa-wwm-BiLSTM-CRF的扶持政策文本实体识别研究[J]. 计算机工程与科学, 2023, 45(08): 1498-1507.
[3]	崔克彬, 崔叶微. 基于卷积和Transformer的断路器动触头跟踪方法研究[J]. 计算机工程与科学, 2023, 45(07): 1236-1244.
[4]	白杉, 冯秀芳. 基于注意力增强的中心差分自适应图卷积的骨架行为识别[J]. 计算机工程与科学, 2023, 45(07): 1263-1273.
[5]	赵瑞平, 降爱莲. 基于自编码器和局部嵌入的无监督特征选择[J]. 计算机工程与科学, 2023, 45(07): 1282-1291.
[6]	陈俊彦, 卢贤涛, 黄雪锋, 卢小烨, 廖岑卉珊. 基于Double-Bagging特征降维异质集成入侵检测[J]. 计算机工程与科学, 2023, 45(06): 1011-1019.
[7]	李校林, 王复港, 张鹏飞, 张琳玉, . 基于多尺度特征提取的YOLOv5s算法优化[J]. 计算机工程与科学, 2023, 45(06): 1054-1062.
[8]	杨慧剑, 孟亮. 基于改进的YOLOv5的航拍图像中小目标检测算法[J]. 计算机工程与科学, 2023, 45(06): 1063-1070.
[9]	严春满, 张翔, 王青朋. 基于改进MobileNetV2的人脸表情识别[J]. 计算机工程与科学, 2023, 45(06): 1071-1078.
[10]	濮子俊, 张寿明. 基于特征融合与Transformer模型的声音事件定位与检测算法研究[J]. 计算机工程与科学, 2023, 45(06): 1097-1105.
[11]	刘南艳, 魏鸿飞, 马圣祥. 融合局部动态特征的面部表情识别[J]. 计算机工程与科学, 2023, 45(05): 849-858.
[12]	邓姗姗, 黄慧, 马燕. 基于改进Faster R-CNN的小目标检测算法[J]. 计算机工程与科学, 2023, 45(05): 869-877.
[13]	史册, 南新元. 改进InceptionV3与迁移学习的太阳能电池板缺陷识别[J]. 计算机工程与科学, 2023, 45(04): 646-653.
[14]	胡宗承, 段晓威, 周亚同, 何昊. 基于多模态融合的动态手势识别研究[J]. 计算机工程与科学, 2023, 45(04): 665-673.
[15]	黄星威, 陈曦, 张塑凡. 改进特征金字塔的小目标深度学习模型[J]. 计算机工程与科学, 2023, 45(04): 734-742.