利用AdaBoost-SVM集成算法和语块信息的韵律短语识别

J4 ›› 2015, Vol. 37 ›› Issue (12): 2324-2330.

利用AdaBoost-SVM集成算法和语块信息的韵律短语识别

钱揖丽1，2，冯志茹1

（1.山西大学计算机与信息技术学院，山西太原 030006；
2.山西大学计算智能与中文信息处理教育部重点实验室，山西太原 030006）

收稿日期:2015-08-10 修回日期:2015-10-19 出版日期:2015-12-25 发布日期:2015-12-25
基金资助:
：国家自然科学基金资助项目（61175067)；国家自然科学青年基金资助项目（61005053，61100138）；山西省科技基础条件平台建设项目（20150910010102)；山西省青年科技研究基金资助项目（20120210121）；山西省回国留学人员科研资助项目（2013022）

Recognition of Chinese prosodic phrases
based on AdaBoost-SVM algorithm and chunk information

QIAN Yili1，2,FENG Zhiru1

（1.School of Computer & Information Technology,Shanxi University,Taiyuan 030006;
2.Key Laboratory of Computational Intelligence and
Chinese Information Processing of Ministry of Education,Shanxi University,Taiyuan 030006,China）

Received:2015-08-10 Revised:2015-10-19 Online:2015-12-25 Published:2015-12-25

摘要/Abstract

摘要：

提出一种基于汉语语块结构并利用AdaBoost-SVM集成学习算法的汉语韵律短语识别方法。首先，对语料进行自动分词、词性标注和初语块标注，然后基于结合紧密度获取语块归并规则并利用规则对初语块进行归并，得到最终的语块结构。其次，基于语块结构并利用AdaBoostSVM集成算法，构建汉语韵律短语识别模型。同时，该文利用多种算法分别构建了利用语块信息和不利用语块的多个模型，对比实验结果表明，表示浅层句法信息的语块能够在韵律短语识别中做出积极有效的贡献；利用AdaBoos-SVM集成算法实现的模型性能更佳。

关键词: 汉语语块；AdaBoost-SVM；韵律短语；识别

Abstract:

We propose a recognition method for Chinese prosodic phrases based on Chunk and the AdaBoostSVM algorithm. Firstly, the initial chunks are marked on the corpus of automatic word segmentation and the part of speech tagging, and then they are merged using the rules based on the closeness between initial Chunks. Secondly, based on the block structure and the AdaBoostSVM integrated algorithm, a Chinese prosodic phrase recognition model is constructed. Meanwhile we utilize various algorithms to build different models which use or not use Chunk information. Comparative experimental results show that the shallow syntactic information chunks make a positive and effective contribution to Chinese prosodic phrase recognition, and the performance of the AdaBoostSVM model is better.

Key words: Chinese chunk;AdaBoost-SVM;prosodic phrase;recognition

钱揖丽1，2，冯志茹1. 利用AdaBoost-SVM集成算法和语块信息的韵律短语识别[J]. J4, 2015, 37(12): 2324-2330.

QIAN Yili1，2,FENG Zhiru1. Recognition of Chinese prosodic phrases
based on AdaBoost-SVM algorithm and chunk information[J]. J4, 2015, 37(12): 2324-2330.

参考文献

［1］Cao Jianfen.Prediction of prosodic organization based on grammatical information［J］.Journal of Chinese Information Processing, 2003,17（3）:4146.（in Chinese）
［2］Xun Endong,Qian Yili,Guo Qing, et al.Using binary tree as pruning strategy to identify prosodic phrase breaks［J］.Journal of Chinese Information Processing, 2006,20（3）:15.（in Chinese）
［3］Qian Yili,Xun Endong.Prediction o f speech pauses based on punctuation information and statistical language model［J］.Pattern Recognition and Artificial Intelligence, 2008,21（4）:541545.（in Chinese）
［4］Taylor P,Black A W.Assigning phrase breaks from partofspeech sequences［J］.Computer Speech & Language,1998,12（2）:99117．
［5］Li Jianfeng,Hu Guoping,Wang Renhua.Prosody phrase break prediction based on maximum entropy model［J］.Journal of Chinese Information Processing, 2004,18（5）:5663.（in Chinese）
［6］Wang Yongxin,Cai Lianhong.Syntactic information and analysis and prediction of prosody structure［J］.Journal of Chinese Information Processing, 2010,24 （1）:6570.（in Chinese）
［7］Cao Jianfen.The linguistic and phonetic clues in Chinese prosodic segmentation［C］∥Proc of the 5th National Conference on Modern Phonetics（PCC’2001），2001,:176179.（in Chinese）
［8］Li Xiang.Application and research of Boosting classification algorithm［D］.Lanzhou:Lanzhou Jiaotong University,2012.（in Chinese）
［9］Schapire R E.The strength of weak learnability［J］.Machine Learning，1990，52:197227．
［10］Freund Y.Boosting a weak learning algorithm by majority［J］.Information and Computation,1995,121（2）:256285．
［11］Freund Y，Schapire R E.A decisiontheoretic generalization of online learning and an application to boosting［J］.Journal of Computer and System Sciences，1997，55（1）:119139．
［12］Zhou Qiang,Zhan Weidong,Ren Haibo.Building a large scale Chinese functional chunk bank ［C］∥Proc of the 6th National Conference on Computational Linguistics （JSCL’2001）,2001:102107.（in Chinese）
［13］Zhou Qiang,Li Yumei.Chinese chunk parsing evaluation tasks［J］.Journal of Chinese Information Processing, 2010，24（1）:123128.（in Chinese）
［14］Li Sujian,Liu Qun.Research on definition and acquisition of chunk［C］∥Proc of the 7th National Conference on Computational Linguistics （JSCL’2003）,2003:110115.（in Chinese）
［15］Qian Yili,Feng Zhiru.Identification of Chinese prosodic phrase based on chunk and CRF［J］.Journal of Chinese Information Processing, 2014，28（5）:3238.（in Chinese）
［16］Zhang Chunxia.Research on the algorithm of ensemble learning［D］.Xi’an:Xi’an Jiaotong University，2010．(in Chinese)
附中文参考文献：
［1］曹剑芬.基于语法信息的汉语韵律结构预测［J］.中文信息学报,2003，17（3）:4146．
［2］荀恩东，钱揖丽，郭庆，等.应用二叉树剪枝识别韵律短语边界［J］.中文信息学报,2006,20（3）:15．
［3］钱揖丽，荀恩东.基于标点信息和统计语言模型的语音停顿预测［J］.模式识别与人工智能,2008，21（4）:541545．
［5］李剑锋,胡国平,王仁华.基于最大熵模型的韵律短语边界预测［J］.中文信息学报,2004,18（5）:5663．
［6］王永鑫,蔡莲红.语法信息与韵律结构的分析与预测［J］.中文信息学报,2010,24 （1）:6570．
［7］曹剑芬.汉语韵律切分的语音学和语言学线索［C］∥新世纪的现代语音学—第五届全国现代语音学学术会议,2001:176179．
［8］李想.Boosting分类算法的应用与研究［D］.兰州:兰州交通大学，2012．
［12］周强,李玉梅.汉语块分析评测任务设计［J］.中文信息学报,2010,24 （1）:123128．
［13］周强,詹卫东,任海波.构建大规模的汉语语块库［C］∥自然语言理解与机器翻译—全国第六届计算语言学联合学术会议,2001:102107.
［14］李素建,刘群.汉语组块的定义和获取［C］∥语言计算与基于内容的文本处理—全国第七届计算语言学联合学术会议,2003:110115．
［15］钱揖丽,冯志茹.基于语块和条件随机场（CRFs）的韵律短语识别［J］.中文信息学报,2014,28（5）:3238．
［16］张春霞.集成学习中有关算法的研究［D］.西安:西安交通大学，2010．