基于Hadoop平台的分布式SVM参数寻优

计算机工程与科学

基于Hadoop平台的分布式SVM参数寻优

吴云蔚，宁芊

（四川大学电子信息学院，四川成都 610065）

收稿日期:2016-01-30 修回日期:2016-06-07 出版日期:2017-06-25 发布日期:2017-06-25
基金资助:
国家973计划（2013CB328903-2）

Distributed SVM parameter optimization based on Hadoop

WU Yun-wei,NING Qian

（College of Electronics and Information Engineering,Sichuan University,Chengdu 610065,China）

Received:2016-01-30 Revised:2016-06-07 Online:2017-06-25 Published:2017-06-25

摘要/Abstract

摘要：

参数的选择对算法分类与预测的正确率有直接影响。在参数选择中全局网格搜索有着计算可靠、简单、优化效果明显的优势，适合应用于可靠性要求高的工程运算，如在复杂系统的故障诊断中对故障模式识别算法进行参数寻优等。但是，全局网格搜索在寻优过程中耗时过长，仍然是一个制约其使用的问题，尤其对于实时性要求较高的系统。以支持向量机的参数全局寻优问题为例，针对网格搜索寻优时间长的缺点，利用Hadoop平台进行分布式参数寻优，借助HDFS将参数自动划分到计算节点上，并运用MapReduce计算框架建立分布式参数寻优模型，完成模型训练预测及参数优化。实验结果表明，在不降低算法性能的前提下提高了寻优效率。

关键词: Hadoop, MapReduce, 支持向量机, 网格搜索, 参数寻优, 分布式计算

Abstract:

The classification and prediction accuracy of an algorithm are directly influenced by the choice of parameters, and among the methods of parameter selection, global grid search has obvious advantages, such as reliable and simple calculation, and obvious optimization effect, which are suitable for engineering operations that have high reliability requirement, for instance, parameter optimization of the fault pattern recognition algorithm in fault diagnosis of system. However, the global grid search is time-consuming in the search process, therefore there is still a constraint on use, especially for the system which has high real-time requirement. Using the global parameter optimization of support vector machine as a case, Hadoop platform is used for distributed parameter optimization in order to overcome the disadvantage of grid search. With HDFS, the parameters can be automatically divided into calculation nodes. We establish the distributed parameter optimization model by using the MapReduce computing framework, then conduct model training and prediction as well as parameter optimization. Experimental results show that the optimization efficiency is improved without reducing algorithm performance.

Key words: Hadoop, MapReduce, support vector machine, grid search, parameter optimization, distributed computing

吴云蔚，宁芊. 基于Hadoop平台的分布式SVM参数寻优[J]. 计算机工程与科学.

WU Yun-wei,NING Qian. Distributed SVM parameter optimization based on Hadoop[J]. Computer Engineering & Science.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	吕小姣, 张玉梅, 杨红红, 吴晓军, . 基于距离排序的DUPSO-DSVM民歌快速分类算法研究[J]. 计算机工程与科学, 2023, 45(10): 1874-1833.
[3]	刘屹成, 刘晓燕, 严馨. 并行平衡级联支持向量机[J]. 计算机工程与科学, 2023, 45(07): 1170-1177.
[4]	唐宇, 代琪, 杨梦园, 陈丽芳, . 改进麻雀搜索算法优化SVM的异常点检测[J]. 计算机工程与科学, 2023, 45(02): 346-354.
[5]	仲臣, 余学祥, 邰晓曼, 韩雨辰, 肖星星, 刘清华, . 萤火虫算法优化支持向量机室内定位研究[J]. 计算机工程与科学, 2022, 44(11): 1968-1975.
[6]	马汉达, 朱敏. 改进SVM不平衡数据分类的IGWOSMOTE方法[J]. 计算机工程与科学, 2022, 44(06): 1133-1140.
[7]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[8]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[9]	韦修喜1，黄华娟1，周永权1,2. 基于AP聚类的约简孪生支持向量机快速分类算法[J]. 计算机工程与科学, 2019, 41(10): 1899-1904.
[10]	王宇新，王飞，王冠，郭禾. 一种基于两级DAG模型的MapReduce工作流异构调度算法[J]. 计算机工程与科学, 2019, 41(08): 1353-1359.
[11]	王云艳1,2，罗冷坤1，王重阳1. 基于流形学习的光学遥感图像分类[J]. 计算机工程与科学, 2019, 41(07): 1212-1219.
[12]	冯璋，裴东,王维. 基于改进灰狼算法优化支持向量机的人脸识别[J]. 计算机工程与科学, 2019, 41(06): 1057-1063.
[13]	崔建双，车梦然. 基于多分类支持向量机的优化算法智能推荐系统与实证分析[J]. 计算机工程与科学, 2019, 41(01): 153-160.
[14]	田勋，汪西莉. 基于聚类标签均值的半监督支持向量机[J]. 计算机工程与科学, 2018, 40(12): 2265-2272.
[15]	颜学龙，龚流青，汪斌斌. 基于DCQGA-SMKL-SVM的模拟电路故障诊断方法[J]. 计算机工程与科学, 2018, 40(11): 1944-1950.