一种面向海量遥感数据分类应用的并行解决方案

计算机工程与科学

一种面向海量遥感数据分类应用的并行解决方案

翟皓1，袁占良1，黄祥志2,3，臧文乾2，张周威2，周珂2,4

（1.河南理工大学测绘与国土信息工程学院，河南焦作 454000；2.中国科学院遥感与数字地球研究所，北京 100020；

3.浙江大学浙江省资源与环境信息系统重点实验室，浙江杭州 310028；

4.河南大学计算机与信息工程学院，河南开封475004）

收稿日期:2015-07-07 修回日期:2015-10-20 出版日期:2016-12-25 发布日期:2016-12-25
基金资助:
民用航天“十二五”预先研究项目（D030101）；国家高分辨率对地观测重大专项项目（Y4D00100GF）；中科院创新项目（Y3SG1100CX)

A parallel solution to mass remote sensing

data classification and application

ZHAI Hao1,YUAN Zhanliang1,HUANG Xiangzhi2,3,ZANG Wenqian2,ZHANG Zhouwei2，ZHOU Ke2,4

（1.School of Surveying and Land Information Engineering,Henan Polytechnic University,Jiaozuo 454000;

2.Institute of Remote Sensing and Digital Earth,Beijing 100020;

3.Zhejiang Provincial Key Laboratory of GIS,Zhejiang University,Hangzhou 310028;

4.College of Computer and Information Engineering,Henan University,Kaifeng 475004,China)

Received:2015-07-07 Revised:2015-10-20 Online:2016-12-25 Published:2016-12-25

摘要/Abstract

摘要：

目前，遥感数据量呈海量增长趋势。如何在大数据环境下进行快速影像分类及信息挖掘，提升处理的业务化水平，是一个重要的研究方向。鉴于此，实现了一种高效的解决方案。首先，基于“五层十五级”数据结构，对以景为单位的影像进行离散化处理，建立以切片为单元的数据组织体系。其次，借助大数据云存储技术实现切片的集群分布式存储。其次采用了基于像元和对象的高效监督分类算法，并依据计算处理需求对集群环境下的并行架构和驱动机制进行适应性设计。最终，实现了该解决方案并以高分2号多光谱切片进行实验。结果表明：该方案在保证精度的前提下提高了分类处理的效率。

关键词: &ldquo, 五层十五级&rdquo, 遥感数据组织结构, 分布式存储, 监督分类, 订单, 集群并行架构

Abstract:

At present, as remote sensing data grows massively, how to carry out fast image classification and information mining in applications and how to improve the business level of manipulation, is an important research direction. Aiming at this problem, we propose an efficient solution. Firstly, based on "fivelayer fifteenlevel" data structure, we segment the image which takes a scene as a unit, then build an image data organization system based on image slices. Secondly, with the help of storage technology of large data, we realize a cluster distributed storage of slices. Thirdly, we utilize the supervised classification algorithms based on pixel and object as the processing algorithm, and make adaptive designs of parallel architecture and drive mechanism in cluster environment according to computation processing requirements. Finally, we realize the solution and carry out experiments with GF2 multi spectral slicing. The results show that the proposed solution can improve the efficiency of classification processing while maintaining the accuracy.

Key words:

&ldquo, fivelayer fifteenlevel&rdquo, remote sensing data organization, distributed storage, supervised classification, orders, cluster parallel architecture

翟皓1，袁占良1，黄祥志2,3，臧文乾2，张周威2，周珂2,4. 一种面向海量遥感数据分类应用的并行解决方案[J]. 计算机工程与科学.

ZHAI Hao1,YUAN Zhanliang1,HUANG Xiangzhi2,3,ZANG Wenqian2,ZHANG Zhouwei2，ZHOU Ke2,4.

A parallel solution to mass remote sensing

data classification and application

[J]. Computer Engineering & Science.

参考文献［14］

［1］	Chen Maolin,Wan Youchuan,Yang Qiulan,et al.Research and implementation of tile pyramid technology based on multi scale remote sensing image［J］.Geospatial Information,2013,11(4):7276.(in Chinese)
［2］	Gu Xingfa,Yu Tao,Xie Donghai.Method of hierarchical organization for image data based on latitude and longitude grid:China ZL201010241105.8 ［P］.20131023.(in Chinese)
［3］	Zhong Yunqin,Fang Jinyun,Zhao Xiaofang.A distributed storage scheme for big spatiotemporal data［J］.Chinese High Technology Letters,2013,23(12):12191229.(in Chinese)
［4］	Zhu Yiming.Image classification based on hadoop platform［J］.Journal of Southwest University of Science and Technology,2011,26(2):7073.(in Chinese)
［5］	Duan Longfang.The research and application of cloud database technology for remote sensing data［D］.Kaifeng:Henan University,2014.(in Chinese)
［6］	Zhao Chunxia,Qian Lexiang.Comparative study of supervised and unsupervised classification in remote sensing image
	Table 1Evaluation of classification results
	表1分类结果精度评价
	方法精度/%植被居民地厂房裸土道路水体OA/%Kappa
	欧氏距离制图精度88.5180.5282.592.0686.9787.55
	82.98
0.	802 1
	用户精度95.7475.3865.896.5280.9595.6
	SVM法制图精度88.7388.8689.592.8092.0285.33
	86.34
	849 1
	用户精度99.9686.2591.296.8988.1993.8
［J］	Journal of Henan University (Natural Science),2004,34(3):9093.(in Chinese)
［7］	Ujjwal M, Anasua S. Efficient parallel algorithm for pixel classification in remote sensing imagery ［J］.Geo Informatica,2012,2(16):391407.
［8］	Phillips R D,Watson L T, Wynne R H. Highbirdimage classification and parameter selection using a shared memory parallel algorithm［J］.Computers & Geosciences,2007,3(3):1.
［9］	Ren Yafen,Li Haitao,Gu Haiyan.High performance system design and implementation of remote sensing image classification［J］.Remote Sensing Information,2011(5):2737.(in Chinese)
［10］	Han Wei,Zhang Xueqing,Chen Yang.MapReduce based image classification approach［J］.Journal of Computer Applications,2014,34(6):16001630.(in Chinese)
［11］	Hai Mo,Zhang Shuyun,Ma Yanlin.Algorithm review of distributed clustering problem in distributed environments［J］.Application Research of Computers,2013,30(9):25612564.(in Chinese)
［12］	Wang Dong,Zheng Fengbin,Lai Jibao,et al.A new parallel algorithm based on fivelayer fifteenlevel remoting sensing data organization［J］.Microcomputer Information,2012,28(1):166169.(in Chinese)
［13］	Lai Jibao,Luo Xiaoli,Yu Tao,et al.Remote sensing data organization model based on cloud computing［J］.Computer Science,2013,40(7):8083.(in Chinese)
［14］	Deng Fuliang. Research on hierarchical image segmentation and its application of high resolution remote sensing image［D］.Beijing: Chinese Academy of Sciences,2013.(in Chinese)
	附中文参考文献：
［1］	陈茂霖,万幼川,杨秋兰,等.面向多尺度遥感影像的瓦片金字塔技术研究与实现［J］.地理空间信息,2013,11(4):7276.
［2］	顾行发,余涛,谢东海.一种基于经纬网格的数据分级组织方法：中国ZL201010241105.8 ［P］.20131023.
［3］	钟云琴,方金云,赵晓芳.大规模时空数据分布式存储方法研究［J］.高技术通讯,2013,23(12):12191229.
［4］	朱义明.基于Hadoop平台的图像分类［J］.西南科技大学学报,2011,26(2):7073.
［5］	段龙方.面向遥感数据的云数据库技术研究与应用［D］.开封:河南大学,2014.
［6］	赵春霞,钱乐祥.遥感影像监督分类与非监督分类的比较［J］.河南大学学报（自然科学版）,2004,34(3):9093.
［9］	任亚芬,李海涛,顾海燕.遥感影像高性能分类系统设计和实现［J］.遥感信息,2011(5):2737.
［10］	韩伟,张学庆,陈旸.基于MapReduce的图像分类方法［J］.计算机应用,2014,34(6):16001630.
［11］	海沫,张书云,马燕林.分布式环境中聚类问题算法研究综述［J］.计算机应用研究,2013,30(9):25612564.
［12］	王栋,郑逢斌,赖积保,等.基于五层十五级遥感数据结构的并行算法研究［J］.微计算机信息,2012,28(1):166169.
［13］	赖积保,罗晓丽,余涛,等.一种支持云计算的遥感影像数据组织模型研究［J］.计算机科学,2013,40(7):8083.
［14］	邓富亮. 高分辨率遥感影像多层次分割方法及应用研究［D］.北京：中国科学院大学，2013.

[1]	沈佳杰, 卢修文, 向望, 赵泽宇, 王新, . 分布式存储系统读写一致性算法性能优化研究综述[J]. 计算机工程与科学, 2022, 44(04): 571-583.
[2]	朱良杰, 沈佳杰, 周扬帆, 王新, . 云际存储系统性能优化研究现状与展望[J]. 计算机工程与科学, 2021, 43(05): 761-772.
[3]	郑小红, 龙军, 蔡志平. 关于网约车订单分配策略的综述[J]. 计算机工程与科学, 2020, 42(07): 1267-1275.
[4]	张晗,宋志华,王彤,朱良谊. 基于军事背景的大学计算机课程案例教学探索与实践[J]. 计算机工程与科学, 2019, 41(增刊S1): 210-212.
[5]	张诗情，杨耀华，沈立，王志英. 通过部分页迁移实现CPU-GPU高效透明的数据通信[J]. 计算机工程与科学, 2019, 41(07): 1168-1175.
[6]	景维鹏，田冬雪. 基于HBase的遥感数据分布式存储与查询方法研究[J]. 计算机工程与科学, 2018, 40(06): 992-998.
[7]	聂牧1，梁华国 1,2，卞景昌2，倪天明2，徐秀敏2，黄正峰2. 基于硅通孔绑定后三维芯片测试调度优化方案[J]. 计算机工程与科学, 2017, 39(03): 458-463.
[8]	雷阳1，张敏情1，郝斌1，孔韦韦2. 基于计算思维的“加涅式”新型计算机课程教学法[J]. 计算机工程与科学, 2016, 38(增刊): 190-194.
[9]	张婷婷，胡斌，牛彦杰. 面向“三种思维”培养体系的军队院校大学计算机基础教学课程改革研究[J]. 计算机工程与科学, 2016, 38(增刊): 252-254.
[10]	舒欣，刘才威，张坤. “阿米巴”教学实践法在任职士官计算机教学中的应用研究[J]. 计算机工程与科学, 2016, 38(增刊): 338-341.
[11]	秦振陆1，2，方芳1,王伟1，2,朱侠1，2,郭二辉3,任福继1，2. “绑定中测试”“多绑一测”方式对于测试过程的影响[J]. 计算机工程与科学, 2016, 38(08): 1602-1608.
[12]	张栋，李寿山，周国栋. 基于答案辅助的半监督问题分类方法[J]. J4, 2015, 37(12): 2352-2357.
[13]	张金波. 企业内部分布式存储高效扩展机制研究[J]. J4, 2015, 37(04): 676-681.
[14]	彭晏飞1，尚永刚1,王德建2. 一种新的基于SVM和主动学习的图像检索方法[J]. J4, 2014, 36(07): 1371-1376.
[15]	李元金1,2 ,王涛1,马良1. 基于因子缩放的车牌图像倾斜校正方法[J]. J4, 2012, 34(7): 130-135.