一种面向海量遥感数据分类应用的并行解决方案

计算机工程与科学

一种面向海量遥感数据分类应用的并行解决方案

翟皓1，袁占良1，黄祥志2,3，臧文乾2，张周威2，周珂2,4

（1.河南理工大学测绘与国土信息工程学院，河南焦作 454000；2.中国科学院遥感与数字地球研究所，北京 100020；

3.浙江大学浙江省资源与环境信息系统重点实验室，浙江杭州 310028；

4.河南大学计算机与信息工程学院，河南开封475004）

收稿日期:2015-07-07 修回日期:2015-10-20 出版日期:2016-12-25 发布日期:2016-12-25
基金资助:
民用航天“十二五”预先研究项目（D030101）；国家高分辨率对地观测重大专项项目（Y4D00100GF）；中科院创新项目（Y3SG1100CX)

A parallel solution to mass remote sensing

data classification and application

ZHAI Hao1,YUAN Zhanliang1,HUANG Xiangzhi2,3,ZANG Wenqian2,ZHANG Zhouwei2，ZHOU Ke2,4

（1.School of Surveying and Land Information Engineering,Henan Polytechnic University,Jiaozuo 454000;

2.Institute of Remote Sensing and Digital Earth,Beijing 100020;

3.Zhejiang Provincial Key Laboratory of GIS,Zhejiang University,Hangzhou 310028;

4.College of Computer and Information Engineering,Henan University,Kaifeng 475004,China)

Received:2015-07-07 Revised:2015-10-20 Online:2016-12-25 Published:2016-12-25

摘要/Abstract

摘要：

目前，遥感数据量呈海量增长趋势。如何在大数据环境下进行快速影像分类及信息挖掘，提升处理的业务化水平，是一个重要的研究方向。鉴于此，实现了一种高效的解决方案。首先，基于“五层十五级”数据结构，对以景为单位的影像进行离散化处理，建立以切片为单元的数据组织体系。其次，借助大数据云存储技术实现切片的集群分布式存储。其次采用了基于像元和对象的高效监督分类算法，并依据计算处理需求对集群环境下的并行架构和驱动机制进行适应性设计。最终，实现了该解决方案并以高分2号多光谱切片进行实验。结果表明：该方案在保证精度的前提下提高了分类处理的效率。

关键词: &ldquo, 五层十五级&rdquo, 遥感数据组织结构, 分布式存储, 监督分类, 订单, 集群并行架构

Abstract:

At present, as remote sensing data grows massively, how to carry out fast image classification and information mining in applications and how to improve the business level of manipulation, is an important research direction. Aiming at this problem, we propose an efficient solution. Firstly, based on "fivelayer fifteenlevel" data structure, we segment the image which takes a scene as a unit, then build an image data organization system based on image slices. Secondly, with the help of storage technology of large data, we realize a cluster distributed storage of slices. Thirdly, we utilize the supervised classification algorithms based on pixel and object as the processing algorithm, and make adaptive designs of parallel architecture and drive mechanism in cluster environment according to computation processing requirements. Finally, we realize the solution and carry out experiments with GF2 multi spectral slicing. The results show that the proposed solution can improve the efficiency of classification processing while maintaining the accuracy.

Key words:

&ldquo, fivelayer fifteenlevel&rdquo, remote sensing data organization, distributed storage, supervised classification, orders, cluster parallel architecture

翟皓1，袁占良1，黄祥志2,3，臧文乾2，张周威2，周珂2,4. 一种面向海量遥感数据分类应用的并行解决方案[J]. 计算机工程与科学.

ZHAI Hao1,YUAN Zhanliang1,HUANG Xiangzhi2,3,ZANG Wenqian2,ZHANG Zhouwei2，ZHOU Ke2,4.

A parallel solution to mass remote sensing

data classification and application

[J]. Computer Engineering & Science.

[1]	沈佳杰, 卢修文, 向望, 赵泽宇, 王新, . 分布式存储系统读写一致性算法性能优化研究综述[J]. 计算机工程与科学, 2022, 44(04): 571-583.
[2]	朱良杰, 沈佳杰, 周扬帆, 王新, . 云际存储系统性能优化研究现状与展望[J]. 计算机工程与科学, 2021, 43(05): 761-772.
[3]	郑小红, 龙军, 蔡志平. 关于网约车订单分配策略的综述[J]. 计算机工程与科学, 2020, 42(07): 1267-1275.
[4]	张晗,宋志华,王彤,朱良谊. 基于军事背景的大学计算机课程案例教学探索与实践[J]. 计算机工程与科学, 2019, 41(增刊S1): 210-212.
[5]	张诗情，杨耀华，沈立，王志英. 通过部分页迁移实现CPU-GPU高效透明的数据通信[J]. 计算机工程与科学, 2019, 41(07): 1168-1175.
[6]	景维鹏，田冬雪. 基于HBase的遥感数据分布式存储与查询方法研究[J]. 计算机工程与科学, 2018, 40(06): 992-998.
[7]	聂牧1，梁华国 1,2，卞景昌2，倪天明2，徐秀敏2，黄正峰2. 基于硅通孔绑定后三维芯片测试调度优化方案[J]. 计算机工程与科学, 2017, 39(03): 458-463.
[8]	雷阳1，张敏情1，郝斌1，孔韦韦2. 基于计算思维的“加涅式”新型计算机课程教学法[J]. 计算机工程与科学, 2016, 38(增刊): 190-194.
[9]	张婷婷，胡斌，牛彦杰. 面向“三种思维”培养体系的军队院校大学计算机基础教学课程改革研究[J]. 计算机工程与科学, 2016, 38(增刊): 252-254.
[10]	舒欣，刘才威，张坤. “阿米巴”教学实践法在任职士官计算机教学中的应用研究[J]. 计算机工程与科学, 2016, 38(增刊): 338-341.
[11]	秦振陆1，2，方芳1,王伟1，2,朱侠1，2,郭二辉3,任福继1，2. “绑定中测试”“多绑一测”方式对于测试过程的影响[J]. 计算机工程与科学, 2016, 38(08): 1602-1608.
[12]	张栋，李寿山，周国栋. 基于答案辅助的半监督问题分类方法[J]. J4, 2015, 37(12): 2352-2357.
[13]	张金波. 企业内部分布式存储高效扩展机制研究[J]. J4, 2015, 37(04): 676-681.
[14]	彭晏飞1，尚永刚1,王德建2. 一种新的基于SVM和主动学习的图像检索方法[J]. J4, 2014, 36(07): 1371-1376.
[15]	李元金1,2 ,王涛1,马良1. 基于因子缩放的车牌图像倾斜校正方法[J]. J4, 2012, 34(7): 130-135.