基于HBase的遥感数据分布式存储与查询方法研究

计算机工程与科学

基于HBase的遥感数据分布式存储与查询方法研究

景维鹏，田冬雪

（东北林业大学信息与计算机工程学院，黑龙江哈尔滨 150040）

收稿日期:2017-11-06 修回日期:2018-01-16 出版日期:2018-06-25 发布日期:2018-06-25
基金资助:
国家自然科学基金（ 31770768）；黑龙江省自然科学基金（F2017001）；林业公益性行业科研专项（201504307）

A distributed storage and query method of

remote sensing data based on HBase

JING Weipeng，TIAN Dongxue

（College of Information and Computer Engineering,Northeast Forestry University,Harbin 150040,China）

Received:2017-11-06 Revised:2018-01-16 Online:2018-06-25 Published:2018-06-25

摘要/Abstract

摘要：

遥感影像的存储与查询是地理信息处理中重要的内容，在海量遥感影像的实时处理中发挥着重要作用。针对传统的遥感影像处理中存在单节点故障、扩展性低和处理效率低等问题，提出了一种基于HBase的遥感数据分布式存储与查询方案。该方法首先采用均匀网格对遥感影像进行划分，并根据划分结果设计了一种基于网格ID和Hilbert曲线相结合的索引方案。然后，通过利用HBase的过滤机制设计了过滤列族，达到了在查询时筛选数据的目的。另外，采用MapReduce的并行处理方法对影像数据进行并行写入和查询。实验结果表明，与MySQL和MapFile相比，该方法可以有效地提高数据的写入和查询速度，且具有较好的可扩展性。

关键词: 遥感数据, 分布式存储, 数据查询, HBase

Abstract:

The storage and query of remote sensing image is an important content in geographic information processing and plays an important role in the realtime processing of massive remote sensing images. Aiming at the problem of single node failure, low scalability and low efficiency in traditional remote sensing image processing, this paper proposes a distributed storage and query scheme of remote sensing data based on HBase. In this method, the remote sensing image is divided by uniform mesh, and an index scheme based on grid ID and Hilbert curve is designed according to the block information. Then, the HBase filter mechanism is used to design the filter column family so as to achieve the purpose of screening data in the query. In addition, the MapReduce parallel processing method is adopted to write and query image data. The experimental results show that, compared with MySQL and MapFile, the proposed method can improve the query speed of data and has good scalability.

Key words: remote data, distributed storage, data query, HBase

景维鹏，田冬雪. 基于HBase的遥感数据分布式存储与查询方法研究[J]. 计算机工程与科学.

JING Weipeng，TIAN Dongxue.

A distributed storage and query method of

remote sensing data based on HBase

[J]. Computer Engineering & Science.

[1]	沈佳杰, 卢修文, 向望, 赵泽宇, 王新, . 分布式存储系统读写一致性算法性能优化研究综述[J]. 计算机工程与科学, 2022, 44(04): 571-583.
[2]	朱良杰, 沈佳杰, 周扬帆, 王新, . 云际存储系统性能优化研究现状与展望[J]. 计算机工程与科学, 2021, 43(05): 761-772.
[3]	郭会云1,2，房俊1,2，李冬1,2. 基于负载均衡的多源流数据实时存储系统[J]. 计算机工程与科学, 2017, 39(04): 641-647.
[4]	翟皓1，袁占良1，黄祥志2,3，臧文乾2，张周威2，周珂2,4. 一种面向海量遥感数据分类应用的并行解决方案[J]. 计算机工程与科学, 2016, 38(12): 2450-2455.
[5]	王红，孙康. 基于HBase的领域本体存储方法及其应用研究[J]. J4, 2016, 38(07): 1322-1329.
[6]	邵奇峰1，李枫2. 一种基于HBase的空间关键字查询算法[J]. J4, 2015, 37(11): 2084-2090.
[7]	张金波. 企业内部分布式存储高效扩展机制研究[J]. J4, 2015, 37(04): 676-681.
[8]	李志刚,肖侬. 无线传感器网络中对等数据存储策略研究[J]. J4, 2012, 34(5): 24-30.
[9]	陈桦,李艳明,朱美正. 一种支持大量并发用户的瓦片缓存方案研究[J]. J4, 2012, 34(12): 144-149.
[10]	李馨谢长生曹强. 自适应分布式存储系统设计[J]. J4, 2007, 29(9): 140-142.
[11]	王见郭娜陈晓云. VisualDM：一个灵活的可视化数据挖掘系统[J]. J4, 2005, 27(5): 39-41.
[12]	胡宇斌. 一种Native-XML数据库的模型实现[J]. J4, 2005, 27(5): 56-58.
[13]	朱羚杨宗源. 基于B（V）的关系数据库视图增量更新的研究[J]. J4, 2004, 26(6): 81-84.
[14]	陈军李晓梅. 分布式存储环境下并行计算可扩展性的研究与应用[J]. J4, 2001, 23(4): 109-109.
[15]	孟祥杰张理论. 分布式存储环境下矩阵转置并行算法研究[J]. J4, 1999, 21(5): 67-71.