一个高性能Key/Value数据库XDB的设计与实现

J4 ›› 2012, Vol. 34 ›› Issue (12): 140-143.

一个高性能Key/Value数据库XDB的设计与实现

胡昊1,2，卢凯1，李根1，王小平1，李旭1，周旭1

(1.国防科学技术大学计算机学院，湖南长沙 410073；2.63891部队，河南洛阳 471003)

收稿日期:2012-06-11 修回日期:2012-09-16 出版日期:2012-12-25 发布日期:2012-12-25

Design and Implementation of XDB:A High Performance Key/Value Database

HU Hao1,2,LU Kai1,LI Gen1,WANG Xiaoping1,LI Xu1,ZHOU Xu1

(1.School of Computer Science,National University of Defense Technology,Changsha 410073;2.Troop 63891,Luoyang 471003,China）

Received:2012-06-11 Revised:2012-09-16 Online:2012-12-25 Published:2012-12-25

摘要/Abstract

摘要：

传统SQL数据库在管理大数据、性能和扩展性等方面的不足使得其不能胜任如大规模数据挖掘、商务智能及社交网络等应用场景，而NoSQL数据库由于其在上述应用领域优良的特性近年来得到很快发展。本文在分析现有开源NoSQL数据库产品Kyoto Cabinet 和Tair的不足基础上，设计并实现了一个高性能的Key/Value数据库XDB。XDB分段流水并发处理Key/Value请求，并采用一致性算法保证在并发环境中对Key/Value记录读写的相关性，在随机写入和顺序写入实验中，相比于Kyoto Cabinet，XDB的性能分别提高6倍和15倍。

关键词: Key/Value数据库, 并行处理, 加速算法

Abstract:

The NoSQL DB has been developing fast in such area as Bigdata Mining, Business Intelligence, Social Network System etc., in which the traditional SQL DB is not qualified enough because of its inherently shortcomings like poor capability of handling Bigdata, low CURD performance, and bad scalability. In this paper, we first analyze the deficiency of some popular opensource Key/value databases such as Kyoto Cabinet and Tair, then introduce the design and implementation of the XDB, a high performance Key/value database system. The XDB adopts a requestprocessing pipeline architecture and handles all key/value requests in full parallel way, moreover, a consistencykeeping algorithm is implemented in the XDB to keep read and write correlation of the key/value requests in parallel environment. The XDB outperforms KC 6X and 15X in sequential write and random write experiment respectively.

Key words: Key/Value database；parallel processing；accelerating algorithm

胡昊1,2，卢凯1，李根1，王小平1，李旭1，周旭1. 一个高性能Key/Value数据库XDB的设计与实现[J]. J4, 2012, 34(12): 140-143.

HU Hao1,2,LU Kai1,LI Gen1,WANG Xiaoping1,LI Xu1,ZHOU Xu1. Design and Implementation of XDB:A High Performance Key/Value Database[J]. J4, 2012, 34(12): 140-143.

[1]	张元鸣, 虞家睿, 陆佳炜, 高飞, 肖刚. 基于Spark Streaming的视频大数据并行处理方法[J]. 计算机工程与科学, 2021, 43(10): 1736-1743.
[2]	马骏1,2，李想1，郭红1. 民航气象资料接收模型研究[J]. 计算机工程与科学, 2017, 39(07): 1264-1268.
[3]	秦勃1，朱勇1，秦雪2. 基于Spark框架的乘潮水位计算与可视化平台[J]. J4, 2015, 37(12): 2216-2221.
[4]	赵伟，卓伟，李占波，王志华. 基于云计算的一种新的数据交换架构[J]. J4, 2013, 35(8): 15-19.
[5]	梁锦叶1，梁家荣2. 交换超立方体网络的网络嵌入研究[J]. J4, 2011, 33(8): 74-78.
[6]	张艳燕,何立强. 针对高清彩色图像的最佳邻域匹配算法并行化研究[J]. J4, 2010, 32(10): 73-76.
[7]	李之棠吴锋林晓. 一种基于软硬结合加密的VPN系统结构的研究与实现[J]. J4, 2008, 30(1): 27-28.
[8]	邵良黄骏伟臧斌宇朱传琪. 数组生命期分析的区域延拓方法[J]. J4, 2006, 28(2): 124-127.
[9]	方小永骆志刚. DNA序列拼接的分布式并行处理[J]. J4, 2005, 27(2): 71-73.
[10]	秦军[1] 古志民[2] 孟丹[3]. PCMD在机群管理系统中的应用及其改进[J]. J4, 2004, 26(4): 95-97.
[11]	姜晶菲倪晓强张民选. GF（2m）域上快速模乘处理结构的研究与设计[J]. J4, 2004, 26(11): 89-93.
[12]	牟胜梅刘光明. 海量遥感图像数据实时预处理系统结构设计[J]. J4, 2004, 26(10): 41-44.
[13]	陆松刘光明. 分布共享存储的遥感图像并行预处理系统结构研究[J]. J4, 2004, 26(10): 56-59.
[14]	孙志刚贾蕾唐玉华. MPP互连网络在T比特路由器设计中的应用[J]. J4, 2003, 25(3): 4-6.
[15]	曹鸿强周兴铭. 基于多经济智能主体的计算网格资源管理[J]. J4, 2002, 24(1): 109-109.