基于Hadoop的可视化Deep Web采集平台设计

J4 ›› 2016, Vol. 38 ›› Issue (02): 217-223.

基于Hadoop的可视化Deep Web采集平台设计

刘彤1,张阳2,孙琦2,袁翀2

(1.北京市计算中心云计算关键技术与应用北京市重点实验室,北京 100094;
2.北京市计算中心云计算关键技术与应用北京市重点实验室物联网与大数据应用事业部,北京 100094）

收稿日期:2015-09-10 修回日期:2015-11-13 出版日期:2016-02-25 发布日期:2016-02-25
基金资助:
国家自然科学基金(71303023)；北京市科学技术研究院萌芽计划基金

Design of a visual Deep Web crawler platform based on Hadoop

LIU Tong1,ZHANG Yang2,SUN Qi2,YUAN Chong2

（1.Beijing Key Laboratory of Cloud Computing Key Technology and Application,Beijing Computing Center,Beijing 100094;
2.Department of ToT and Big Data Applications,Beijing Key Laboratory of Cloud Computing Key
Technology and Application,Beijing Computing Center,Beijing 100094,China）

Received:2015-09-10 Revised:2015-11-13 Online:2016-02-25 Published:2016-02-25

摘要/Abstract

摘要：

随着信息技术的发展,互联网信息资源变得越来越丰富,大数据技术的发展使得我们能够从互联网复杂的信息数据中获得相应的知识。这其中最基本的技术就是大数据采集技术,它使我们能够将互联网数据快速采集下来并结构化存储。设计的基于Hadoop的可视化Deep Web采集平台是一种简单易操作的高效深度采集平台,运用Webkit技术作为核心引擎实现可视化配置和深度采集功能,同时通过优化采集算法,调整Hadoop任务分配策略提升效率。实验结果表明,设计的数据采集平台获得了较好的效果。

关键词: 数据采集, Hadoop, 可视化

Abstract:

With the development of IT technology, internet information resources become much richer. We can obtain relevant knowledge from complicated internet information thanks to the rapid development of big data technology. The most essential part is the big data crawler technology which can crawl and save Internet data structurally. In this paper, we present and develop an efficient Deep Web information crawler based on Hadoop. This crawler employs the Webkit as the core engine which can implement the visual configuration and the deep data collection. To improve the efficiency, the data collection algorithm is also optimized by adjusting the strategy of task distribution in Hadoop. Experimental results demonstrate that the developed data collection platform can obtain better results.

Key words: data crawler;Hadoop;visualization

刘彤1,张阳2,孙琦2,袁翀2. 基于Hadoop的可视化Deep Web采集平台设计[J]. J4, 2016, 38(02): 217-223.

LIU Tong1,ZHANG Yang2,SUN Qi2,YUAN Chong2. Design of a visual Deep Web crawler platform based on Hadoop [J]. J4, 2016, 38(02): 217-223.

参考文献［15］

［1］	Liu Jinhong, Lu Yuliang.Survey on topicfocused web crawler［J］.Application Research of Computers,2007,24(10):2629.(in Chinese)
［2］	Zeng Weihui,Li Miao.Survey on the research of deep web crawler［J］.Computer Systems & Applications,2008,17(5):122126.(in Chinese)
［3］	Xiang P,Tian K,Huang Q.A framework of deep web crawler［C］∥Proc of the 27th Chinese Control Conference CCC’08, 2008:582586.
［4］	Yan Jiawei.A study on web reviews automatic extraction based on Hadoop［D］.Hangzhou:Hangzhou Dianzi University,2012.(in Chinese)
［5］	Xu Cheng,Liu Hong,Tan Liang.New mechanism of monitoring on Hadoop cloud platform［J］.Computer Science,2013,40(1):112117.(in Chinese)
［6］	Cheng Jinjia.Reseach and implementation of distributed web crawl based on Hadoop architecture［D］.Beijing:Beijing University of Posts and Telecommunications,2010.(in Chinese)
［7］	Cheng Miao,Chen Huaping.Weblog mining based on Hadoop［J］.Computer Engineering,2011,37(11):3739.(in Chinese)
［8］	Chen Juan,Liu Dongfei.Application of web development based on Webkit in mobile Internet［J］.Soft Ware Guide,2011,10(5):105107.(in Chinese)
［9］	Yang Yiliu.Research of web page information extraction technology based on the template［J］.Journal of Bohai University (Natural Science Edition),2013,(3):320322.(in Chinese)
［10］	Lin Ziyi. Research and implementation of template based web news searching technology［D］.Shanghai:Shanghai Jiao Tong University,2010.(in Chinese)
［11］	Feng Mingyuan.Research and implementation of key technology of deep web information crawling［D］.Hangzhou:Zhejiang University,2010.(in Chinese)
［12］	Tan Kang.Research and implementation of search engine prototype based on deep web crawler［D］.Shanghai:Donghua University,2010.(in Chinese)
［13］	Qiao Feng.Information extraction of web pages based on template web crawler［D］.Chengdu:University of Electronic Science and Technology of China,2012.(in Chinese)
［14］	What is Octopus［EB/OL］.［20150316］.http://www.bazhuayu.com/about#aboutus.(in Chinese)
［15］	Gong Jin,Hu Changjun,Zeng Guangping.Design and implementation of Internet information oriented acquisition system［J］.Journal of Computer Applications,2007,27(S1):1617.(in Chinese)
	附中文参考文献：
［1］	刘金红,陆余良.主题网络爬虫研究综述［J］.计算机应用研究,2007,24(10):2629.
［2］	曾伟辉,李淼.深层网络爬虫研究综述［J］.计算机系统应用,2008,17(5):122126.
［4］	颜佳伟.基于Hadoop的Web评论自动抽取方法研究［D］.杭州:杭州电子科技大学,2012.
［5］	许丞,刘洪,谭良.Hadoop云平台的一种新的任务调度和监控机制［J］.计算机科学,2013,40(1):112117.
［6］	程锦佳.基于Hadoop的分布式爬虫及其实现［D］.北京：北京邮电大学,2010.
［7］	程苗,陈华平.基于Hadoop的Web日志挖掘［J］.计算机工程,2011,37(11):3739.
［8］	陈娟,刘东飞.基于Webkit的Web开发在移动互联网上的应用［J］.软件导刊,2011,10(5):105107.
［9］	杨一柳.基于模板的网页信息抽取技术研究［J］.渤海大学学报（自然科学版）,2013(3):320322.
［10］	林子熠.基于模板的Web新闻搜索技术的研究与实现［D］.上海：上海交通大学,2010.
［11］	冯明远.深度网络信息爬取关键技术研究与实现［D］.杭州：浙江大学,2010.
［12］	檀康.基于深度网页爬虫搜索引擎原型的研究和实现［D］.上海：东华大学,2010.
［13］	乔峰.基于模板化网络爬虫技术的Web网页信息抽取［D］.成都：电子科技大学,2012.
［14］	八爪鱼是什么［EB/OL］.［20150316］.http://www.bazhuayu.com/ about#aboutus.
［15］	宫进,胡长军,曾广平.互联网信息定向采集系统的设计与实现［J］.计算机应用,2007,27(S1):1617.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	吕高锋, 王玉鹏, 杨鎔嘉, 唐竹. 基于聚合的FlowRadar网络数据采集加速模型设计[J]. 计算机工程与科学, 2022, 44(02): 220-226.
[3]	田旭飞, 姚凯学, 王凯鹏, 王运峰. 基于LoRa和STM32的路灯自动监控系统的研究[J]. 计算机工程与科学, 2021, 43(08): 1470-1478.
[4]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[5]	何亮1,2,3,郜沐晨1,2,3,陈锁忠1,2,3,齐慧1,2,3. 地下水渗流场可视化方法与应用研究[J]. 计算机工程与科学, 2020, 42(05): 835-842.
[6]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[7]	李雨冲，闫昭帆，严国萍. 基于边缘的双路卷积神经网络及其可视化[J]. 计算机工程与科学, 2019, 41(10): 1837-1845.
[8]	张丽敏，高晶，李务斌，刘晨. 微服务环境下容器编排可视化实践研究[J]. 计算机工程与科学, 2019, 41(08): 1366-1373.
[9]	赵维平1，孙宁2，杨晓春3，郑国真4. 基于知识图谱的东方音乐可视化教育研究与应用[J]. 计算机工程与科学, 2018, 40(增刊S1): 56-62.
[10]	马长林，谢罗迪，陈梦丽. 基于CTM模型的观点挖掘和可视化[J]. 计算机工程与科学, 2018, 40(04): 745-751.
[11]	黄冬梅1，杜艳玲1,2，张律文1. 基于信息熵种子点选取的流线可视化[J]. 计算机工程与科学, 2018, 40(03): 411-417.
[12]	王志宝1，夏昊2，王成波2. 地理信息检索关键技术研究综述[J]. 计算机工程与科学, 2018, 40(03): 533-543.
[13]	王永坤1,罗萱1,金耀辉1,2. 基于私有云和物理机的混合型大数据平台设计及实现[J]. 计算机工程与科学, 2018, 40(02): 191-199.
[14]	刘鹏1,2，叶帅3，孟磊1,2，王灿4. 基于Spark的并行遗传算法求解多峰函数极值[J]. 计算机工程与科学, 2018, 40(02): 210-217.
[15]	王同勋1，李寒2,3，周胜军1，李亚琼1，谈萌1. 面向谐波分析的电力系统数字仿真系统研究[J]. 计算机工程与科学, 2018, 40(02): 304-312.