基于云计算的定向搜索监控研究

J4 ›› 2013, Vol. 35 ›› Issue (1): 82-87.

基于云计算的定向搜索监控研究

屈振新，朱文昌

(中南财经政法大学信息与安全工程学院，湖北武汉 430073）

收稿日期:2011-01-18 修回日期:2011-04-17 出版日期:2013-01-25 发布日期:2013-01-25
作者简介:屈振新(1972),男，湖北房县人，博士，副教授，研究方向为语义Web、云计算、网络和数据库。

Research of directed searching and monitoring based on cloud computing

QU Zhenxin，ZHU Wenchang

(School of Information and Safety Engineering,
Zhongnan University of Economics and Law,Wuhan 430073,China）

Received:2011-01-18 Revised:2011-04-17 Online:2013-01-25 Published:2013-01-25

摘要/Abstract

摘要：

传统的搜索引擎不能代替用户实行实时监控，为了解决这个问题，提出了定向搜索监控技术，用户可以根据自己的需求定制任务，包括指定搜索范围和搜索主题，系统按用户定义周期监控，并将结果及时主动地反馈给用户。以Google云平台Google App Engine作为开发平台，利用其提供的多项云服务，有效地解决了计划任务管理、多任务触发以及高并发等问题。重写了通用网络爬虫，通过算法改进提出了定向网络爬虫模型，定向网络爬虫与云端强大的服务器相结合，极大地缩短了爬行时间，提高了搜索监控效率。云平台和搜索监控技术的结合是平台即服务思想的一次成功实验。

关键词: Google云平台, 定向, 搜索, 监控, 计划任务管理, 定向网络爬虫

Abstract:

Traditional search engines cannot replaces users to support realtime monitoring. To solve this problem, this paper proposes the initiative directed searching and monitoring technology. Users can customize their own tasks, including search websites and search theme. The system monitors at the userdefined period, and the results are returned to the user immediately. The Google App Engine (GAE) is used as the development platform, its several cloud computing services are used to solve the problems such as the planned task management, multitasking and high concurrency. We rewrite the web crawler and propose the directed web crawler. Combining the directed crawler and the cloud server, the crawling time is shorten and the monitoring efficiency is increased. It is a successful experiment on Platform as a Service (PaaS) that combining the cloud platform and the searching and monitoring technology.

Key words: Google’s cloud platform;directed;search;monitor;scheduled tasks management;directed web crawler

屈振新，朱文昌. 基于云计算的定向搜索监控研究[J]. J4, 2013, 35(1): 82-87.

QU Zhenxin，ZHU Wenchang. Research of directed searching and monitoring based on cloud computing [J]. J4, 2013, 35(1): 82-87.

[1]	华悦琳, 周晓磊, 范强, 王芳潇, 严浩, . 基于分区层次图的海量高维数据学习索引构建方法[J]. 计算机工程与科学, 2024, 46(07): 1193-1201.
[2]	王颍超. 鲸鱼优化算法研究与应用进展[J]. 计算机工程与科学, 2024, 46(05): 881-896.
[3]	李江华, 王鹏晖, 李伟. 一种混合多策略改进的麻雀搜索算法[J]. 计算机工程与科学, 2024, 46(02): 303-315.
[4]	王睿伯, 吴振伟, 张文喆, 邬会军, 张于舒晴, 卢凯. 基于内存保护键值的细粒度访存监控[J]. 计算机工程与科学, 2024, 46(01): 21-27.
[5]	孙睿男, 初翔, 陈昱, 闫明宁. 基于混合启发式算法的快递末端选址路径优化研究[J]. 计算机工程与科学, 2024, 46(01): 159-169.
[6]	张天阳, 池成悦, 郭武, 高亦沁, 文敏华, 韦建文. 校级异地超算集群管理的关键技术研究与实践[J]. 计算机工程与科学, 2023, 45(12): 2135-2145.
[7]	刘琰, 张姣, 姜胜腾, 潘筱茜, 赵海涛, 魏急波. 一种多策略融合的人工蜂鸟算法[J]. 计算机工程与科学, 2023, 45(12): 2216-2225.
[8]	李中华, 袁杰, 郭振宇. 基于信息启发的目标导向Bi-RRT机器人路径规划[J]. 计算机工程与科学, 2023, 45(12): 2237-2245.
[9]	张文宁, 周清雷, 焦重阳, 梅亮. 融入重心反向学习和单纯形搜索的粒子群优化算法[J]. 计算机工程与科学, 2023, 45(09): 1629-1638.
[10]	胡春安, 熊昱然. 多策略改进的混沌哈里斯鹰优化算法[J]. 计算机工程与科学, 2023, 45(09): 1648-1660.
[11]	李安东, 刘升, 苟茹茹. 基于邻域搜索的改进反向学习平衡优化器算法[J]. 计算机工程与科学, 2023, 45(09): 1679-1690.
[12]	罗仕杭, 何庆. 多策略融合改进的均衡优化算法及其应用[J]. 计算机工程与科学, 2023, 45(08): 1508-1520.
[13]	闫彩瑞, 马慧芳, 李青青. 基于谱图小波的多尺度社区搜索方法[J]. 计算机工程与科学, 2023, 45(06): 1106-1115.
[14]	叶坤涛, 舒蕾蕾, 李文, 侯春菊. 基于差分进化策略的天牛须搜索算法及其应用[J]. 计算机工程与科学, 2023, 45(05): 920-930.
[15]	彭坤彦, 尹翔, 刘笑竹, 李恒宇. 基于粒子群优化和深度强化学习的策略搜索方法[J]. 计算机工程与科学, 2023, 45(04): 718-725.