基于Hadoop的搜索引擎用户行为分析

J4 ›› 2011, Vol. 33 ›› Issue (4): 115-120.

基于Hadoop的搜索引擎用户行为分析

王振宇1,郭力 2

(1.华南理工大学软件学院,广东广州 510006;2.华南理工大学计算机科学与工程学院,广东广州 510006)

收稿日期:2010-03-28 修回日期:2010-07-15 出版日期:2011-04-25 发布日期:2011-04-25
作者简介:王振宇(1967),男,河南许昌人，博士，教授，研究方向为分布式计算与SOA、操作系统与虚拟化技术、嵌入式系统和实时处理。郭力(1987),男，湖北仙桃人，硕士，研究方向为网络存储技术和分布式计算系统。
基金资助:
广东省科技计划资助项目(2007B01020049)

An Analysis of the Search Engine User Behaviors Based on Hadoop

WANG Zhenyu1,GUO Li2

(1.School of Software Engineering,South China University of Technology,Guangzhou 510006;(2.School of Computer Science and Engineering,South China University of Technology,Guangzhou 510006,China)

Received:2010-03-28 Revised:2010-07-15 Online:2011-04-25 Published:2011-04-25

摘要/Abstract

摘要：

搜索引擎用户行为分析是网络信息检索技术的研究热点。通过分析用户点击行为，利用Web数据挖掘技术获取有用信息，提高搜索引擎的检索算法和检索服务的效率，把用户从大量无序的搜索结果中解放出来。本文针对传统并行计算模型在易扩展和易编程方面遇到的瓶颈,给出一种基于Hadoop的海量日志数据处理模型，通过基于Hadoop的分布式文件系统HDFS与MapReduce并行计算模型提高系统扩展性和易编程性，并应用该模型分析了Sogou搜索引擎一个月内约2 200万条查询日志，分析结果对于掌握用户搜索行为，评测及改进搜索引擎检索、排序算法等均有较好的指导意义。

关键词: Hadoop, 分布式计算, 用户行为分析, 海量数据

Abstract:

Search engine user behaviors analysis is a focus of network information retrieval. It is a method of analyzing the user’s behaviors through clicks to mine useful information to improve search engine’s efficiency and retrieval services. In face of easy expansion and programming bottlenecks in traditional parallel computation models, a massive log data processing model based on Hadoop is given, which improves scalability and easy programming through Hadoop Distributed File System and MapReduce. Moreover, the experiment of analyzing 22 million query logs of the Sogou search engine in one month is carried out based on this model. The analysis result is instructive and meaningful to mastering the user’s behaviors, evaluating and improving the searching and sorting algorithms.

Key words: Hadoop;distributed computing;user behavior analysis;massive data

王振宇1,郭力 2. 基于Hadoop的搜索引擎用户行为分析[J]. J4, 2011, 33(4): 115-120.

WANG Zhenyu1,GUO Li2. An Analysis of the Search Engine User Behaviors Based on Hadoop[J]. J4, 2011, 33(4): 115-120.

[1]	苏丽，孙彦猛，张博为，杨先博，朱颖. 一种基于Hadoop+CUDA实现相关器的方法[J]. J4, 20160101, 38(01): 46-51.
[2]	赵俊生, 王鑫宇, 尹玉洁, 张林. 基于蒙古语新闻领域本体的分布式检索方法[J]. 计算机工程与科学, 2021, 43(03): 560-570.
[3]	杨青1,2,3，张亚文1,2，张琴1，袁佩玲1. 基于Hadoop的多维关联规则挖掘算法研究及应用[J]. 计算机工程与科学, 2019, 41(12): 2127-2133.
[4]	王永坤1,罗萱1,金耀辉1,2. 基于私有云和物理机的混合型大数据平台设计及实现[J]. 计算机工程与科学, 2018, 40(02): 191-199.
[5]	刘鹏1,2，叶帅3，孟磊1,2，王灿4. 基于Spark的并行遗传算法求解多峰函数极值[J]. 计算机工程与科学, 2018, 40(02): 210-217.
[6]	肖文，胡娟，周晓峰. PFPonCanTree：一种基于MapReduce的并行频繁模式增量挖掘算法[J]. 计算机工程与科学, 2018, 40(01): 15-23.
[7]	蔡武越1,王珂2，郝玉洁2，段晓冉2. 一种Hadoop集群下的行为异常检测方法[J]. 计算机工程与科学, 2017, 39(12): 2185-2191.
[8]	吴云蔚，宁芊. 基于Hadoop平台的分布式SVM参数寻优[J]. 计算机工程与科学, 2017, 39(06): 1042-1047.
[9]	莫文导1，利业鞑2，温昂展3，林伟伟3. 面向移动设备的温度感知的任务调度算法[J]. 计算机工程与科学, 2017, 39(04): 627-633.
[10]	黄伟建，杨海龙. Hadoop下改进布隆过滤器算法的网页去重[J]. 计算机工程与科学, 2017, 39(02): 285-290.
[11]	张波，徐蔚鸿，陈沅涛，朱玲. 基于Hash改进的k-means算法并行化设计[J]. 计算机工程与科学, 2016, 38(10): 1980-1985.
[12]	雷力1，钱斌海1，郭俊1，顾雄礼2，刘鹏1. 集成I/O硬件压缩加速器的Hadoop系统结构[J]. 计算机工程与科学, 2016, 38(08): 1524-1529.
[13]	徐涛，顾瑜，汪东升. 基于关键列分组排序的列存储结构[J]. 计算机工程与科学, 2016, 38(08): 1536-1541.
[14]	江涛1，袁景凌1，陈旻骋1，宋华明2. 基于加速收敛蜂群算法的资源感知调度器[J]. 计算机工程与科学, 2016, 38(08): 1595-1601.
[15]	刘彤1,张阳2,孙琦2,袁翀2. 基于Hadoop的可视化Deep Web采集平台设计[J]. J4, 2016, 38(02): 217-223.