一种基于多特征的日志事件异常检测方法研究

计算机工程与科学 ›› 2024, Vol. 46 ›› Issue (09): 1587-1597.

• 计算机网络与信息安全 • 上一篇下一篇

一种基于多特征的日志事件异常检测方法研究

余佳妮，胡朝霞，蒋从锋

（杭州电子科技大学计算机学院，浙江杭州 310018）

收稿日期:2024-01-24 修回日期:2024-03-27 接受日期:2024-09-25 出版日期:2024-09-25 发布日期:2024-09-19
基金资助:
国家自然科学基金(61972118)

Multi-feature-based log event anomaly detectionYU Jia-ni,HU Zhao-xia,JIANG Cong-feng

(School of Computer Science,Hangzhou Dianzi University,Hangzhou 310018,China)

As computer systems grow in scale, complexity, and user demands for higher quality of service, the importance of logging systems has increased significantly. Logs are records of data or events generated during the operation of computer systems, and abnormal data in log entries often indicate performance fluctuations, anomalies, or failures within the system. Existing research on log anomaly detection mostly relies on a single feature, leading to issues such as inefficiency, incompleteness, and high misjudgment rates. This paper proposes a multi-feature-based approach for detecting anomalies in log events. Firstly, we define the multi-dimensional features of logs, including sequential, quantitative, semantic, and temporal features. Secondly, we utilize BERT combined with TF-IDF to obtain semantic feature vectors and integrate these features to form the input for our model. Finally, we establish a Bi-LSTM anomaly detection model based on an attention mechanism. Experiments show that the proposed anomaly detection model achieves a certain improvement in accuracy, providing a valuable reference for assisting in the discovery of log anomalies.

Received:2024-01-24 Revised:2024-03-27 Accepted:2024-09-25 Online:2024-09-25 Published:2024-09-19

摘要/Abstract

摘要： 随着计算机系统规模增大、系统复杂性增加和用户服务质量要求提高，日志系统的重要性日益提高。日志用于记录计算机系统运行过程中产生的数据或事件，日志记录中的异常数据往往表明系统存在性能波动、异常或故障。针对现有的日志异常检测研究多采用单一特征进行异常检测，存在低效、不完备和误判率高等问题，提出基于多特征的日志事件异常检测方法。首先，定义了日志的多元特征，包括序列、定量、语义和时间特征。其次，采用BERT结合TF-IDF获取语义特征向量，并通过特征融合获取模型的输入特征。最后，建立基于注意力机制的Bi-LSTM异常检测模型。实验表明该异常检测模型在精确度上有一定提升，对于辅助发现日志异常具有一定参考作用。

关键词: 异常检测, 日志事件, 多元特征, 注意力机制

Abstract: anomaly detection;log event;multi-features;attention mechanism

余佳妮, 胡朝霞, 蒋从锋. 一种基于多特征的日志事件异常检测方法研究[J]. 计算机工程与科学, 2024, 46(09): 1587-1597.

(School of Computer Science, Hangzhou Dianzi University, Hangzhou , China). Multi-feature-based log event anomaly detectionYU Jia-ni,HU Zhao-xia,JIANG Cong-feng[J]. Computer Engineering & Science, 2024, 46(09): 1587-1597.

[1]	刘国岐, 何廷年, 荣艺煊, 李卓然. 基于用户轨迹和好友关系的兴趣点推荐[J]. 计算机工程与科学, 2024, 46(09): 1693-1701.
[2]	刘晓华, 徐茹枝, 杨成月. 一种基于多特征融合嵌入的中文命名实体识别模型研究[J]. 计算机工程与科学, 2024, 46(08): 1473-1481.
[3]	王泽宇, 徐慧英, 朱信忠, 李琛, 刘子洋, 王子奕. 基于YOLOv8改进的密集行人检测算法：MER-YOLO[J]. 计算机工程与科学, 2024, 46(06): 1050-1062.
[4]	尹春勇, 赵峰. 基于双层注意力和深度自编码器的时间序列异常检测模型[J]. 计算机工程与科学, 2024, 46(05): 826-835.
[5]	马长林, 孙状. 基于实体知识的远程监督关系抽取[J]. 计算机工程与科学, 2024, 46(05): 945-950.
[6]	曹浩东, 汪海涛, 贺建峰. 融合序列局部信息的日期感知序列推荐算法[J]. 计算机工程与科学, 2024, 46(04): 734-742.
[7]	黄珍伟, 陈伟, 王文杰, 路锦通. 基于改进 RetinaNet网络的水下机器人目标检测与实验[J]. 计算机工程与科学, 2024, 46(02): 264-271.
[8]	王姗姗, 汪梦竹, 骆志刚. 局部判别损失无监督域适应方法[J]. 计算机工程与科学, 2024, 46(01): 132-141.
[9]	梁秀满, 周佳润, 杨若兰. LPD-YOLO：轻量级遮挡行人检测模型[J]. 计算机工程与科学, 2023, 45(12): 2197-2205.
[10]	焦佳辉, 马思远, 宋玉, 宋伟. 基于卷积注意力机制的双模态音乐流派分类模型MGTN[J]. 计算机工程与科学, 2023, 45(12): 2226-2236.
[11]	贾康, 李晓楠, 李冠宇. 一种基于自适应结构感知池化图匹配的图相似度计算模型[J]. 计算机工程与科学, 2023, 45(11): 1999-2007.
[12]	张千锟, 韩虎, 郝俊. 基于双注意力融合知识的方面级情感分类[J]. 计算机工程与科学, 2023, 45(10): 1866-1873.
[13]	尹春勇, 冯梦雪. 基于注意力机制的半监督日志异常检测方法[J]. 计算机工程与科学, 2023, 45(08): 1405-1415.
[14]	余子丞, 凌捷. 基于Transformer和多特征融合的DGA域名检测方法[J]. 计算机工程与科学, 2023, 45(08): 1416-1423.
[15]	吴栋梁, 刘知贵, . 基于轻量化YOLOX的电子元器件缺陷检测方法研究[J]. 计算机工程与科学, 2023, 45(08): 1463-1471.

一种基于多特征的日志事件异常检测方法研究

Multi-feature-based log event anomaly detectionYU Jia-ni,HU Zhao-xia,JIANG Cong-feng

PDF

可视化

摘要/Abstract

引用本文

使用本文

相关文章 15

编辑推荐

Metrics

本文评价