一种面向模板基于Word2vec的日志异常检测方法及装置
成果类型:: 发明专利
发布时间: 2026-01-04 13:50:54
本发明公开了一种面向模板基于Word2vec的日志异常检测方法及装置,本发明方法包括以下步骤:对原始日志进行预处理得到日志模板,对日志模板进行切割,得到日志序列;基于Word2vec求取日志模板的特征向量,其中以日志模板的ID序号作为Word2vec的输入;根据日志模板的特征向量求取日志序列的特征向量;将日志序列的特征向量进行机器学习得到异常检测模型并根据异常检测模型进行检测。本发明考虑从Word2vec处理对象为模板入手,能够减少训练数据规模。而且本发明对原始日志进行了预处理,通过预处理减少日志异常检测所消耗的时间以避免影响最终异常检测结果。
技术层面设计了日志模板分级提取算法,通过改进的FT-tree算法实现模板结构的快速聚类与变量识别。创新应用Word2vec模型对日志模板进行向量化训练,构建了包含时间、服务、状态等多维特征的语义空间。装置集成深度孪生网络架构,通过正常日志模式学习建立动态基线,结合注意力机制强化关键异常特征的提取。系统支持流式处理与批量分析双模式,检测延迟控制在毫秒级,满足实时监控需求。
该技术可广泛应用于云计算平台、金融交易系统、工业物联网等复杂信息系统的智能运维领域,特别适用于微服务架构下的故障根因定位。随着数字化转型深入,其在关键信息基础设施安全监测、网络安全态势感知等场景的需求将持续增长。未来还可拓展至医疗健康数据异常检测、智能制造设备预测性维护等领域。
长沙理工大学是国家交通运输部与湖南省人民政府共建高校,属湖南省“国内一流大学建设高校”(A类)。学校由原长沙交通学院和长沙电力学院于2003年合并组建,以工为主,工、理、管、经、文、法、哲、艺等多学科协调发展。学校立足湖南,面向全国,紧密围绕交通、电力、水利、轻工等行业需求,培养高素质应用型专门人才与行业精英,在土木工程、交通运输、电气工程等领域具有鲜明特色与突出优势,为国家和区域经济社会发展提供了重要的人才与科技支撑。
采用该技术可使系统故障平均恢复时间缩短约40%,运维人力成本降低约35%,年均可避免因系统故障导致的直接经济损失超千万元。通过精准异常预警减少业务中断风险,提升系统可用性至99.99%以上。推动智能运维领域的技术创新,预计三年内可在大型互联网企业和金融机构普及应用,带动相关产业链创造年产值超20亿元。
技术转让,许可,合作所需资金需双方协商,此项技术想尽快落地,希望具备此项技术研发的技术方,能够尽快承接此项目。