科创中国
平台服务端日志检查系统
发布时间: 2025-11-05
基本信息
合作方式：
技术许可
成果类型：
发明专利,软件著作权
行业领域：
电子信息技术,计算机及网络技术
成果介绍
日志被广泛用于检测现代大规模分布式系统中的异常。然而由于日志的急剧增加，过度依赖人工日志检查的传统异常检测变得不可能。为了减少人工工作量，近年来，以机器学习为代表的自动日志分析在日志异常检测领域得到了广泛研究,但是常规的分类方法只给出预测结果，缺乏对预测结果的有效性评估，即对预测结果的可信程度的评估以及对该评估有效性的保障。为此提出了平台服务端日志检查系统的研发。
1.在日志异常检测过程中，选择三种基础算法LR、SVM和RF，引入Venn-Abers算法是给出每个预测结果的概率区间，从概率的角度评估预测结果的正确性。
2.选取五种不同类型的单模型SVM、KNN、DT、RF、GBDT，采用Stacking多模型融合策略自定义融合这五种单模型，采用HDFS数据集进行日志异常检测的准确率的验证，Stacking多模型融合策略避免了单模型的性能差异性，在漏报和误报率方面有所提高。
3.针对传统K-Means算法聚类效果不稳定且受离群点影响较大的缺点，基于密度对离群点进行检测，使用elbow法确定聚类数量，基于最远距离进行初始化中心点的选择，以此实现对算法的优化。
成果亮点
1.采用基于Venn-Abers预测器的日志异常检测算法，Stacking-VA预测器对HDFS日志获得最好的异常分类比多模型融合算法高。引入Venn-Abers算法不仅可以对预测结果进行有效性评估，而且可以提高日志异常检测的能力。
2.通过改进K-Means聚类算法对异常事件的平均检测率相较于传统的K-Means算法有所提高，并且在与其他无监督异常检测算法的比较中也有较好的表现。
团队介绍
公司成立于2021年，在公司发展期间，始终为客户提供良好的技术支持和健全的售后服务。已经形成了一个架构合理、制度健全的发展模式，是一家实力雄厚的科技型企业。展望未来，公司将不断采用最新技术，适时推出新项目、新版本，满足广大客户日益高涨的网络技术需求，秉承“实力成就未来”的企业理念和“诚信、专业、创新、服务”的企业精神，恪守“提高服务品质、打造一流品牌”的企业价值观，主动进取、不断创新。
成果资料
下载app