日志易荣获“2020金融数据智能运维创新优秀解决方案”

“第二届金融数据智能优秀解决方案评选”活动是在中国银行业协会金融科技专委会指导、北京软件和信息服务业协会支持下，由金科创新社主办的。经过网络投票环节与两轮来自银行、证券、基金、保险等金融领域的59位专家的严格评分环节之后，日志易智能日志中心荣登榜单，获评“2020金融数据智能运维创新优秀解决方案”。

在评审过程中，日志易智能日志中心得到了来自中信建投证券信息技术部董事总经理肖钢、中国建设银行数据管理部副总经理刘贤荣、中国人寿保险股份有限公司研发中心总工程师张新宇等众多评委的高度好评。中信建投证券信息技术部董事总经理肖钢这样评价到: “与开源ELK相比，日志易是一个针对日志生态的完整解决方案，包含了从日志收集、解析、处理计算到统计分析、展示的全过程。内置多种解析器且无需大量编码即可实现日志解析，优于Logstash。存储方面基于用C++实现了类似ES的搜索引擎。此外界面可视化操作也是一大亮点，减少开发工作量并且简单易用。”

“日志生态”、“智能日志分析”、“自研创新”、“可视化操作”等专家评语关键词也正是日志易多年来为客户逐一实现的价值。

智能日志中心

1、解决方案简介

日志易智能日志中心平台是一个配置灵活、功能强大、容易使用的日志管理工具，它可对日志进行集中采集和实时索引，提供搜索、分析、可视化和监控告警等功能，帮助企业进行线上业务实时监控、业务异常原因定位、业务日志数据统计分析、安全与合规审计。日志易一直坚定不移地走自主研发、自主创新的技术路线，2018年发布国内首个专用的日志搜索分析引擎Beaver。日志易采用分布式、松耦合、可扩展的集群架构，各模块可水平扩展，如果哪个模块成为性能瓶颈，只需要增加运行那个模块的服务器数量即可。日志易已在数百家大型企业机构得到应用，获得政府、行业、客户等各界的普遍认可，与此同时日志易积极投身行业标准化建设，为行业发展献计献策，积极响应国家产教融合政策，取得了良好的社会和经济效益。

【图：日志易部署架构图】

2、应用场景痛点

在互联网时代，各种各样的行为都会被以“日志”形态记录存储下来，这些日志数据包括了用户的基本信息、网络浏览行为、交易行为、社交行为等。而对于金融行业，面对每天交易所产生的海量数据，以及各种服务器、防火墙所产生的日志，如何在大体量数据中实现集中管理、搜索分析、监控告警、故障溯源及挖掘有效信息加以利用成为一个重大难题。

• 日志分散难以管理

日志产生于不同的业务部门，分布在不同的服务器上无人重视，随时可能被覆盖和删除。只有将这些分散的日志数据系统收集，才能相互对照，发现问题所在。以投资银行为例，传统模式下，交易部门和研究部门的数据是相互独立的，甚至数据的储存格式都不同，由此形成一个个信息孤岛，造成不同系统间关联分析困难、事故原因分析困难。

• 缺乏海量日志处理能力

数据体量大带来的问题不仅仅在于存储，更重要的是庞大的数据无法利用。作为成熟的金融机构，随着网上支付、手机银行、互联网金融等新一代业务的出现，每天产生的各种业务数据、网络设备数据及防火墙数据等可轻松突破TB级别，传统的数据库及系统架构已经无法支撑如此庞大的数据量，传统方法处理效率低、时延长，企业完全淹没在一片数据汪洋之中。

• 日志格式复杂难以解读

就数据处理而言，最容易处理的是企业内部的传统数据——结构化数据。然而随着信息技术的飞速发展，日志数据的范围已经扩大到企业的各个层面，服务器、各种网络设备及五花八门的应用软件催生了多种多样的数据格式。这些数据的可读性很差，对于普通人来说无异于乱码，即便是专业的技术人员，也很难一眼看懂一整条日志数据。

• 高昂的使用成本

作为电子货币与交易信息传输系统，一旦出现账户盗用、虚假信息等现象，将影响到国家金融与个人经济利益，又涉及到交易隐私的安全性，同时还增加了金融风险的传导与扩散危险。面对海量日志带来的运维难题，无论是购买国外最先进的产品还是聘请专业的技术团队，对企业来说都将是一笔不小的开支，需要耗费大量的人力物力。

3、解决方案亮点

▪ 搜索引擎Beaver性能优势

国内首个自研日志搜索引擎，真正的自主可控日志分析产品。同样资源配置情况下，它可比国内大多数采用ELK架构的日志产品处理更多数据；同样日志量的情况下Beaver入库查询的效率更高。基于ELK架构或底层采用ES的产品在大数据量查询时会报OOM的异常，导致查询崩溃，采用C++的Beaver则无该问题。

▪ SPL（Search Processing Language）灵活统计优势

SPL主要优势是通过其丰富的命令实现日志的统计分析、组合、处理与计算。普通的SQL由于局限性无法满足要求，同时SPL本身需要大量的研发人员进行开发与实践。因此目前国内成功开发并应用SPL语言的公司并不多，其中日志易可提供的SPL命令数量已达到150个之多，覆盖绝大部分日常的日志分析场景。

▪ 基于APP生态的复杂日志解析

各行业的IT业务日志种类千差万别，单纯想要从正则方式解析或适应复杂的日志需求简直是天方夜谭。因此经过多年的迭代和优化，智能日志分析平台搭建了APP生态，可通过一键导入实现日志数据的自动化解析。同时，平台本身也研发出了自动划线解析、kv-正则、Geo解析、字段格式化等20多种智能解析规则来适应多种场景。

▪ 机器学习与智能运维

基于日志易平台的大数据处理能力，日志易团队运用先进的机器学习算法如CAVE、IForest、KDE等，实现针对海量数据的异常自动发现、KPI检测、容量预测等AIOps功能。