一种新的告警收敛方式“先知预警”,为您的系统健康护航

前言

简介

买基金,上京东

基金交易系统是用户使用京东金融APP进行基金交易的核心支撑系统,每天有数十亿元的交易额。

在大额的交易面前,系统的稳定性尤其重要,同时基金业务比较复杂,为保障每个地方的稳定,告警埋点很多,加上各种日终检查,看似很完美,实际却有了新的问题,因告警太多,日检滞后,而无法快速处理有效异常,导致对账延迟和引发客诉。

结合日常处理经验,我们重新思考是否有好的方式,提前发现异常,改善此事,于是在基金交易系统中做了一件事情,有效的提高了系统的稳定性,以下为此事的主要效果

工单数量:相对2022年1-6月的客诉总数(334)减少127个,对账时间:稳定在16点半前完成,异常订单:从每天几个变成偶发出现, 后续流程:比以往有了较强的稳定性, 同时也间接的释放了,因客诉异常引起的资源消耗(客服,产品,研发,工程师),提高了用户一定体验和满意度。

什么事项

为基金交易系统增加了新型的异常预警,能更加有效的提前发现系统异常,快速解决

为什么做这个事情

在基金交易中,每天有几十万的订单,交易额有数十亿,基金业务场景不仅又多、又复杂,而且链路也比较长,盘后的数据检查经常由于各种原因出现异常订单(运营配置错误,基金公司下发文件异常,系统bug等),而无法顺利对账,影响后续流程。排查定位和修复问题,需在2小时内完成,如果超过时长会对后续流程造成严重的影响,所以有效异常的提前发现和预警就非常重要

基金交易系统异常告警无法满足吗?

交易系统中现有2种告警,一种是即时告警,一个日终报警

即时告警由于老项目时间久,存在历史原因,每天会收到数千封即时告警邮件,想筛选出真正的有效异常,变得非常困难,还有一定的时效性。

日终报警, 是在每日交易结束后,系统会自动进行日终检查,如果发现异常,需在2小时内解决,而且只能对已发生的结果进行修正,个别异常还好,如果出现批量异常,那么2小时就非常宝贵。短时间内的修复,不仅存在高压出错的风险,还可能因此对后续流程产生隐患,甚至对用户造成影响,引发客诉工单。异常工单的处理,是对客服、产品和工程师一种消耗,而且在微服务架构中排查和解决更加复杂耗时。总之每次对账出现异常,总是非常紧张。

你做的预警有什么特点

1、是即时告警和日终报警的补充

2、可通过手机一个界面随时观察异常变化

3、15分钟内即可发现疑异常订单

4、可快速定位,精确到重要场景

预警具体怎么做到呢?

首先对账能否顺利,取决异常情况,而异常又无法彻底避免,提前发现与控制就非常重要

如图,各种场景都可能出现异常

制定异常发现和处理策略

面对告警过滤困难,日终滞后, 结合历史处理经验,对系统进行再次思考,是否有更简单的方式,能有效的对异常进行实时发现预警?

通过探讨,总结了一个简单的规律:

如果关键点没按照指定时间内变更,即可定义为可疑异常 ,其严重级别可以通过汇总数量进行表示

于是制定了如下策略

制定监控预警技术方案

1:首先要基于本身的业务进行识别,基金交易对账是对订单的最终标记状态校验,我们假设一个支付的订单,如果在15分钟内,订单的状态没有发生变化,是否设定为可疑异常?其原因可能很多,如网络问题、MQ消息延迟、代码BUG等等,总之是有问题,那么这样的订单数量越大,就代表其影响的订单就越多,对账的风险就越高。

2:关键点的异常识别,可以采用同样的逻辑,如果在指定的时间内,关键点的状态没有发生变化,即可设定为可疑对象,比如基金交易的重要场景:申购,赎回,支付,非交易过户,退款等场景,都可以基于场景数据的状态变化或者MQ的积压情况进行识别,举个申购的例子:用户申购完成后,后续的流程是采用MQ和任务的方式执行,每个任务都有初始和完成状态,如果这个申购任务在15分钟内,没有标记为完成,即可定义为可疑异常,此类的状态的任务越多,影响对账的风险就越高

落实技术方案

实践中验证效果

效果:刚上线只对总订单和2个场景加了预警,慢慢增加到11个场景,效果也很明显,异常基本上在交易中就被提前发现,如果操作失误,可提前告知相关方修正,如果是系统BUG,就可提前紧急修复,后续再推进根治和架构升级。随着时间推移,影响对账异常范围,虽不能百分百覆盖,但是容易出错的关键点,已经得到有效控制,近几个月,偶发才出现几单(历史用户的存量异常订单引起),对账得到了有效的保护。

经典案例,2023年春节期间,通过预警发现几个异常订单出现,通过排查,是因为基金公司下发可赎回时间为非交易时间引起,涉及16个TA,4000多条记录,假如没提前发现,节后可能会引发批量的异常订单和客诉,形成事故,通过发现处理,规避了发生。

总结

通过这个预警系统,我们能够提前发现并主动处理对账事后异常,其技术难度并不高, 更多的讲究的是一个方法。对此方法起了一个名字叫"先知预警",也希望此理论能对您的系统有所帮助。例如实战中,今年618的拉新活动渠道的监控,10分钟如果没产生订单就进行电话预警;基金停售提前3天邮件电话预警,都可以用此理论解释。

先知预警:是一种基于时间序列分析和业务理解的预测方法,它通过分析历史数据和理解业务,预测未来可能出现的关键点和变化趋势,并及时进行预警和调整,以确保业务的稳定运行。

作者:京东科技 江亚宁

来源:京东云开发者社区

热门相关:洪荒二郎传