Sentry 金融实时风控系统

梁堃@数美时代

目录

01 背景与挑战

02 Sentry实时风控系统

03 Q & A

背景与挑战01

数美发现数据之美

数美 金融大数据解决方案提供商

核心业务 为金融行业提供大数据产品及服务开发，并提供基于大数据场景的解决方案。主营产

品（业务）分为风险控制类、用户画像类、精准营销类、数据分析与挖掘类、数据仓库类、大数据

决策支撑类

我们是谁

背景与挑战

交易的种类越来越多流水也越来越大

欺诈交易带来的损失迅速增加银行业高速发展

实时风控系统对于银行业继续保持高速发展越来越重要

背景与挑战

目标

挑战

安心：实时阻断欺诈交易，减少客户／商家／银行的损失便捷：让正常的交易便捷流畅地完成，减少不必要的中间环节

• 银行业务的内在复杂度

• 交易发生的方式、地点非常的多样化

• 欺诈方式、技术等的不断提高

• 两个目标似乎是矛盾的

背景与挑战

大数据

迎接挑战

美国的经验：平均每100美元交易中

由于欺诈导致的损失

1990～1992年：20分

2008～2010年：7分

02 Sentry金融实时风控系统

Sentry是什么

以大数据为核心

建立正常交易模型

识别欺诈交易

• 基于大数据技术构

建的实时交易风险

评估系统

Sentry是什么

业务系统将交易信息发送风控系统

发现该交易中存在的异常行为和可疑场景

根据发现的“证据”计算该交易的风险系数

将风险系数等相关信息反馈给业务系统

在每一笔交易发生时，实时进行

异常行为

交易账号曾出现在POC中 交易频率异常

交易时间异常 交易地点异常

交易延时异常 交易序列异常

交易金额异常

异常行为

Ø 个性化信息，针对特定客户，

特定帐号

Ø 不是常用的或常常发生的情

况

Ø 不符合该客户，该帐号平常

的行为模式

主要类型

可疑场景

1. 可疑收款账号

2. 可疑收款商家

3. 可疑收款POS

4. 可疑交易ATM

5. 可疑交易地点

6. 可疑交易应用

7. …

可疑场景

Ø 全局信息

Ø 在该场景下经常发生欺诈交易

计算风险系数

计算交易的欺诈概率• (0, 1)范围内的值• “证据”越多，包含的“证据”越强，概率越大• 常用技术

1. 规则系统

2. 机器学习

3. 机器学习与规则混合系统

• 计算交易风险系数• 渠道特定• 例如：欺诈概率，欺诈概率 x 交易金额

业务系统处理

030201

交易放行

04

附加验证

人工座席验证

交易阻断

Sentry的整体架构：主要模块图

access-layer

drpc-servers

sentry-sdk

prediction-engine

业务渠道

CH N

…

CH 2

CH 1

CH 3

rule-engine

ml-models

rt-statistics

…

rule-manager

report-manager

case-manager

dashboard (web-ui)

客户信息客户行为历史

offline-mining

客户画像挖掘

POS画像挖掘

…

ml-training

NNTrain

GBDTTrain

…

profiles

客户画像

POS画像

…

Sentry的整体架构：主要数据流图

业务渠道

CH N

…

CH 2

CH 1

drpc-servers

syncapi

rule-engine

CH 3ml-models

NN

GBDT

…

feature-assembler

profiles

case-manager

客户信息客户行为历史

dashboard (web ui)

Online

Offline

offline-mining

客户画像挖掘

POS画像挖掘

…

ml-training

NNTrain

GBDTTrain

…

sentry-sdk

result-cacheresult-return

rt-statistics

asyncapi

asyncapi

sentry-inputs rule-manager

Sentry的特点

1.잠재고객

多渠道

⾼可⽤

⾼可伸缩

低成本

低延时• 几分之一秒的响应时间

• 运行于普通的PC服务器之上，对硬件没有特殊要求

• 随着PC服务器数目的增加，吞吐近乎可以等比例地增加

• 完全的分布式系统，少量PC服务器宕机不影响服务

• 支持同时接入多种业务渠道• 支持跨渠道实时风险评估

Sentry使用的开源组件

• 分布式存储系统 Cassandra• 在Sentry中主要用于存储画像、案例、规则等数据• 支持快速的按key查询、更新，支持批量读取、写入

• 实时计算系统 Storm• 在Sentry中是预测引擎使用的实时计算框架• 支持毫秒级别的实时计算

• 分布式一致性协议的实现 ZooKeeper

Sentry的实施

3阶段：改进阶段

1 1.5 3

• 1阶段：基于规则的欺诈交易识别

2阶段：基于机器学习＋ 规则的欺诈交易识别

2

1.5阶段：基于规则 ＋ 数据挖掘的欺诈交易识别

实施的三个阶段

前提

Sentry实施的第一阶段：基于规则的欺诈交易识别

阶段1.5: 通过数据挖掘获得规则中的阈值• 例如上述规则中的 “5000”， “50000”

搭建实时风控系统架构• 该阶段，机器学习引擎返回空常量• 打通与渠道系统的交互流程

资深业务人员制定规则体系• 转账金额 > 5000 AND IP属地 != 常用属地 è 附加验证• 累计转账金额 > 50000 AND 收款方账号位于灰名单中 è 人工座席验证• …

收集并准备必要的数据1

3

4

2

Sentry实施的第二阶段：基于机器学习＋规则的欺诈交易识别

训练深度神经网络• 实时在线训练• 批量训练

启用机器学习引擎

• 随着训练样本和时长的增加，机器学习模型会越来越准

逐步调整机器学习和规则相对比例• 平滑过渡到机器学习为主、规则为辅的状态

Sentry实施的第三阶段：长期改进阶段

B：引入更多维度的数据

• 为机器学习提供更多有信息量的特

征

C：调优机器学习模型

神经网络的结构

Regularization方法

调整训练参数

A：案例深入分析

03 Q& A

谢谢大家！

北京数美时代科技有限公司