56
ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ. ПРАКТИЧЕСКИЕ АСПЕКТЫ Мария Чепурина, Коллекторское агентство "Пристав" Руслан Морозов, Банк "Петрокоммерц"

ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ. ПРАКТИЧЕСКИЕ АСПЕКТЫ

  • Upload
    palti

  • View
    100

  • Download
    0

Embed Size (px)

DESCRIPTION

ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ. ПРАКТИЧЕСКИЕ АСПЕКТЫ. Мария Чепурина, Коллекторское агентство "Пристав" Руслан Морозов, Банк "Петрокоммерц". ТЕОРИЯ. Руслан Морозов, Банк "Петрокоммерц". 1. Требования к модели. 11. Пересмотр. 2. Сбор данных. 10. Внедрение и Сопровождение. - PowerPoint PPT Presentation

Citation preview

Page 1: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ. ПРАКТИЧЕСКИЕ АСПЕКТЫ

Мария Чепурина,Коллекторское агентство "Пристав"

Руслан Морозов, Банк "Петрокоммерц"

Page 2: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ТЕОРИЯ

Руслан Морозов, Банк "Петрокоммерц"

Page 3: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ЖИЗНЕННЫЙ ЦИКЛ МОДЕЛИ

11. Пересмотр

1. Требованияк модели 2. Сбор

данных

10. Внедрение и Сопровождение

3. Выбор методологии

9. Документация

8. Тестирование

6. Анализ отклоненных

5. Многофактор-ный анализ

4. Однофактор-ный анализ

7. Калибровка

Page 4: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫТребования к модели

принятие решения о выдаче кредита определение уровня принятия решения расчет ожидаемых убытков ценообразование определение лимитов прогнозирование отчетность мониторинг индикаторы раннего предупреждения расчет резервов расчет капитала и т.д.

Page 5: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫСбор данных

Исчерпывающий набор данных является важной предпосылкой для построения качественной модели. Следующие требования предъявляются к полноте выборке и её качеству:

Объем и историчность данных, период наблюдения

Источники данных Репрезентативность выборки Достаточное количество «плохих» Качество данных (пропущенные и

удаленные значения, верность и т.п.) Определение Хороший / Плохой Формирование выборки

Page 6: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫХороший / Плохой

Для построения скоринговой системы необходимо решить, что есть «плохой» клиент.

В соответствие с Базель II дефолт должника считается произошедшим, когда имело место одно или оба из следующих событий:

Банк считает, что должник не в состоянии полностью погасить свои кредитные обязательства перед Банком без принятия Банком таких мер, как реализация обеспечения (если таковое имеется).

Должник более чем на 90 дней просрочил погашение любых существенных кредитных обязательств перед Банком.

Page 7: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫФормирование выборки

Page 8: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫВыбор методологии

Экспертные системы Generic модели Pooling модели

Регрессии logit, probit, наименьших квадратов, нейросети и

т.д. Деревья решений

CHAID, CART Линейное программирование Модели ценообразования опционов Модели приведенной стоимости и т.д.

Page 9: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫОднофакторный анализ

Этапы однофакторного анализа Составление «длинного» списка переменных Проверка гипотез:

предсказательная сила соответствие ожидаемому поведению

Трансформация нормализация стандартизация разбиение на групп и т.п.

Проверка корреляций Работа с пропущенными значениями

Результатом анализа является список переменных.

Предварительный выбор переменных существенно уменьшает сложность последующего многомерного анализа.

Page 10: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫМногофакторный анализ

Существуют различные методы построения «оптимальной» модели по набору заданных переменных. Наиболее распространенный метод – логистическая регрессия.

Преимущества регрессии: Итоговый Score получается простым взвешиванием

переменных. Score лежит в диапазоне [0,1] и может быть

проинтерпретирован как вероятность негативного события

Метод устойчив к небольшим изменениям выборки. Нахождение оптимального решения сводится к

максимизации функции правдоподобия

)1ln()1()ln( прогнознаблюдениепрогнознаблюдение XXXX

Page 11: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫМногофакторный анализ

В таблице ниже перечислены значения Джини, которые могут быть достигнуты на практике для различных типов моделей.

Page 12: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫАнализ отклоненных клиентов

Существует различные техники определения качества отклоненных клиентов:

Присвоить всем отклоненным клиентам статус – Плохой

Разбить на хороших и плохих в той же пропорции, что и по известной части

Экстраполяция Пополнение Метод соседей Совместное распределение Использование 3 групп (плохие, хорошие,

отклоненные) Анализ причин отклонения (негативная

кредитная история -> отказ)

Page 13: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫКалибровка

Калибровка – назначение вероятности дефолта для заданного рейтинга модели. Качество калибровки зависит от того, в какой степени вероятности дефолта, предсказанные моделью, соответствуют фактически реализовавщимся дефолтам. Существует ряд методов, позволяющих оценить качество калибровки:

Показатель Бриера Диаграмма надежности Проверки значимости отклонений от частоты

дефолтов Проверочная калибровка с использование

стандартного нормального распределения Биномиальный Калибровочный тест Процедура калибровочных испытаний на основе

корреляций дефолтов.

Page 14: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫПример калибровки

Вводим новую переменную RDR =PD/(1–PD)

Вычисляем Average DR по модели на недофолтной выборке

Переводим полученный результат в RDRмодели

Вычисляем Average DR по портфелю и переводим в RDRпортфеля

Считаем RDRнекалиб для каждой группы

RDRкалиб находим как RDRнекалиб х (RDRпортфеля / RDRмодели)

Page 15: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫТестирование

Целью тестирования является оценка качества модели при её использовании на данных не входящих выборку, которая была использована при построении модели. Можно выделить следующие основные тесты:

Эффективность (дифференцирующая способность) Устойчивость (робастность) Бэк-тестирование Champion-Challenger стратегия

Основным показателем эффективности является коэффициент Джини. Чем больше выборка, тем более надежным будет данный критерий.

Для оценки надежности коэффициента Джини используют: Бенчмаркинг Аналитическую оценку уровня доверия Эвристическую оценка уровня доверия путем повторных случайных

выборок (Bootstrapping, Jackknifing, Метод скользящего среднего) Выборка для валидации

In-time: выборка построена случайным выбором из общей выборки Out-of-time: случайный выбор из другого временного периода.

Page 16: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫДокументация

В соответствие с Базель II:Все важнейшие элементы модели и процесса моделирования должны быть полностью и надлежащим образом задокументированы. Банки обязаны письменно документировать разработку внутренних моделей и оперативные подробности. Документация должна продемонстрировать соблюдение банком минимальных количественных и качественных стандартов, и должна также покрывать такие разделы, как применение модели для различных сегментов портфеля, процедура рейтингования, ответственность сторон, участвующих в моделировании, а также процессы утверждение и пересмотра модели.

Page 17: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫВнедрение и Сопровождение

Фактическая интеграция процедуры рейтингования в процесс управления кредитным риском в Банке и в системы отчетности, включают в себя:

Разработку банком внутренних процедур, которые включают в себя процесс рейтингования, и включение их в банковские документы

Использование рейтингов в процессе управления кредитным риском (принятие решений, ценообразование, полномочия, система лимитов, и т.д.)

Соответствие процедуры рейтингование с кредитной стратегией Банка

Ответственность за рейтинг не должна лежать на фронт-офисе (бизнес), исключение возможно лишь в рознчном бизнесе, но также не рекомендуется.

В случае если пользователь может отклоняться от рейтинговой процедуры, должна быть определена чёткая процедура как и когда, все отклонения должны быть задокументированы.

Page 18: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ОСНОВНЫЕ ЭТАПЫВалидация

В соответствие с Базель II: Банк должен регулярно оценивать (валидировать)

работу модели, включая мониторинг ее результатов и стабильности, отслеживание взаимосвязей моделей и тестирование результатов моделирования относительно реальных данных.

Основные принципы валидации Банк ответственен за валидацию модели Валидация должна оценивать предсказательную силу

модели и использование результатов модели в кредитном процессе

Валидация – итеративный процесс Не существует единого подхода к валидации Валидация должна включать в себя как качественную,

так и количественную валидацию Валидация должна быть независимой от

основного процесса моделирования

Page 19: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ВОПРОСЫ ?

Page 20: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

ПРАКТИКА

Мария Чепурина,Коллекторское агентство "Пристав"

Page 21: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Розничное кредитование Эволюция моделей

Запуск проекта – разработать MAC, отражающие демографические и локальные особенности рынка. Установить среднерыночные лимиты и собирать данные.

Рост – разработка скоринговых карт для разных сегментов бизнеса и разных регионов. Лимиты на основании скоринга.

Развитие – агрессивная стратегия – снизить cut-offs, усиленный мониторинг по каналам продаж. Реагировать на увеличение риска изменением cut-offs, информировать каналы.

Развитие – Cross Sell – тестировать и внедрять критерии продаж, использовать эксперименты champion/challenger (установление лимита, увеличение лимита, прибыльность).

Page 22: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Розничное кредитование Данные

Вводить все поля анкеты Хранить информацию по отказанным заявкам Информация о канале продаж (внутренний,

внешний, Cross-sell) Возможность сигнала от кредитного

специалиста (visual contact codes) Контролировать потоки заявок и события на всех

стадиях выдачи кредита (проверки по базам, верификация, СЭБ).

Быстро настраиваемые work flows в ИТ-системах. Обеспечить удобные интерфейсы с

автоматическим системами проверок на мошенничество

Page 23: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Розничное кредитование Мониторинг

Approval/Rejection rates по каналам продаж Размер просрочки по продуктам Отказы на верификации/проверкам на Fraud по

каналам продаж Средние скоринговые баллы по каналам продаж Средние скоринговые баллы для всех заявок,

одобренных/отклоненных заявок Случаи override скоринга

Page 24: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Розничное кредитование Предотвращение мошенничества

Разработать простой и ясный набор правил для проверок на мошенничество.

Не опираться на данные, сообщенные самим аппликантом об уровне дохода, и на результаты звонков при верификации. Наилучший вариант – дополнительная проверка по базам ФНС, Пенсионного фонда.

Мониторинг FPD по каналам и точкам продаж (может быть связано с внутренним мошенничества)

Fraud скоринг Включить меры по сокращению мошенничества в

KPI департамента продаж.

Page 25: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Розничное кредитование Работа с просроченными долгами

В этой области присутствуют более четкие определения риска.

Collection scoring как комбинация locator score и performance score.

Учет затрат по сравнению с размером долга и прогнозируемым возвратом.

В растущем проекте – заблаговременное планирование capacity.

Использование сотрудников согласно их квалификации.

Мотивация, четкое разделение на стадии работы. Обратное движение только при крупных погашениях.

Продажа долгов, использование аутсорсинга.

Page 26: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Розничное кредитование Аналитика

Мониторинг состояния портфеля (уровень просрочки).

Application Scorecard Development (Originations). Fraud Scorecard Development (Originations). Behaviour Scorecard development (управление

лимитами, перевыпуск карт, Collections). Динамический расчет провизий (flow-rates). Сегментация портфеля. Оптимизация процессов (Collection, Verification). Планирование Collection Capacity. Fraud Intelligence – проверка эффективности

экспертных правил. Анализ результатов экспериментов. Profitability score models. И многое другое…

Page 27: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2004 – Разработка скорингаНеобходимость в разработке собственной модели Новое направление кредитования (CF),

сокращенный ввод данных в POS Зависимость от внешнего разработчика Низкие показатели эффективности generic модели

(СС + Overs)

Первые действия Критический анализ экспертами generic модели На уровне банка принято решение о

конфиденциальности, передаче Директору по управлению рисками единолично принимать решения по разработке и внедрению моделей

Достаточность данных для разработки К этому моменту было накоплено достаточное кол-

во Bads (60+ dpd) – 500-1000.

Page 28: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Качество данных Примеры проблем

Недостаточно развернутые классификации в FE (подготовлены без учета мнения аналитиков) (Industry type, Position, Work type).

Частый выбор категории ‘OTHER’ при вводе данных.

Различные написания в полях текстового ввода. Неполные классификации. Необходимость учета существующих

интерфейсов между системами (хорошие предикторы иногда невозможно передать без доработки интерфейсов).

Учет различных кодировок при разработке, тестировании и настройке.

Ошибки при повторном вводе.

Page 29: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Должность

Возможно 9 вариантов выбора типа должности, но в точках продаж агенты просто выбирают “OTHER”.

PositionNumber of customers Percent

ACCOUNTER 1265 2%

CHIEF_OF_DEPARTMENT 93 0%

CHIEF_OF_SECTION 759 1%

DIRECTOR 3257 5%

EMPLOYE 1897 3%

IT_SPECIALIST 724 1%

MAINTENANCE_STAFF 5535 8%

SALES_MANAGER 1981 3%

SPECIALIST 1575 2%

OTHER 54493 76%

TOTAL 71579  

Качество данных Примеры проблем

Page 30: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Тип отрасли

26 вариантов выбора для характеристики “Тип отрасли”.

Агенты не задумываются над классификацией, выбирают “OTHER”.

Огромное число вариантов написаний (ошибки, пр.) в поле прямого ввода для категории “OTHER” .

Industry typeNumber of customers Percent

ADMINISTRATION 1311 1,83%

AGRICULTURE 630 0,88%

ART 234 0,33%

AUTHORITY 1662 2,32%

CONSTRUCTION 5732 8,00%

ENTERTAINMENT 3072 4,29%

EXCHANGE 16 0,02%

EXTRACTIVE 1115 1,56%

FINANCES 758 1,06%

FORMATION 2277 3,18%

GAMBLING 193 0,27%

HOTELS 169 0,24%

INSTRUCTING 18 0,03%

JEWELLERY 64 0,09%

LEGAL 247 ,34%

MANAGEMENT 69 0,10%

MEDICINE 2174 3,03%

PRESS 373 0,52%

REAL_ESTATE 94 ,13%

REPAIR 1122 1,57%

RETAIL 8800 12,28%

SCIENCE 358 0,50%

SECURITY 1986 2,77%

SERVICES 1127 1,57%

TOURISM 107 0,15%

WHOLESALE 3895 5,44%

OTHER 34055 47,52%

TOTAL 71659  

Качество данных Примеры проблем

Page 31: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Разработка скоринга Общие идеи

Поиск удачных предикторов – как охота, нет априорных правил.

Позвольте данным рассказать о себе. Учитесь у них. На начальном этапе стоит отказаться от сложных

теоретических методов. Модель должна быть логичной относительно выбранного

Good/Bad флага. Если направление связи трудно объяснить – лучше исключить эту переменную.

Изучайте всю возможную информацию (доп. ввод архива, классификация текстовых полей, не используемые в IT-системах поля). Возможно, вы найдете предиктор, для которого потребуется изменение текущих процессов.

Чрезвычайно важно тщательное тестирование (OOS, OOT, настройки систем).

Избегать использования переменных сегментации в скоринговых моделях (регионы, размер дохода, канал продаж, тип продукта.. )

Force option – «психологические оси» - баланс предикторов

Page 32: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Разработка скоринга

Information asymmetry between the lender and the borrower

The borrower signals to the lender, the lender interprets the signal according to prior experience

Choices offered in a credit application are signaling devices

For example, providing phone number means: borrower probably has a phone borrower wants to give his phone number.

Both facts have to be given consideration

Page 33: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Разработка скоринга Автоматизация

SAS Base (+ macro in Excel – HSBC) SAS Base (+ in-house GUI tool - Lloyds TSB) SPSS STATISTICA SIGMA – Experian’s in-house tool

(200 models over a year in 2002) SAS Enterprise Miner, SAS Credit Scoring Scorto Scoring Solution KSEMA

Page 34: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Разработка скоринга Процесс

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

pos rank

0

5

10

15

20

25

bra

nch

ran

k

HIP ADD DOC in 1 field

IN Gender

Credit History Information

IN EMP Time Curr Employer

Age

HIP MOBILE OPERATOR

IN Marital Status

Additional Income is Specified

IN ADD2 Time since Registr

Mobile phone given

Education

IN ADD1 Residential Status

IN Num of children

IN EMP Field of Activity of org

IN VEH Number of Vehicle

IN Time Since Marriage

IN FIN Total Declared Income

Week day

HIP E-MAIL GIVEN

IN ADD1 (Residential) Region Residing <> Moscow AND Only one phone number (work or residential) was specified

EMPLOER Region

Registration phone given

IN EMP Employment Status

Time As Customer >= 3 month

HIP Card Type (corrected)

Internrt Application

AP Currency of application

Page 35: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Разработка скоринга Процесс

17-2525-30

30-3333-37

37-4343+ F

M

0

2

4

6

8

10

12

14

16

18

%

age sex

sex-age

F

M

IN Gender

МужскойЖенский

Co

un

t

14000

13000

12000

11000

10000

9000

8000

7000

6000

5000

4000

3000

2000

1000

0

12753

7071

IN Gender

МужскойЖенский

Co

un

t

100

90

80

70

60

50

40

30

20

10

0

Good Bad Flag

Indeterminate

Good

Bad

5

6776

28

20

17-2525-30

30-3333-37

37-4343+

F

M02

4

6

8

10

12

14

16

18

bad rate

age

sex

age - sex

F

M

женщин меньше…

… но они лучше выплачивают

кредит

доля мужчин и женщин с разбивкой по возрасту

доля плохих заемщиков среди мужчин и женщин

Page 36: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1

доля выборки

до

ля

пл

ох

их

кр

ед

ито

в

• Карта недостаточно хорошо выделяет самых плохих заемщиков

Reference lineСкоринг УР

Идеальный скоринг Внешний разработчик

Разработка скоринга Процесс

Page 37: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

0%

2%4%

6%

8%

10%12%

14%

16%

18%20%

22%

24%

26%28%

30%

425 450 475 500 525 550 575 600 625 650 675 700 725 750 775 800 825 850 875

скоринговый балл

Распределение «плохих»

Распределение «хороших»

«Идеальное» распределение «хороших»

«Идеальное» распределение «плохих»

Разработка скоринга Процесс

Page 38: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Чистка данныхВыставление Good/Bad флагаОтправка данных стороннему разработчикуПересмотр правила определения «Good»Одномерный анализ данныхДвумерный анализ данныхОтбор переменных в анализе

(определение «психологических осей»)Многомерный анализТестирование новой карты на

контрольной выборке выполняется

Анализ полученных результатов выполняется

Разработка скоринга Процесс – отчет на ГКК

Page 39: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Применение итоговой модели

Варианты применения модели: Установить модель от внешнего разработчика,

набрать Out-Of-Time sample, сравнить performance у собственной модели и внешней, принять решение об использовании.

На условленный срок включить 100% open gates (для быстрого набора достаточного количества Bads - gaining experience at the price of loss rates).

Компромисс: 50% open gates (random via champion/challenger), 50% собственная модель.

Применение московской модели в избранных регионах (25% open gates, 75% scored).

Совместное применение нескольких моделей (CF+ FPD), комбинация правил для cut-off

Page 40: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Результаты работы модели

Результат работы картза 2 года - снижение резервов с экспертных 20-28% до 5-16%, в зависимости от продукта

Page 41: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Мониторинг PSI (Москва)

SF

RB

0%

10%

20%

30%

40%

50%

60%

июн.05 июл.05 авг.05 сен.05 окт.05 ноя.05 дек.05 янв.06 фев.06 мар.06 апр.06 май.06 июн.06

Change

Slight change

No change

Page 42: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Мониторинг PSI (Регионы)

SF

RB

0%

10%

20%

30%

40%

июн.05 июл.05 авг.05 сен.05 окт.05 ноя.05 дек.05 янв.06 фев.06 мар.06 апр.06 май.06 июн.06

Change

Slight change

No change

Page 43: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2006 Модель пропуска первого платежа

13% заемщиков относятся к категории Non-Starters.

Нет платежей в течение первых 3 месяцев – подозрение на мошенничество.

First Payment Default model 40,900 заемщиков с историей 6-14 месяцев 13 моделей 20% of lowest FPD scores eliminate 50% of NS

population Combined cut-off will increase rejection by 5%,

eliminate 30% of NS

Page 44: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Модель пропуска первого платежа

development sample results

0%

20%

40%

60%

80%

100%

0% 20% 40% 60% 80% 100%

cumulative goods

cu

mu

lati

ve

ba

ds

FPD score, GINI 51

Page 45: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2006 Разработка скоринга для регионов

Региональный проект начат с использованием open gates в регионах

После накопления 5-7K заявок проверить эффективность московской модели в регионах

Применение московской модели в 5 избранных регионах (25% open gates, 75% scored).

После накопления достаточной истории начата разработка региональной модели.

262,700 заявок, 6-12 месяцев в работе Требование – исключить переменную «тип

дополнительного документа» (интерфейс не передает).

Проверить новые переменные, появившиеся в анкете и новом FE.

Первое применение Reject Inference. Тестирование модели в разных регионах – регионы

разделены на 3 группы по величинам GINI, выбор cut-off с учетом требуемого процента отказов.

Page 46: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2006 Скоринг для регионовGINI (development sample)

0%

20%

40%

60%

80%

100%

0% 20% 40% 60% 80% 100%

cumulative goods

cum

ula

tive

bad

sCFR scoreGINI=47.7%

CFMsc score in selected regionsGINI=33.7%

Page 47: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2006 Скоринг для регионов

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 20% 40% 60% 80% 100%

34

23

39

66

61

72

63

59

78

74

54

16

2

24

18

70

64

others

Page 48: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2006 Скоринг для регионов

30% 35% 40% 45% 50% 55% 60%

ALL3423396661726359787454162

2452187064

oth

GINI KS

Page 49: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2006 Скоринг для регионов

RegID Frequency Percent GINI KS10%ttl cutoff

at score%B at 10%ttl

cutoff%G at

10%ttl cutoffmax KS at

scoreRegion

78 10307 4,29 40,7% 29,8% 161 24,84% 7,79% 186 Г. САНКТ - ПЕТЕРБУРГ

16 8899 3,7 42,2% 31,7% 148 22,15% 6,06% 180 ТАТАРСТАН

64 6995 2,91 42,7% 30,9% 146 21,17% 6,18% 175 САРАТОВСКАЯ ОБЛ63 11951 4,97 43,2% 31,8% 153 23,94% 6,81% 182 САМАРСКАЯ ОБЛ

other 23304 45,8% 33,6% 153 26,24% 6,73% 178All Other Regions in the Development Sample

23 21089 8,78 46,1% 35,1% 155 24,73% 6,67% 182 КРАСНОДАРСКИЙ КРАЙ

61 16418 6,83 46,4% 34,6% 154 27,61% 6,65% 183 РОСТОВСКАЯ ОБЛАСТЬ

74 10218 4,25 47,0% 35,2% 146 21,66% 5,75% 183 ЧЕЛЯБИНСКАЯ ОБЛ

72 13034 5,42 47,6% 34,4% 148 27,44% 6,62% 180 ТЮМЕНСКАЯ ОБЛ

24 8801 3,66 48,0% 36,1% 141 24,43% 5,80% 172 КРАСНОЯРСКИЙ КРАЙ

70 7666 3,19 48,9% 36,1% 150 27,25% 6,84% 177 ТОМСКАЯ ОБЛ

54 8945 3,72 48,9% 36,4% 147 26,39% 6,50% 173 НОВОСИБИРСКАЯ ОБЛ

18 8101 3,37 49,1% 36,2% 141 27,53% 6,30% 168 УДМУРТСКАЯ РЕСПУБЛ.

34 21369 8,89 49,2% 36,9% 149 27,70% 6,37% 177 ВОЛГОГРАДСКАЯ ОБЛ

52 8571 3,57 49,8% 37,2% 146 25,10% 5,63% 179 НИЖЕГОРОДСКАЯ ОБЛ59 10327 4,3 49,8% 36,9% 146 27,15% 5,61% 175 ПЕРМСКАЯ ОБЛ

66 17120 7,12 50,2% 36,4% 147 27,52% 6,38% 176 СВЕРДЛОВСКАЯ ОБЛ

39 18313 7,62 52,9% 39,4% 150 32,46% 7,33% 171 КАЛИНИНГРАД. ОБЛ2 8897 3,7 53,9% 39,8% 159 36,47% 7,15% 182 БАШКОРТОСТАН

G2

G3

G1

Page 50: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Reject Inference

Не проводилось, когда в базе отказов присутствовало большое количество мошеннических заявок, которые невозможно было выделить автоматически.

Увеличивает время разработки модели на 1-2 недели.

В результате модель могут покинуть некоторые переменные, GINI изменяется.

Page 51: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2006 Скоринг для регионов IV before and after Reject Inference

0

5

10

15

20

25

30TA

WD

PM

PP

NA

GE

TIM

PLC

RG

RH

GR

WG

RP

RL

PLF

MA

RW

AI

GEN

RLS

KIN

DU

TED

UM

OI

MP

FH

SS

TR

MO

AM

CO

MW

EE

RP

FC

AN

RA

IC

FL

HP

FA

IS JIS

RST

TD

MP

RI

QTI

EX

R

after rejinf

before rejinf

Page 52: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Lagged delinquency AUTO Москва

0%

2%

4%

6%

8%

10%

12%

14%

16%

18%

20%

июн.

05

июл.

05

авг.

05

сен.

05

окт.

05

ноя.

05

дек.

05

янв.

06

фев

.06

мар

.06

апр.

06

май

.06

июн.

06

июл.

06

авг.

06

сен.

06

окт.

06

ноя.

06

дек.

06

янв.

07

фев

.07

мар

.07

апр.

07

май

.07

июн.

07

1+ % 30+ % 90+ %

Page 53: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

Lagged delinquency AUTO Регионы

0%

1%

2%

3%

4%

5%

6%

7%

8%

9%

10%

1+ % 30+ % 90+ %

Page 54: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2007 Скоринговая карта для автокредитов

policy decision - приостановка продажи экспресс-кредитов в отдельных регионах / городах / точках продаж – начиная с февраля 2007

Проверка эффективности экспертной карты для dpd30+.

Лето 2007 - Разработка скоринговых моделей для Москвы и регионов

Выбор Good/Bad флага – в результате решено делать FPD model

17,800 заемщиков в Москве. 25,300 заемщиков в регионах. Не убирать VIP (post-input изменение типа

клиента) Bad rates by Regions on map – масштабное

мошенничество в некоторых регионах

Page 55: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

2007 Скоринг для АвтокредитовВыбор целевой переменной

Bad Rates for AUTOLOANS

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

2005,

ноябрь

2006,

январь

2006,

март

2006, май 2006,

июль

2006,

сентябрь

2006,

ноябрь

2007,

январь

2007,

март

ba

d r

ate

0

500

1000

1500

2000

2500

3000

3500

# h

ea

ds

(to

tal b

oo

ke

d)

Totalflag1-var pwflag3=240d pw-ALLflag2=180d pwNSRATE

Page 56: ПОСТРОЕНИЕ СКОРИНГОВЫХ МОДЕЛЕЙ.  ПРАКТИЧЕСКИЕ АСПЕКТЫ

КОНЕЦ

ВОПРОСЫ ?