Оптимизация DWHЕдиная витрина для РСБУ и МСФО

Сегодня

Банков внедрили и запустили DWH

Банков имею 2 и более DWH. Более 5 потребителей информации (отчетные системы). Нет единого источника для обязательной отчетности

DWH есть, но нет единого представление бизнес данных, дублирование расчетов, сложная структура хранения данных, неочевидная логика расчетов

Длительное время подготовки данных для потребителей, критические требования к времени подготовки отчетности по РСБУ

99%

80%

Задача

Построение единого представления бизнес данных, для всех потребителей информации

Минимизировать время загрузки и подготовки данных, контроль и управление процессами подготовки данных

Управляемость – контроль состава информации и правил расчета бизнес показателей

Место изменения

Мы не меняем DHW, создаем единую витрину бизнес данных

Преимущества единой витрины данных

Ускорение расчета: асинхронный старт расчета стримов данных по мере готовности систем-источников;2раза

Преимущества единой витрины данных

Прозрачность расчета: выделение стримов данных с отображением флагов готовности их расчета в мониторинге загрузки витрины;

Преимущества единой витрины данных

Удобство использования и управляемость: максимально плоская структура представления данных, удобная для использования отчетными системами;

TFI

tDealВсе сделки DM_GENERAL С вуказанием:- Потока загрузки;

- Типа сделки (принадлежность к блоку витрины)

Кредиты

Депозиты

Деривативы

t<Deal>_TFI_Attr_iАтрибуты сделок для прокраски TFI

t<Deal>_to_TFI_iТаблица прокраски сделок справочником TFI

t<Deal>_TFI_Amount_dРаскрашенные суммы

Кредиты

tLoan_iМедленно меняющиеся атрибуты

кредитов (интервальная таблица)

tLoan_dЧасто меняющиеся атрибуты

кредитов (дневная таблица)

tLoan_CASHFLOWГрафики кредитов (интервальная

таблица)

Депозиты

tDeposit_iМедленно меняющиеся атрибуты

депозитов (интервальная таблица)

tDeposit_dЧасто меняющиеся атрибуты

депозитов (дневная таблица)

tDeposit_CASHFLOWЧасто меняющиеся атрибуты

депозитов (дневная таблица)

Депозиты

tSwat_Instrument_Leg_iМедленно меняющиеся атрибуты

деривативов (интервальная таблица)

tSwat_Instrument_Leg_dЧасто меняющиеся атрибуты

деривативов (дневная таблица)

tDeposit_CASHFLOWГрафики деривативов (интервальная

таблица)

Справочники

tCUSTOMER_iКлиенты

tCalendarКалендарь

tAccount_Officer_iКураторы

Принципы построение витрины

• Источники данных:

• Корпоративные DWH

• Таблицы обогащения данных;

• Виды объектов:

• Представления (view) DWH;

• Таблицы, заполняемые ETL;

• Асинхронный расчет:

• Построение витрины стартует в момент готовности источника;

• Витрина заполняется независимыми потоками;

• Независимые флаги готовности на разные сущности витрины.

Принципы построение витрины

• Виды таблиц:

• Интервальные (медленно меняющиеся атрибуты);

• Дневные (часто меняющиеся атрибуты – суммы и т.д.);

• Данные денежных потоков (cashflow).

• Унифицированный подход к именованию полей витрины;

• Ключи, индексы и партиции:

• Уникальные идентификаторы объектов:

Суррогатные ключи DWH DDS;

Бизнес-ключи;

Индексы;

Внешние ключи (Reference key);

Партиции;

Пример архитектуры решения

DATA WAREHOUSE ARE

DATAMARTS AREA

DM_GENERAL

LDM_CR

DWH DDS DWH IA

DEALS DATA

DEALS TO TFI

MIS

Reporting Systems

Prognoz CRIDPS BARS REP

TFI/BACA/Article Ports

TFI/BACA/Article Ports (views)

DEALS DATA

TFI/BACA/Article Ports(CR -> DWH)

DM MIS DM ALM DM IDPS DM_CRDM BARS REP

SQL/View SAS ETL NM Схема данных (пользователь Oracle) DEALS DATA Группа таблиц

DWH

DM_CORP

REFERENCE DATA

REFERENCE DATA(Counterparty, Currencies,

Calendar etc.)

Пример структуры хранения данных

TDEAL

DEAL_RK

DEAL_TYPE

SOURCE

PROCESSED_DTTM

NUMBER

VARCHAR2(20)

VARCHAR2(3)

DATE

<pk>

TFACILITY_I

FACILITY_RK

STREAM_ID

VALID_FROM_DTTM

VALID_TO_DTTM

SOURCE

CUSTOMER_RK

tCU_VALID_FROM_DTTM

ACCOUNT_OFFICER_RK

Static Params

NUMBER

VARCHAR2

DATE

DATE

VARCHAR2(3)

NUMBER

DATE

NUMBER

<Undefined>

<pk,fk1>

<pk,fk2>

<fk3>

<fk3>

<fk2>

TFACILITY_D

AS_OF_DATE

STREAM_ID

FACILITY_RK

SUM1

SUM2

...

DATE

VARCHAR2

NUMBER

NUMBER(18,5)

NUMBER(18,5)

NUMBER(18,5)

<fk>

TLOAN_I

LOAN_RK

STREAM_ID

VALID_FROM_DTTM

VALID_TO_DTTM

SOURCE

FACILITY_RK

DEAL_NUMBER

CUSTOMER_RK

STATUS_CD

LOAN_TYPE

ACCOUNT_OFFICER_RK

Other static params

NUMBER

VARCHAR2

DATE

DATE

VARCHAR2(3)

NUMBER

VARCHAR2(35)

NUMBER

VARCHAR2(3)

VARCHAR2(5)

NUMBER

<Undefined>

<pk,fk1>

<pk>

<fk2>

<fk3>

TLOAN_D

AS_OF_DATE

STREAM_ID

LOAN_RK

FACILITY_RK

SUM1

SUM2

...

DATE

VARCHAR2

NUMBER

NUMBER

NUMBER(18,5)

NUMBER(18,5)

NUMBER(18,5)

<fk>

tLOAN_CASHFLOW

VALID_FROM_DTTM

VALID_TO_DTTM

LOAN_RK

SCHEDULE_TYPE

PAYMENT_DT

PLANNED_AMT

SETTLED_AMT

DATE

DATE

NUMBER

VARCHAR2(15)

DATE

NUMBER(18,5)

NUMBER(18,5)

<pk>

<pk,fk>

<pk>

<pk>

tCUSTOMER_i

CUSTOMER_RK

VALID_FROM_DTTM

VALID_TO_DTTM

CNUM

CUSTOMERTYPE_LEVEL1_CODE

CUSTOMERTYPE_LEVEL2_CODE

CUSTOMERTYPE_LEVEL3_CODE

COUNTRY_CD

LOC_COUNTRY_CD

CUSTOMER_NM

NUMBER

DATE

DATE

VARCHAR2

VARCHAR2

VARCHAR2

VARCHAR2

VARCHAR2

VARCHAR2

VARCHAR2

<pk>

<pk>

tACCOUNT_OFFICER_i

ACCOUNT_OFFICER_RK

VALID_FROM_DTTM

VALID_TO_DTTM

DEPARTMENT_CODE

ACCOUNT_OFFICER_NM

ACCOUNT_OFFICER_ID

NUMBER

DATE

DATE

VARCHAR2

VARCHAR2(255)

VARCHAR2(32)

<pk>

<pk>

Пример - кредиты:

Пример формирования финансовых индикаторов

Пример - кредиты:

Подход к реализации

Наши компетенции

Oracle, DB/2, MS SQL, PostgreSQL, SAP Hana, HP Vertica

Oracle BI, SAS BI, SAP BO, QilckView, IBM Cognos

Oracle DI, SAS DI + SAS MDS, SAP DS, IBM Datastage, CloverETL

Oracle OFSAA, SAS DDS, Sybase DDS, IBM BDW

Пример проектаВнедрение и поддержка обязательной отчетности

RB Technology провел анализ, настройку, интеграцию решения формирования обязательной отчетности ЦБ для Юникредитбанка. Решение введено в эксплуатацию 2015г. И находится на полной технической и функциональной поддержке.

В рамках проекта внедрено и взято на поддержку более 30 форм регуляторной отчетности и более 100

контрольных, детальных форм.

• Полностью отвечаем за поддержку системы по подготовке регуляторной отчетности (в режиме24/7).

• В рамках поддержки осуществляется: контроль ежедневного процесса загрузки данных, выполнения

процедур по расчету предварительных данных, контроль качества данных (в т.ч. логический)

• Развитие и актуализация отчетной системы: мониторинг изменения банковского

законодательства, актуализация алгоритмов отчетности, автоматизация новых отчетных форм.

• Обеспечение бесперебойной работы отчетной системы банка в период осуществления проекта

по изменению IT-ландшафта Банка (перевод на новые продуктовые, учетные системы) и внедрению

нового внутреннего плана счетов аналитического учета, предусматривающей: оценку результатов миграции

данных, интеграцию с новыми источниками данных, разработку новых контрольных процедур

(реконсиляционных отчетов), внесение изменений в настройки.

Количественная статистика: Лицевых счетов: 13,5 млн., Сделок: 3,2 млн.: кредитных сделок: 1 млн., депозитных сделок: 1,7 млн.

Поддержка решений на RBDataSphere

• Самостоятельный мониторинг систем и обработка инцидентов 24х7

• Время взятия инцидента в работу – 20 минут

• 5 уровней SLA: 1 час, 4 часа, 8 часов, 48 часов, 5 рабочих дней

• Отчеты о работе систем и решении инцидентов в согласованных форматах/системах

• Команда:

дежурные смены 1-й и 2-й линий 24х7: 10 сотрудников в разных часовых поясах

плановый резерв времени сотрудников проектных команд для задач 3-й линии

2 менеджера поддержки

12 сотрудников поддержки

Пример поддержки RBDataSphere

Ежедневная форма 701

Требования со стороны ЦБ - Банк должен предоставить в регулятору до 12 часов дня.

SLA поддержки RBtachnologies - Предоставление результаты расчета формы до 7:00

После завершения закрытия дня, RB DataSphere ждёт готовности КХД для загрузки данных для расчёта 701й формы. Предельное время готовности КХД - 5:45 утра.

При получении флага готовности данных от КХД в указанный период, запускаетмя основной алгоритм расчета формы.Если к контрольному времени не поступило событие о готовности данных в КХД, то запускается алгоритм предварительного расчёта в обход КХД, базирующийся на данных из внешних систем. И в 7 утра пользователь уже может выгрузить отчёт по рассчитанной форме. После получения флага готовности данных от КХД происходит активация основного алгоритма расчёта. По результатам расчета, пользователь может просмотреть контрольный отчёт по расхождениям между предварительным и финальным расчётами.

Для дополнительного контроля RB DataShere утром осуществляет рассылку пользователям и службе поддержки сообщения с чек-листом о состоянии рассчитанных ежедневных форм.

Пример поддержки RBDataSphere

Пример чек листа

Дата:

##Время

проверкиКонтроль

Целевое значение

контролируемого параметра

Данные контролируемого

параметраСтатус Комментарий

Статистические данные

1 7:00 Выгрузка данных в stamt (после cob bars gl ) 2:00 1:16 OK

2 7:00 Данные fcchs готовы для загрузчика 2:00 2:31 BAD

3 7:00 Начало работы загрузчика 3:00 1:01 OK

4 7:00 Готовность данных для stamt (wt1) 4:30 3:00 OK

5 7:00 Готовность данных для DmCorp (p12) 5:30 1:59 OK

HealthCheck системы (к 9:00)

6 8:45 Производительности работы загрузчика GL Начало репликаци R_MI3 до 6:00 2:03 OK

7 8:45 Производительности работы загрузчика REP 701 pre готов к 7:00 6:21 OK

8 8:45 Скорость работы репликации(записей/мин) 10000 10000 OKРаботает MI4GL (старт: 07:59), идет репликация R_MI5, данные в

журнале репликации не накапливаются.

98:45 Наличие ошибок при выполнении шагов (падения шагов)

00 OK

10 8:45 Аномальная длительность работы шагов 0 0 OK

HealthCheck системы (к 11:00)

11 10:45 Производительности работы загрузчика GL MI3GL завершен до 10:45 6:04 OK

12 10:45 Производительности работы загрузчика REP Шаг RTC завершен 6:22 ОК

13 10:45 Скорость работы репликации(записей/мин) 10000 50000+ ОК Запустился MI5GL (старт: 10:55), работает R_MI5

14 10:45 Наличие ошибок при выполнении шагов (падения шагов) 0 0 ОК

15 10:45 Аномальная длительность работы шагов 0 0 ОК

19.04.2017

СУБД – Oracle, ETL – Oracle DI, BI – Oracle BI

Разработка (включая разработку бизнес-требований) внедрение и сопровождениесистемы бюджетирования и аналитической отчетности. Oracle Hyperion.

СУБД – Oracle, ETL – Oracle DI, BI – Tableau

Аудит организации работ по использованию корпоративных данных

СУБД – DB2, ETL – SAS DDS, BI – Business Objects

Разработка и внедрение корпоративного хранилища данных, включая разработкубизнес-требований, интеграцию и миграцию данных, разработка единогоглоссария данных

СУБД – Oracle, ETL – JAVA/SQL, BI – RB Dashboards

Разработка и внедрение системы риск-отчетности

56 проектов «под ключ» объемом более 700 ч.д.

Примеры проектов:

Наше преимущество

Эксперты в области управления бизнес данными

Эксперты в области ИТ

Платформо-независимые

Возьмем на себя функциональное тестирование

Наши бизнес аналитики проведут интервью, подготовят бизнес требования и согласуют их с Вами

Ваша ИТ служба, совместно с нашими

системными аналитиками и архитекторами найдут оптимальное решение для Вашего Банка

Наши эксперты по основным современным

платформам и системам, совместно с Вами

подберут наилучшее решение для Вашего Банка

Наши специалисты протестируют разработанное решение на соответствие как функциональным, так и бизнес требованиям.

RBtechnologies – проекты под «Ключ»

О нас

Более 10 специалистов по Рискам с 15-20 летним опытом работы в GE Capital, Газпромбанке, Группе ЮниКредит (в том числе на позиции руководителей глобальных подразделений)

8 методологов ранее занимали позиции главного бухгалтера, директоров ключевых департаментов ВТБ, ОТП Банка, Росбанка, Альфа-Банка.

Руководители проектов по автоматизации с опытом работы ИТ-директорами международных и российских банков

ИТ-архитекторы, внедрявшие банковские ИТ-решения в качестве сотрудников ВТБ, Альфа-Банка, ЮниКредит Банка

на рынке. Учредители - бывшие топ-менеджеры ВТБ, Альфа-Банк, Группы Интеррос

Крупнейшие российские Банки - наши Клиенты

Специалистов-практиков с опытом работы в крупных Банках

RBtechnologies: бизнес-интегратор

Наши компетенции

Наши партнеры

Методология

Наши клиенты

Наши контакты

Центральный офисМосква, проспект Андропова, дом 18 к5

+7(495) 726-59-17

www.rbtechnologies.ruinfo@rbtechnologies.ru