Cовременные инструменты для Business Intelligence

Cовременные инструменты для Business Intelligence

Андрей Коршиков

korshikov@sqlpass.org

Андрей

Коршиков

korshikov@sqlpass.org

@AndreyKorshikov

PASS Regional Mentor for

Central Eastern Europe

russianvc.sqlpass.org

BI -> нужные данныев нужное времянужным людям

инструменты для BI

Виды BI решений в организации

Персональный Командный Организационный

Пример: Отчет о продажах

по моим заказчикам

Пример: Еженедельные

отчеты по продажам

подразделения

Пример: Общие

показатели деятельности

компании

Немного истории(классический BI)

1998 2000 2005 2008 2010 2011 2012 2014

SQL Server 7OLAP Services

SQL Server 2005SSAS, SSIS, SSRS

SQL Server 2008 R2SSAS, SSIS, SSRS

SQL Server 2000OLAP Services

Data Transformation ServicesReporting Services

SQL Server 2008SSAS, SSIS, SSRS

SQL Server 2012SSAS: Multidimensional & Tabular

SSIS, SSRS

SQL Server 2014SSAS, SSIS, SSRS

Источники

ХД

ERP

CRM

HRMS

Данные

Инструменты анализа

Аналитическиекубы

Integration Services

Analysis Services

Reporting Services

Data Mining

Источники

ХД

ERP

CRM

HRMS

НСИ

Данные

Справочники

Справочники

Инструменты анализа

Аналитическиекубы

Master Data Services

Integration ServicesData Quality Services

Microsoft Business Intelligence Technologies

SQL ServerAnalysis Services

SQL Server Database Engine

Microsoft SQL Server Integration Services

SQL Server Master Data Services

1011000110

SQL Server Data Quality Services

Microsoft SQL Azureи Windows Azure

Marketplace

Microsoft SharePoint Server

Microsoft PowerPivot Technologies

Microsoft Excel• Data Mining Add-In• PowerPivot Add-In• MDS Add-In

Power View

SQL ServerReporting Services

Reports, KPI, Dashboards

Dat

a W

areh

ou

sin

gB

usi

nes

s In

telli

gen

ce

Power BI for Office 365

http://www.microsoft.com/en-us/powerBI/

• PowerPivot• PowerView• PowerMap• PowerQuery

Кстати…

SSAS

• Что продано

• Где продано

• Когда продано

• Кем продано

• Кому продано

• Сколько продано

• По какой цене

Многомерный анализ данных

DimSalesPersonSalesPersonKeySalesPersonNameStoreNameStoreCityStoreRegion

DimProductProductKeyProductNameProductLineSupplierName

DimCustomerCustomerKeyCustomerNameCityRegion

FactOrdersCustomerKeySalesPersonKeyProductKeyShippingAgentKeyTimeKeyOrderNoLineItemNoQuantityRevenueCostProfit

DimDateDateKeyYearQuarterMonthDay

DimShippingAgentShippingAgentKeyShippingAgentName

DimSalesPersonSalesPersonKeySalesPersonNameStoreKey

DimProductProductKeyProductNameProductLineKeySupplierKey

DimCustomerCustomerKeyCustomerNameGeographyKey

FactOrdersCustomerKeySalesPersonKeyProductKeyShippingAgentKeyTimeKeyOrderNoLineItemNoQuantityRevenueCostProfit

DimDateDateKeyYearQuarterMonthDay

DimShippingAgentShippingAgentKeyShippingAgentName

DimProductLineProductLineKeyProductLineName

DimGeographyGeographyKeyCityRegion

DimSupplierSupplierKeySupplierName

DimStoreStoreKeyStoreNameGeographyKey

Многомерный анализ данных

2009

1-й квартал

Январь

Февраль

Март

ВелосипедыШиныКорзины

Меры (показатели)

Время

Продукты

Многомерный анализ данных

2009

1-й квартал

Январь

Февраль

Март

ВелосипедыШиныКорзины

Меры (показатели)

Время

Продукты

1

3

2

6

25

Характеристика баз данных OLAP

• Схема оптимизирована для быстрых запросов• «Движок» (engine) оптимизирован для быстрого

числового анализа• Интуитивная модель данных• Многоразмерное представление данных

– Свёртка и развертка– Сводное представление данных

Tabular Mode

Vertipaq (x-Velocity)

PowerPivot

Analysis Services Tabular Mode

ColumnstoreIndexes

Tabular

приложения Reporting Services Excel PowerPivot

БД LOB-приложения Файлы OData Feeds Cloud Services

SharePoint

BI Semantic Model: архитектура

DQS

Data Quality Services

• Data quality:

Очистка данных:

• Проверка значений

• Обеспечение согласованности данных

• Определение пропущенных значений

Удаление дубликатов

1011000110

http://msdn.microsoft.com/ru-ru/library/ff877917.aspx

Зачем это нужно?

• Бизнес решения должны быть приняты на правильных данных

• Проблемы с качеством данных, влияющие на всё хранилище:

Неверные данные

Несогласованность

Дубликаты

?

!

! !

Обзор Data Quality Services

• DQS - это решение основанное на знаниях для:

Очистка данных

Сравнение данных

• Компоненты:

Сервер

Клиент

Data Cleansing SSIS Transformation

1011000110

KB

DQS Client

Data Cleansing Transformation

SSIS

DQS Server

MDS

Master Data Services

• Управление данными:

Обеспечение согласованного описания бизнес-сущностей при переходе через различные системы

Применение бизнес-правил для обеспечения проверки данных

Пример

CRM

Система маркетингаСистема обработки заказов

Customer ID Name Address Phone

1235 Ben Smith 1 High St, Seattle 555 12345

Account No Customer Address Phone

531 Benjamin Smith 1 High St, Seattle 555 12345

Contact No Name Address Phone

22 B Smith 5 Main St, Seattle 555 54321

?

Пример

CRM

Система маркетингаСистема обработки заказов

Customer ID Name Address Phone

1235 Ben Smith 1 High St, Seattle 555 12345

Account No Customer Address Phone

531 Benjamin Smith 1 High St, Seattle 555 12345

Contact No Name Address Phone

22 B Smith 5 Main St, Seattle 555 54321

Customer ID Account No Contact No Customer Address Phone

1235 531 22 Ben Smith 1 High St, Seattle 555 12345Master Data Hub

Master Data Services

Другие пользователи(например, Data Warehouse ETL)

Data Steward

Архитектура Master Data Hub

1. Пользователь вставляет или меняет данные в приложении

2. Данные загружаются в master data hub для консолидации и управления

3. Master data flows возвращает данные в хранилище и другие системы

CRM

Система маркетинга

Система обработки заказов

Master Data Hub

Data Steward

Другие пользователи(напрмер, Data Warehouse ETL)

SSIS

SSISSSIS

SSIS

SSIS

Task 1

Task 2

Task 3 Task 4

Task 5

Task 10

Task 6

Task 7

Success (AND)

Failure (AND)

Completion (AND)

Success (OR)

Failure (OR)

Completion (OR)

Task 9 Task 8

SQL Server Integration Services

• SSIS проект:

контейнер для параметров и пакетов

единица развертывания в SSIS Catalog

• SSIS пакет:

единица выполнения в потоке задач

единица развертывания (в пакетном режиме)

Project

Package Package

Параметры уровня проекта

Параметры уровня пакета Package-level parameter

развертывание

развертывание

SSIS Catalog

Package Deployment Model

Менеджеры соединений уровня проекта

Менеджеры соединений Package connection manager

Поток управления

Поток данных

Control Flow

Data Flow

Data Warehouse Load Cycles

• Извлекает изменения из источника

• Обновляет хранилище данных на основе этих изменений

Data WarehouseStaging Database

Процесс ETL вставляет и меняет данные

Процесс ETL извлекает новые и измененные данные

Пользователь меняет данные в приложении

SSRS

Режимы Reporting Services

SharePoint Mode

Native Mode

Роли пользователей и

инструменты

BI Developer IT Pro Power User Information Worker

Report Designer Report Builder Power View

• ClickOnce Installation

• Reusable Report Elements

• Flexible Layout

• Interactive data Visualization in the Browser

• Drag and Drop from Existing Data Model

SQL Azure Reporting Services

1.Отчёты в «облаке»2.Обычные инструменты3.Два ключевых

сценария• Отчёты для SQL Azure data

• Встраиваемые отчёты в Windows или Azureприложениях

http://www.techdays.ru/videos/4029.html

Как это работает…

Виды отчётов

Изображения в отчёте

Диаграммы

Отображение KPI с помощью Gauges

Data Bars и Sparklines

Индикаторы

Как же без карт?

Связанные подотчёты

Расширение функциональности

Расширение функциональности

C:\Windows\assembly

C:\Program Files\Microsoft SQL Server\MSRS10_50.MSSQLSERVER\Reporting Services\ReportServer\bin

Power BI

https://support.office.com/ru-RU/Article/Power-BI-Getting-Started-Guide-BD30711A-7CCF-49E8-AAFA-2E8F481E675D?ui=ru-RU&rs=ru-RU&ad=RU&omkt=ru-RU

Power Query

Power Pivot

Power View

Power Map