EC-лизинг

126 марта 2013

А.В. ШМИД Д.т.н., Профессор

Председатель правления ЗАО «ЕС-лизинг»

www.ec-leasing.ru

“В ближайшие 5 лет все компании на рынке разделятся на победителей и побежденных в

зависимости от качества их аналитики”Вирджиния Рометти - IBM CEO 2 марта 2012 года

Big Data: Революция в области философии и технологий принятия корпоративных решений

EC-лизинг

2

1. Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей

2. Интеллектуальность решающего центра: экспертные системы и люди

3. Информированность решающего центра. Амнезия корпораций

4. Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем?

5. Современная схема принятия решений и ее отличия от традиционной

6. Заключение: что делать нам?

1. Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей

2. Интеллектуальность решающего центра: экспертные системы и люди

3. Информированность решающего центра. Амнезия корпораций

4. Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем?

5. Современная схема принятия решений и ее отличия от традиционной

6. Заключение: что делать нам?

Содержание

EC-лизинг

3

Стратегические угрозы XXI века в области ИТ: борьба за качество корпоративных решений- компьютеры против людей

EC-лизинг

4

Единое информационное пространство (ЕИП)

I

РеальностьПредставление

о реальности

Разведчик(Поисковик) Аналитик Руководитель

Хранение Обработка

1. Инфо-потребность

2. РешениеII

Инфо потребность должна удовлетворяться:

БЫСТРО – информация об изменениях обстановки должна поступать к моменту принятия решения (быстрее, чем у конкурентов)

ПОЛНО – необходимая и достаточная для принятия решений

ДОСТОВЕРНО – исключение фальсификации

Традиционная постановка задачи информационной поддержки принятия решений.

(Удовлетворение информационной потребности Руководителя)

Информируемость и интеллектуальность решающего центра

EC-лизинг

5

Интеллектуальность решающего центра: экспертные системы и люди

EC-лизинг

6

EC-лизинг

7

© 2013 IBM Corporation8

Big Data

Content Analytics

Технологии IBM

Business Analytics

Databases / Data Warehouses

2880 Processing Cores

16 Terabytes Memory (RAM) – 20TB Disk

Системные спецификации

90 IBM P750 Servers

80 Teraflops (80 trillion operations per second)

Workload Optimized Systems

Watson – взгляд изнутри

Cores x 20 + 1 = 57600 + 2880 = 60480 On Oncology Task

Интел

лектуал

ьнос

ть

Инф

ор

ми

руем

ость

EC-лизинг

9

Информированность решающего центра.

Амнезия корпораций

EC-лизинг

10

Сколько информации мы теряем?

10

1,800

1,600

1,400

1,200

1,000

0,800

0,600

0,400

0,200

2005 2006 2007 2008 2009 2010 2011

Exa

byt

es

Available Storage

Information Created

Available Storage, 2007

Tape 21%

Disk 56%

Optical22%

Other1%

264 EB

Information Creation and Available Storage

EC-лизинг

11

«Амнезия корпорации» или объем воспринимаемых ИАС первичных данных

Объем данных

Время

Что можно обработать Стандартным подходом

Что можно обработать IBM Big Data

Йоттабайт

Качество ИАС:1. Объем первичных

данных

2. Глубина и скорость анализа (площадь анализа)

3. Кто готовит и кто принимает решение

Стандарт: запомнил – обработал

IBM Big Data: обработал - запомнил

Потоковая обработка IBM Big Data кардинально повышает объем используемых данных для аналитической разведки

Потеря памяти(амнезия)

Все доступные данные

Зеттабайт

Терабайт

Гигабайт

Петабайт

Лимит: скорость обработки

Лимит: Объем базы

EC-лизинг

12

ПОТОКОВАЯ ОБРАБОТКА (streaming): преодоление проклятия размерности

при хранении данных

Идея BigData №1

EC-лизинг

13

1. Любые виды источников1. Любые виды источников

2. Любая скорость потока данных от источника2. Любая скорость потока данных от источника

3. Принятие решения – в потоке (миллисекунды)3. Принятие решения – в потоке (миллисекунды)

IBM получает заказ на разработку технологии:

2002

EC-лизинг

14

Декларативный язык потоковой обработки SPL (streams processing language)

EC-лизинг

15

Изменение парадигмы при работе с данными

ИТ

Структурирует данные для

ответа на вопрос

ИТ

Обеспечивает платформу для

креативного анализа

Бизнес

Исследует что можно спросить

Бизнес

Определяет что спросить

Месячная отчетностьАнализ прибыльностиАнализ анкет

Отношение к брендуСтратегия продуктовОптимизация ресурсов

Большие данныеИтеративность и исследование

Традиционный подходСтруктурный и повторяемый анализ

Запомнил - обработал Обработал - запомнил

Ограничение: память Ограничение: производительность

EC-лизинг

16

Большие данные – горячая тема, потому что технологии сделали возможным анализ ВСЕХ доступных данных

Эффективно с точки зрения затрат управлять и анализировать все доступные данные,

в их первозданном виде – структурированные,

неструктурированные, потоковые

ERPCRM RFID

Website

Network Switches

Social Media

Billing

EC-лизинг

17

Leverage purpose-built connectors for multiple data sources

Structured

Unstructured

Streaming

Massive volume of structured data movement• 2.38 TB / Hour load to data warehouse• High-volume load to Hadoop file system

Ingest unstructured data into Hadoop file system

Integrate streaming data sources

Connect any type of data through optimized connectors and information integration capabilities

Big Data Platform

Более умная аналитика!!!

ЦБ

ЦБ

Новые направления с 2012г.

IBM Big Data

Интеграция всех типов

данных

Более 95% аналитической инфо

EC-лизинг

18

Обучающиеся Системы реального времени

Идея BigData №2

EC-лизинг

19

Фильтрация данных с обратной связью

10011100101001111001000100100010010001000100101

0101100110001110100100100100111000100101001001011001001010011001001010010010101000100100110010010100100101010001001011000100101001001011001001010011001001010010010101000100100110010010100100101010001001001100100101001001010100010010011001001010010010101000100101100010010100100101100100101001100100101001001010100010010011001001010010010101000100100110010010100100101010001001001100100101001001010100010010011001001010010010101000100101100010010100100101100100101001100100101001001010100010010011001001010010010101000100100110010010100100101010001001011000100101001001011001001010

AdativeAnalytics

Model

Now

cast

For

ecas

t

Bootstrap

Enrich

Data Ingest

Opportunity CostStarts Here

EC-лизинг

20

Открыться цифровому миру

Идея BigData №3

EC-лизинг

21

Какие объемы данных нужны для поддержки принятия решений?

Размещение значимых данных предприятия:

Внутренние данные - 33%

Внешние данные - 67%

User Generated Content*

1,234 Exabytes

Enterprise Touch

Content**

1,530 Exabytes

Size of Digital Universe in 2011

1,773 Exabytes

**Transported,Hosted,

Managed or Secured

**Consumersand WorkersCreating,Capturing orReplicatingPersonalInformation

Overlap-1,000

Exabytes

Overlap-1,000

Exabytes

User Creation: Enterprise Worries

EC-лизинг

22

Состав конструктора платформы IBM BigData и философия сборки из конструктора: что собираем?

EC-лизинг

23

Требования к функциям платформы Больших Данных

Подключение источников и анализ данных «в покое»

Традиционные функции работы со структурированными данными

Интеграция всех видов данных для комплексного анализа

Поиск и навигация источников данных в киберпространстве

Подключение источников и анализ данных «в движении»

Автоматизация принятия решений и построение гипотез и прогнозов

Hadoop File System и т.д.

InfoSphere Data Explorer и т.д.

InfoSphere Streams и т.д.

Netezza и т.д.

IBM Information ServerIBM Change Data Capture

IBM CognosIBM SPSS

EC-лизинг

24

population

tt asR ),(

Более умная аналитика!!!

Акселераторы : ускорители разработки прикладных задач

Простой & Комплексный текст

Текст(слушать, глагол), (радио, существительное)

Добыча в микросекундах

Геопространство

Прогнозирование

Фото & Видео

Звук

Комплексные математические модели

Статистика

EC-лизинг

25

StreamsStreams

BigInsBigIns

DEDE NZ NZ

Декларативные языки

Готовые средства

разработки

Инструменты

Языки программирования 3-го поколения: Java, C/C++, Python, Perl

Языки программирования 3-го поколения: Java, C/C++, Python, Perl

Коннекторы

SPSS(Декларат

ивный язык

PMML)

SPSS(Декларат

ивный язык

PMML)

Cognos BICognos BI

Общая схема компонентов платформы Big Data

EC-лизинг

26

Инструменты StreamsОбработка потоковой информации

Декларативный язык: Stream Processing Language (SPL)Декларативный язык: Stream Processing Language (SPL)

Готовые средства разработки

(акселераторы разработки):Анализ текстов

Телекоммуникационные данныеГео-данные

ВидеоИнтеллектуальный анализПредсказательные модели

СтатистикаАнализ машинных журналов (СПО)

Анализ данных из сетей (СПО)

Готовые средства разработки

(акселераторы разработки):Анализ текстов

Телекоммуникационные данныеГео-данные

ВидеоИнтеллектуальный анализПредсказательные модели

СтатистикаАнализ машинных журналов (СПО)

Анализ данных из сетей (СПО)

Инструменты:Standard ToolkitInternet Toolkit

Database ToolkitFinancial Toolkit

Data Mining Toolkit

Big Data toolkitText Toolkit

Инструменты:Standard ToolkitInternet Toolkit

Database ToolkitFinancial Toolkit

Data Mining Toolkit

Big Data toolkitText Toolkit

Языки программирования 3-го поколения: Java, C/C++, Python, Perl, JavaScript, Ruby и т.д.

Языки программирования 3-го поколения: Java, C/C++, Python, Perl, JavaScript, Ruby и т.д.

Streams

Коннекторы:Netezza ConnectorHadoop Connector

Коннекторы:Netezza ConnectorHadoop Connector

EC-лизинг

27

Инструменты BigInsightsАнализ «сырых» данных и сокращение затрат на

хранение

Декларативные языки: Annotation Query Language (AQL), JaQL (Query Language for JSON (JavaScript Object Notation)), Pig Latin, HiveQL, RДекларативные языки: Annotation Query Language (AQL), JaQL (Query Language for JSON (JavaScript Object Notation)), Pig Latin, HiveQL, R

Средства и инструменты обработки:

FlumeHive

LuceneZookeeper

AvroHBase

HCatalogSqoopOozie

Средства и инструменты обработки:

FlumeHive

LuceneZookeeper

AvroHBase

HCatalogSqoopOozie

Языки программирования 3-го поколения: Java, C/C++Языки программирования 3-го поколения: Java, C/C++

BigInsights

Коннекторы:Netezza ConnectorStreams Connector

Коннекторы:Netezza ConnectorStreams Connector

EC-лизинг

28

IBM Data Explorer – функционально завершенная платформа работы с текстами

EC-лизинг

29

Современная схема принятия решений и ее отличия от

традиционной

Революция: решения принимают роботы, а не

людиЭволюция: люди пока остаются, но их роли изменяются

EC-лизинг

30

EC-лизинг

31

Современная схема принятия решений: Что делают люди?

Подтверждение решения

Принятиерешения

Цифровая реальность

CEO

Область интересов

Обсуждение области интересов

Поиск в области

интересов

Креативная команда

(П1 + П3)

Обучение в области

интересов

Big Data

Детализацияобласти

интересов

Задания интегральной

инфо потребности

EC-лизинг

32

Заключение: что делать нам?

EC-лизинг

33

1. Цели: Освоение и демонстрация технологии IBM Big Data

2. Отраслевая кастомизация технологий

3. Оказание услуг по созданию прототипов корпоративных решений

4. Предоставление виртуальных стендов IBM Big Data Big для удаленного использования у заказчика

1. Цели: Освоение и демонстрация технологии IBM Big Data

2. Отраслевая кастомизация технологий

3. Оказание услуг по созданию прототипов корпоративных решений

4. Предоставление виртуальных стендов IBM Big Data Big для удаленного использования у заказчика

Центр компетенции IBM Big Data ЕС-лизинг

В декабре 2012 создан первый полнофункциональный

виртуальный тестовый стенд IBM Big Data для ИПИ РАН

с удаленным доступом к вычислительным ресурсам и

инструментальным средствам

EC-лизинг

34

Сервера (mainframes): 1) IBM System z114 2818-M05 2) IBM System z10 BC model 2098-E10 3) IBM zSeries z9 4) IBM zSeries z800-2066

Операционные системы: 1) z/OS 2) Linux for System z (SuSE, Redhat) 3) ISX 4) z/VM

Сервера:1) IBM Power System BladeServers 7778-23X(JS23)в стойке BladeCenter 7989-BCH

Операционные системы: 1) AIX 2) Linux for System p (SuSE, Redhat)

Сервера: 1) HP BL460cG6 двухпроцессорный

четырехядерных блэйд-сервер (3 сервера)

2) IBM хSeries 460 четырехпроцессорных сервера (2 сервера)

IBM Pure Data “Netezza” 3563-CCO IBM PureData System for Analytics N1001-002 Appliance for System z Appliance

Internet

АРМ управление инфраструктурой

ЛВС и SAN сети вычислительного центра

IBM zSeries

IBM xSeries и HP (Intel)

IBM pSeries

VPN

Внутренний Firewall

SSH, sFTP, HTTPs

Инфраструктура ЦК ЕСЛБазовые кафедры по аналитике(подготовка кадров)

Программное обеспечение : Более 900 продуктов IBM и др.

Intranet

DMZ

Внешний Firewall

IBM Pure Data “Netezza” 3563-CCO IBM PureData System for Analytics N1001-002 Appliance

EC-лизинг

35

Центр компетенции по IBM Big Data

Приглашаем посетить центр

компетенции,

ознакомиться с технологиями IBM

BigData,

принять участие в создании

виртуальных отраслевых стендовwww.ec-leasing.ru

Тел.: (495) 319-58-09 Факс: (495) 319-69-90

e-mail: contact@ec-leasing.ru

EC-лизинг

36

www.ec-leasing.ru

Спасибо за внимание!