SAP HANA Конкурентные преимущества бизнеса · PDF filesap hana представляет инновационную парадигму вычислений

© 2013 SAP AG. All rights reserved.

SAP HANAКонкурентные преимущества бизнеса партнеров

Вадим ТабаковМенеджер по развитию направления Big Data&Technology, SAP

10.6.14


Что такое HANA


SAP HANA – это

программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных in-memory.В настоящее время перед большинством крупных финансовых учреждений остро встала задача эффективной обработки и анализа больших объемов данных. Организации стремятся своевременно получать нужную информацию, чтобы оперативно реагировать на изменения финансового рынка, предупреждать риски и анализировать тренды. Однако объем данных бывает настолько велик, что традиционные системы не справляются с обработкой в нужные сроки и не могут удовлетворять потребность пользователей в получении необходимой информации в реальном времени. Компания SAP предлагает революционное решение проблемы анализа и обработки больших объемов данных - программно-аппаратный комплекс SAP HANA. Он построен на основе инновационных разработок компании SAP в сфере хранения данных в оперативной памяти и последних достижений в области аппаратного обеспечения. SAP HANA снимает ограничения традиционной архитектуры баз данных, которые существенно сужали возможности разработки приложений для поддержки деятельности организаций в реальном времени. Ниже перечислены ключевые особенности SAP HANA, совокупность которых позволяет считать платформу беспрецедентным решением на рынке технологий для обработки больших данных:Полноценная база данных In-Memory в основе платформы SAP HANA. Все данные, хранящиеся в аналитической платформе SAP HANA, постоянно находятся в оперативной памяти серверов, за счет чего устраняется узкое место, снижавшее производительность приложений на протяжении многих лет – ожидание процессором данных с жесткого диска. Поколоночное хранение – новая скорость обработки данных и эффективные алгоритмы компрессии. Данный способ хранения позволяет извлекать из памяти только необходимые колонки таблиц данных и производить вычисления над ними, что значительно ускоряет выполнение аналитических запросов. Также поколоночная организация хранения позволяет использовать ряд эффективных алгоритмов компрессии данных, не влияющих на производительность. Построение комплексных моделей данных и реализация вычислительных алгоритмов на уровне базы данных с возможностью использования встроенных библиотек функций прогнозирования и бизнес-функций. SAP HANA позволяет создавать приложения нового поколения, изначально спроектированные для использования преимуществ вычислений в оперативной памяти, а также переносить логику существующих приложений на уровень базы данных In-Memory. Эффективное использование массово-параллельной архитектуры аппаратного обеспечения для распараллеливания вычислений на больших объемах данных. Построение аналитики на транзакционных данных без предварительной агрегации, индексирования и материализованных представлений. Бесшовная интеграция с существующими решениями SAP с целью увеличения производительности и создания новых возможностей для пользователей. Такие приложения, как SAP Netweaver BW, SAP CRM и в скором времени SAP ERP оптимизированы для работы в оперативной памяти и для использования вычислительных ресурсов, предоставляемых платформой SAP HANA.SAP HANA и IBM Netezza – возможна ли аналогия?Программно-аппаратный комплекс PureData System for Analytics N1001 (новое название продукта Netezza 1000 Data Warehousing machine) в основе своей имеет СУБД, оптимизированную, согласно информации от производителя, для работы с аналитическими приложениями и хранилищами данных. При этом он не является многоцелевой платформой для обработки и хранения как аналитических, так и транзакционных данных (для транзакционных систем IBM предлагает другой продукт семейства PureData – PureData for Transactions T1500). Единственной общей особенностью SAP HANA и PureData System for Analytics N1001 является эффективное использование массово-параллельной архитектуры при выполнении запросов. Явными преимуществами SAP HANA, не позволяющими называть продукт компании IBM конкурентом и аналогом, являются: База данных In-Memory, в то время как PureData System for Analytics Т1001 работает на основе дисков. Дисковые технологии накладывают ограничения на производительность, тем самым не позволяя выполнять комплексные вычисления на больших объемах данных в режиме реального времени и создавать приложения нового поколения.Гибридное хранение данных (поколоночное и построчное с возможностью выбора) в отличие от решения IBM, позволяющего хранить данные только построчно. Как было сказано выше, поколоночное хранение имеет массу преимуществ и позволяет добиться высочайшей скорости выполнения аналитических запросов, а также степени компрессии данных.OLAP + OLTP. SAP HANA оптимизирована для обработки данных обоих типов, в то время как PureData System for Analytics T1001 непроизводительна в работе с транзакционными приложениями. Многофункциональная платформа для разработки новых приложений с возможностями использования библиотек функций планирования, прогнозирования и бизнес-функций. SAP HANA позволяет создавать новые решения, используя платформу stand-alone, а также оптимизировать существующие приложения, перенося логику на уровень базы данных in-memory. Решение от IBM не предоставляет подобных возможностей. Репликация данных из любых источников в режиме реального времени. В зависимости от поставленных задач и источников данных, компания SAP предлагает несколько зарекомендовавших себя инструментов для репликации – SAP SLT, Sybase Replication Server, SAP BusinessObjects Data Services. Загрузка данных в PureData System for Analytics T1001 не является real-time, поэтому решение не может поддерживать функционирование организаций в реальном времени.Сценарии использования SAP HANA для Финансовых учреждений Являясь универсальной многоцелевой платформой, SAP HANA позволяет реализовывать различныесценарии для ускорения и оптимизации существующих приложений, а также создавать решения нового поколения, изначально проектируемые с использованием преимуществ вычислений в оперативной памяти. Основные группы сценариев представлены ниже: SAP HANA для аналитики в режиме реального времениОсновной проблемой существующих аналитических приложений является сложность получения данных из источников в режиме реального времени, отсутствие гибкости моделей, а также необходимость предварительной агрегации данных для последующего анализа. По этим причинам пользователи не получают информацию для принятия решений своевременно, а также не имеют возможности формировать ad-hoc запросы с требуемым уровнем детализации для анализа причин возникновения тех или иных событий и рисков. SAP HANA является идеальным решением описанной проблемы, позволяя реплицировать большие объемы данных из различных транзакционных систем в режиме реального времени, создавать комплексные модели и витрины данных, вычисляемые «на лету», и предоставляя интерфейс для решений SAP BusinessObjects BI, MS Excel, а также любых других клиентских приложений, поддерживающих SQL или MDX. В рамках данного сценария компания SAP предлагает большой спектр преднастроенных моделей, разработанных на основе многолетней экспертизы компании в области бизнес-процессов. Примером такого решения является аналитическая отчетность для банков, позволяющая менеджменту анализировать различные КПЭ в режиме реального времени и тем самым быстро адаптироваться к меняющимся условиям финансового рынка и минимизировать риски. Приложения нового поколенияПлатформа SAP HANA позволяет создавать приложения, которые были нереализуемы ранее с применением традиционных технологий. Логика подобных приложений изначально реализуется на уровне базы данных SAP HANA с целью эффективного использования технологии вычислений в оперативной памяти, а также оптимизированных алгоритмов прогнозирования, бизнес-функций и т.п. Примером такого приложения для банков является SAP Liquidity Risk Management (Управление рисками ликвидности). Оно позволяет банкам проводить анализ ликвидности и управление рисками и дает возможность анализировать большие объемы операционных, симулированных и «стресс» данных о денежных потоках всех типов в режиме реального времени, от агрегированных данных группы вплоть до отдельных денежных потоков. Существующие решения SAP powered by HANA Приложения SAP Business Suite и SAP NetWeaver Business Warehouse являются ключевыми элементами системного ландшафта многих организаций, при этом традиционные базы данных, используемые этими приложениями, не позволяют им эффективно обрабатывать большие объемы данных и отвечать современным требованиям организаций. Миграция этих решений на SAP HANA не только решает проблемы производительности, но и позволяет оптимизировать их архитектуру, расширить функциональность и упростить администрирование, сохраняя пользовательские интерфейсы неизменными. К примеру, миграция хранилища данных SAP Netweaver BW позволяет не только решить проблемы с отчетностью, работающей недопустимо медленно, но и значительно ускоряет такие процессы, как бюджетирование на SAP BW-IP и SAP BPC, за счет выполнения объемных расчетов на уровне базы данных в оперативной памяти.Технология In-Memory реализована в перспективном решении SAP HANA (High-Performance Analytics Appliance). Это гибкий, многоцелевой программно-аппаратный комплекс, который размещает все данные для аналитической обработки в оперативной памяти. Решение SAP HANA построено на программных компонентах SAP, оптимизированных для работы на оборудовании, поставляемом ведущими мировыми производителями – партнерами SAP. SAP HANA представляет инновационную парадигму вычислений в реальном времени и помогает бизнесу переосмыслить существующие пути решения деловых задач, используя революционный инструментарий бизнес-аналитики, не имеющие аналогов приложения и обновленные существующие решения SAP.Основные возможности SAP HANA Непосредственный доступ к оперативным данным без ущерба для производительности операционных систем. Возможность синхронизировать ключевые таблицы с информацией о транзакциях непосредственно в оперативной памяти в режиме, близком к реальному времени, что делает эти таблицы легкодоступными для анализа и поиска без ущерба для производительности операционных систем. Усовершенствованный процесс моделирования поддерживает модели для прямого доступа к детализированной информации, а также аналитические модели для более сложного анализа.Оптимальный процесс построения отчетности, который охватывает весь спектр задач – от выявления важных оперативных сведений до генерации семантически сгруппированных данных в рамках модели и публикации итоговых моделей для общего использования. Ключевое отличие решения SAP HANA от традиционных аналитических инструментов – отсутствие всякой материализации, что значительно упрощает внесение изменений в модели. В качестве основных источников данных используются только виртуальные модели, которые рассчитыва ются на основе неагрегированных оперативных данных.Поддержка любых источников данных, позволяющая использовать оперативную информацию из приложений сторонних разработчиков, а также в случаях, когда организации хотят расширить существующие аналитические модели. Простые в использовании инструменты моделирования с целью дальнейшего расширения автономии бизнес-пользователей. Богатые с семантической точки зрения представления превращают необработанные оперативные данные в понятную и значимую информацию. Бизнес-пользователи могут самостоятельно создавать новые аналитические модели при помощи веб-инструментов, встроенных в решение SAP HANA.Различные решения для бизнес-аналитики, как входящие в состав SAP Business Objects, так и не входящие (типа Excel) инструменты и приложения для анализа данных, которые могут подключиться к SAP HANA через стандартные интерфейсы, например MDX или SQL.Стандартные интерфейсы для существующих решений, операционных систем или других бизнес-приложений. SAP HANA подключается к существующим источникам данных без ущерба для существующих ландшафтов, а организации смогут эффективнее использовать инвестиции в клиентские приложения для систем бизнес-аналитики. Текущие сценарии применения SAP HANAПолучение отчетов в режиме, приближенном к реальному времениДля обеспечения анализа в режиме реального времени перенос данных из транзакционной системы в HANA осуществляется с помощью технологии репликации данных. Репликация позволяет переносить в HANA все изменения, происходящие в БД учетной системы, в режиме, приближенном к «real time». Ранее для переноса данных в аналитическую систему использовался процесс экстракции, трансформации и загрузки (т.н. ETL), который требовал длительного времени на извлечение и обработку больших массивов данных, прежде чем с этими данными начнут работать пользователи. Теперь же пользователям не нужно ожидать очередного срабатывания ETL-процесса или работать с устаревшими данными.Использование в качестве акселератора (ускорителя) для существующего ХДТакой режим уже не подразумевает работу в режиме реального времени, однако, на этом этапе пользователи могут анализировать большие объемы данных из любого источника с высокой скоростью обработкизапросов.Использование в качестве БД и СУБД для построения хранилища данныхПри данном подходе возможно получить максимальную выгоду, используя всю функциональность SAP HANA, и пользоваться всеми преимуществами первых двух вариантов. В данном варианте «совмещаются» механизмы хранения и обработки, что значительно сокращает время обмена данными между БД и уровнем приложения. К тому же данное решение наиболее открыто для дальнейших перспектив развития – в ближайшем будущем SAP HANA рассматривается как универсальная платформа для разработки приложений нового поколения – «in-memory»-приложений.Технические характеристики SAP HANAВысокопроизводительные развертывания SAP HANA работают на системах на базе микросхем Intel, сертифицированных SAP как HANA-совместимые, т.к. обычно такие внедрения требуют большого количества оперативной памяти и использования быстрых многоядерных процессоров. SAP HANA использует технологию вычислений «in-memory», удерживая необходимую информацию непосредственно в оперативной памяти для ускорения ее обработки. При этом устраняется необходимость выполнения основных низко производительных операций чтения/записи с жестких дисков.Компания SAP реализовала в своем ядре вычислений «in-memory» ряд технических прорывов, обеспечив, например, оптимальную загрузку процессора и возможность параллельной обработки данных на нескольких узлах. В процессе совместной работы с клиентами на экспериментальном этапе проекта SAP HANA удалось продемонстрировать ряд глобальных инноваций в трех ключевых областях:Скорость: модуль вычислений в оперативной памяти от SAP позволяет каждому ядру процессора сканировать 2 миллиона записей в миллисекунду и производить «на лету» более 10 миллионов операций по агрегированию данных в секунду. Эти результаты достигнуты с использованием реальных данных клиентов, работающих на стандартных процессорах Intel.Масштабируемость: программное ядро SAP HANA разработано на основе многоядерной архитектуры; в нем реализованы адаптивные алгоритмы, позволяющие оптимально использовать кэш. В результате производительность линейно растет при увеличении количества задействованных ядер, процессоров и серверов.Сжатие: ядро SAP для вычислений в памяти использует передовые алгоритмы сжатия и структуры данных, позволяющие минимизировать объем памяти, необходимый для нормальной работы системы.программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных in-memory.В настоящее время перед большинством крупных финансовых учреждений остро встала задача эффективной обработки и анализа больших объемов данных. Организации стремятся своевременно получать нужную информацию, чтобы оперативно реагировать на изменения финансового рынка, предупреждать риски и анализировать тренды. Однако объем данных бывает настолько велик, что традиционные системы не справляются с обработкой в нужные сроки и не могут удовлетворять потребность пользователей в получении необходимой информации в реальном времени. Компания SAP предлагает революционное решение проблемы анализа и обработки больших объемов данных - программно-аппаратный комплекс SAP HANA. Он построен на основе инновационных разработок компании SAP в сфере хранения данных в оперативной памяти и последних достижений в области аппаратного обеспечения. SAP HANA снимает ограничения традиционной архитектуры баз данных, которые существенно сужали возможности разработки приложений для поддержки деятельности организаций в реальном времени. Ниже перечислены ключевые особенности SAP HANA, совокупность которых позволяет считать платформу беспрецедентным решением на рынке технологий для обработки больших данных:Полноценная база данных In-Memory в основе платформы SAP HANA. Все данные, хранящиеся в аналитической платформе SAP HANA, постоянно находятся в оперативной памяти серверов, за счет чего устраняется узкое место, снижавшее производительность приложений на протяжении многих лет – ожидание процессором данных с жесткого диска. Поколоночное хранение – новая скорость обработки данных и эффективные алгоритмы компрессии. Данный способ хранения позволяет извлекать из памяти только необходимые колонки таблиц данных и производить вычисления над ними, что значительно ускоряет выполнение аналитических запросов. Также поколоночная организация хранения позволяет использовать ряд эффективных алгоритмов компрессии данных, не влияющих на производительность. Построение комплексных моделей данных и реализация вычислительных алгоритмов на уровне базы данных с возможностью использования встроенных библиотек функций прогнозирования и бизнес-функций. SAP HANA позволяет создавать приложения нового поколения, изначально спроектированные для использования преимуществ вычислений в оперативной памяти, а также переносить логику существующих приложений на уровень базы данных In-Memory. Эффективное использование массово-параллельной архитектуры аппаратного обеспечения для распараллеливания вычислений на больших объемах данных. Построение аналитики на транзакционных данных без предварительной агрегации, индексирования и материализованных представлений. Бесшовная интеграция с существующими решениями SAP с целью увеличения производительности и создания новых возможностей для пользователей. Такие приложения, как SAP Netweaver BW, SAP CRM и в скором времени SAP ERP оптимизированы для работы в оперативной памяти и для использования вычислительных ресурсов, предоставляемых платформой SAP HANA.SAP HANA и IBM Netezza – возможна ли аналогия?Программно-аппаратный комплекс PureData System for Analytics N1001 (новое название продукта Netezza 1000 Data Warehousing machine) в основе своей имеет СУБД, оптимизированную, согласно информации от производителя, для работы с аналитическими приложениями и хранилищами данных. При этом он не является многоцелевой платформой для обработки и хранения как аналитических, так и транзакционных данных (для транзакционных систем IBM предлагает другой продукт семейства PureData – PureData for Transactions T1500). Единственной общей особенностью SAP HANA и PureData System for Analytics N1001 является эффективное использование массово-параллельной архитектуры при выполнении запросов. Явными преимуществами SAP HANA, не позволяющими называть продукт компании IBM конкурентом и аналогом, являются: База данных In-Memory, в то время как PureData System for Analytics Т1001 работает на основе дисков. Дисковые технологии накладывают ограничения на производительность, тем самым не позволяя выполнять комплексные вычисления на больших объемах данных в режиме реального времени и создавать приложения нового поколения.Гибридное хранение данных (поколоночное и построчное с возможностью выбора) в отличие от решения IBM, позволяющего хранить данные только построчно. Как было сказано выше, поколоночное хранение имеет массу преимуществ и позволяет добиться высочайшей скорости выполнения аналитических запросов, а также степени компрессии данных.OLAP + OLTP. SAP HANA оптимизирована для обработки данных обоих типов, в то время как PureData System for Analytics T1001 непроизводительна в работе с транзакционными приложениями. Многофункциональная платформа для разработки новых приложений с возможностями использования библиотек функций планирования, прогнозирования и бизнес-функций. SAP HANA позволяет создавать новые решения, используя платформу stand-alone, а также оптимизировать существующие приложения, перенося логику на уровень базы данных in-memory. Решение от IBM не предоставляет подобных возможностей. Репликация данных из любых источников в режиме реального времени. В зависимости от поставленных задач и источников данных, компания SAP предлагает несколько зарекомендовавших себя инструментов для репликации – SAP SLT, Sybase Replication Server, SAP BusinessObjects Data Services. Загрузка данных в PureData System for Analytics T1001 не является real-time, поэтому решение не может поддерживать функционирование организаций в реальном времени.Сценарии использования SAP HANA для Финансовых учреждений Являясь универсальной многоцелевой платформой, SAP HANA позволяет реализовывать различныесценарии для ускорения и оптимизации существующих приложений, а также создавать решения нового поколения, изначально проектируемые с использованием преимуществ вычислений в оперативной памяти. Основные группы сценариев представлены ниже: SAP HANA для аналитики в режиме реального времениОсновной проблемой существующих аналитических приложений является сложность получения данных из источников в режиме реального времени, отсутствие гибкости моделей, а также необходимость предварительной агрегации данных для последующего анализа. По этим причинам пользователи не получают информацию для принятия решений своевременно, а также не имеют возможности формировать ad-hoc запросы с требуемым уровнем детализации для анализа причин возникновения тех или иных событий и рисков. SAP HANA является идеальным решением описанной проблемы, позволяя реплицировать большие объемы данных из различных транзакционных систем в режиме реального времени, создавать комплексные модели и витрины данных, вычисляемые «на лету», и предоставляя интерфейс для решений SAP BusinessObjects BI, MS Excel, а также любых других клиентских приложений, поддерживающих SQL или MDX. В рамках данного сценария компания SAP предлагает большой спектр преднастроенных моделей, разработанных на основе многолетней экспертизы компании в области бизнес-процессов. Примером такого решения является аналитическая отчетность для банков, позволяющая менеджменту анализировать различные КПЭ в режиме реального времени и тем самым быстро адаптироваться к меняющимся условиям финансового рынка и минимизировать риски. Приложения нового поколенияПлатформа SAP HANA позволяет создавать приложения, которые были нереализуемы ранее с применением традиционных технологий. Логика подобных приложений изначально реализуется на уровне базы данных SAP HANA с целью эффективного использования технологии вычислений в оперативной памяти, а также оптимизированных алгоритмов прогнозирования, бизнес-функций и т.п. Примером такого приложения для банков является SAP Liquidity Risk Management (Управление рисками ликвидности). Оно позволяет банкам проводить анализ ликвидности и управление рисками и дает возможность анализировать большие объемы операционных, симулированных и «стресс» данных о денежных потоках всех типов в режиме реального времени, от агрегированных данных группы вплоть до отдельных денежных потоков. Существующие решения SAP powered by HANA Приложения SAP Business Suite и SAP NetWeaver Business Warehouse являются ключевыми элементами системного ландшафта многих организаций, при этом традиционные базы данных, используемые этими приложениями, не позволяют им эффективно обрабатывать большие объемы данных и отвечать современным требованиям организаций. Миграция этих решений на SAP HANA не только решает проблемы производительности, но и позволяет оптимизировать их архитектуру, расширить функциональность и упростить администрирование, сохраняя пользовательские интерфейсы неизменными. К примеру, миграция хранилища данных SAP Netweaver BW позволяет не только решить проблемы с отчетностью, работающей недопустимо медленно, но и значительно ускоряет такие процессы, как бюджетирование на SAP BW-IP и SAP BPC, за счет выполнения объемных расчетов на уровне базы данных в оперативной памяти.Технология In-Memory реализована в перспективном решении SAP HANA (High-Performance Analytics Appliance). Это гибкий, многоцелевой программно-аппаратный комплекс, который размещает все данные для аналитической обработки в оперативной памяти. Решение SAP HANA построено на программных компонентах SAP, оптимизированных для работы на оборудовании, поставляемом ведущими мировыми производителями – партнерами SAP. SAP HANA представляет инновационную парадигму вычислений в реальном времени и помогает бизнесу переосмыслить существующие пути решения деловых задач, используя революционный инструментарий бизнес-аналитики, не имеющие аналогов приложения и обновленные существующие решения SAP.Основные возможности SAP HANA Непосредственный доступ к оперативным данным без ущерба для производительности операционных систем. Возможность синхронизировать ключевые таблицы с информацией о транзакциях непосредственно в оперативной памяти в режиме, близком к реальному времени, что делает эти таблицы легкодоступными для анализа и поиска без ущерба для производительности операционных систем. Усовершенствованный процесс моделирования поддерживает модели для прямого доступа к детализированной информации, а также аналитические модели для более сложного анализа.Оптимальный процесс построения отчетности, который охватывает весь спектр задач – от выявления важных оперативных сведений до генерации семантически сгруппированных данных в рамках модели и публикации итоговых моделей для общего использования. Ключевое отличие решения SAP HANA от традиционных аналитических инструментов – отсутствие всякой материализации, что значительно упрощает внесение изменений в модели. В качестве основных источников данных используются только виртуальные модели, которые рассчитыва ются на основе неагрегированных оперативных данных.Поддержка любых источников данных, позволяющая использовать оперативную информацию из приложений сторонних разработчиков, а также в случаях, когда организации хотят расширить существующие аналитические модели. Простые в использовании инструменты моделирования с целью дальнейшего расширения автономии бизнес-пользователей. Богатые с семантической точки зрения представления превращают необработанные оперативные данные в понятную и значимую информацию. Бизнес-пользователи могут самостоятельно создавать новые аналитические модели при помощи веб-инструментов, встроенных в решение SAP HANA.Различные решения для бизнес-аналитики, как входящие в состав SAP Business Objects, так и не входящие (типа Excel) инструменты и приложения для анализа данных, которые могут подключиться к SAP HANA через стандартные интерфейсы, например MDX или SQL.Стандартные интерфейсы для существующих решений, операционных систем или других бизнес-приложений. SAP HANA подключается к существующим источникам данных без ущерба для существующих ландшафтов, а организации смогут эффективнее использовать инвестиции в клиентские приложения для систем бизнес-аналитики. Текущие сценарии применения SAP HANAПолучение отчетов в режиме, приближенном к реальному времениДля обеспечения анализа в режиме реального времени перенос данных из транзакционной системы в HANA осуществляется с помощью технологии репликации данных. Репликация позволяет переносить в HANA все изменения, происходящие в БД учетной системы, в режиме, приближенном к «real time». Ранее для переноса данных в аналитическую систему использовался процесс экстракции, трансформации и загрузки (т.н. ETL), который требовал длительного времени на извлечение и обработку больших массивов данных, прежде чем с этими данными начнут работать пользователи. Теперь же пользователям не нужно ожидать очередного срабатывания ETL-процесса или работать с устаревшими данными.Использование в качестве акселератора (ускорителя) для существующего ХДТакой режим уже не подразумевает работу в режиме реального времени, однако, на этом этапе пользователи могут анализировать большие объемы данных из любого источника с высокой скоростью обработкизапросов.Использование в качестве БД и СУБД для построения хранилища данныхПри данном подходе возможно получить максимальную выгоду, используя всю функциональность SAP HANA, и пользоваться всеми преимуществами первых двух вариантов. В данном варианте «совмещаются» механизмы хранения и обработки, что значительно сокращает время обмена данными между БД и уровнем приложения. К тому же данное решение наиболее открыто для дальнейших перспектив развития – в ближайшем будущем SAP HANA рассматривается как универсальная платформа для разработки приложений нового поколения – «in-memory»-приложений.Технические характеристики SAP HANAВысокопроизводительные развертывания SAP HANA работают на системах на базе микросхем Intel, сертифицированных SAP как HANA-совместимые, т.к. обычно такие внедрения требуют большого количества оперативной памяти и использования быстрых многоядерных процессоров. SAP HANA использует технологию вычислений «in-memory», удерживая необходимую информацию непосредственно в оперативной памяти для ускорения ее обработки. При этом устраняется необходимость выполнения основных низко производительных операций чтения/записи с жестких дисков.Компания SAP реализовала в своем ядре вычислений «in-memory» ряд технических прорывов, обеспечив, например, оптимальную загрузку процессора и возможность параллельной обработки данных на нескольких узлах. В процессе совместной работы с клиентами на экспериментальном этапе проекта SAP HANA удалось продемонстрировать ряд глобальных инноваций в трех ключевых областях:Скорость: модуль вычислений в оперативной памяти от SAP позволяет каждому ядру процессора сканировать 2 миллиона записей в миллисекунду и производить «на лету» более 10 миллионов операций по агрегированию данных в секунду. Эти результаты достигнуты с использованием реальных данных клиентов, работающих на стандартных процессорах Intel.Масштабируемость: программное ядро SAP HANA разработано на основе многоядерной архитектуры; в нем реализованы адаптивные алгоритмы, позволяющие оптимально использовать кэш. В результате производительность линейно растет при увеличении количества задействованных ядер, процессоров и серверов.Сжатие: ядро SAP для вычислений в памяти использует передовые алгоритмы сжатия и структуры данных, позволяющие минимизировать объем памяти, необходимый для нормальной работы системы.

программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных in-memory.В настоящее время перед большинством крупных финансовых учреждений остро встала задача эффективной обработки и анализа больших объемов данных. Организации стремятся своевременно получать нужную информацию, чтобы оперативно реагировать на изменения финансового рынка, предупреждать риски и анализировать тренды. Однако объем данных бывает настолько велик, что традиционные системы не справляются с обработкой в нужные сроки и не могут удовлетворять потребность пользователей в получении необходимой информации в реальном времени. Компания SAP предлагает революционное решение проблемы анализа и обработки больших объемов данных - программно-аппаратный комплекс SAP HANA. Он построен на основе инновационных разработок компании SAP в сфере хранения данных в оперативной памяти и последних достижений в области аппаратного обеспечения. SAP HANA снимает ограничения традиционной архитектуры баз данных, которые существенно сужали возможности разработки приложений для поддержки деятельности организаций в реальном времени. Ниже перечислены ключевые особенности SAP HANA, совокупность которых позволяет считать платформу беспрецедентным решением на рынке технологий для обработки больших данных:Полноценная база данных In-Memory в основе платформы SAP HANA. Все данные, хранящиеся в аналитической платформе SAP HANA, постоянно находятся в оперативной памяти серверов, за счет чего устраняется узкое место, снижавшее производительность приложений на протяжении многих лет – ожидание процессором данных с жесткого диска. Поколоночное хранение – новая скорость обработки данных и эффективные алгоритмы компрессии. Данный способ хранения позволяет извлекать из памяти только необходимые колонки таблиц данных и производить вычисления над ними, что значительно ускоряет выполнение аналитических запросов. Также поколоночная организация хранения позволяет использовать ряд эффективных алгоритмов компрессии данных, не влияющих на производительность. Построение комплексных моделей данных и реализация вычислительных алгоритмов на уровне базы данных с возможностью использования встроенных библиотек функций прогнозирования и бизнес-функций. SAP HANA позволяет создавать приложения нового поколения, изначально спроектированные для использования преимуществ вычислений в оперативной памяти, а также переносить логику существующих приложений на уровень базы данных In-Memory. Эффективное использование массово-параллельной архитектуры аппаратного обеспечения для распараллеливания вычислений на больших объемах данных. Построение аналитики на транзакционных данных без предварительной агрегации, индексирования и материализованных представлений. Бесшовная интеграция с существующими решениями SAP с целью увеличения производительности и создания новых возможностей для пользователей. Такие приложения, как SAP Netweaver BW, SAP CRM и в скором времени SAP ERP оптимизированы для работы в оперативной памяти и для использования вычислительных ресурсов, предоставляемых платформой SAP HANA.SAP HANA и IBM Netezza – возможна ли аналогия?Программно-аппаратный комплекс PureData System for Analytics N1001 (новое название продукта Netezza 1000 Data Warehousing machine) в основе своей имеет СУБД, оптимизированную, согласно информации от производителя, для работы с аналитическими приложениями и хранилищами данных. При этом он не является многоцелевой платформой для обработки и хранения как аналитических, так и транзакционных данных (для транзакционных систем IBM предлагает другой продукт семейства PureData – PureData for Transactions T1500). Единственной общей особенностью SAP HANA и PureData System for Analytics N1001 является эффективное использование массово-параллельной архитектуры при выполнении запросов. Явными преимуществами SAP HANA, не позволяющими называть продукт компании IBM конкурентом и аналогом, являются: База данных In-Memory, в то время как PureData System for Analytics Т1001 работает на основе дисков. Дисковые технологии накладывают ограничения на производительность, тем самым не позволяя выполнять комплексные вычисления на больших объемах данных в режиме реального времени и создавать приложения нового поколения.Гибридное хранение данных (поколоночное и построчное с возможностью выбора) в отличие от решения IBM, позволяющего хранить данные только построчно. Как было сказано выше, поколоночное хранение имеет массу преимуществ и позволяет добиться высочайшей скорости выполнения аналитических запросов, а также степени компрессии данных.OLAP + OLTP. SAP HANA оптимизирована для обработки данных обоих типов, в то время как PureData System for Analytics T1001 непроизводительна в работе с транзакционными приложениями. Многофункциональная платформа для разработки новых приложений с возможностями использования библиотек функций планирования, прогнозирования и бизнес-функций. SAP HANA позволяет создавать новые решения, используя платформу stand-alone, а также оптимизировать существующие приложения, перенося логику на уровень базы данных in-memory. Решение от IBM не предоставляет подобных возможностей. Репликация данных из любых источников в режиме реального времени. В зависимости от поставленных задач и источников данных, компания SAP предлагает несколько зарекомендовавших себя инструментов для репликации – SAP SLT, Sybase Replication Server, SAP BusinessObjects Data Services. Загрузка данных в PureData System for Analytics T1001 не является real-time, поэтому решение не может поддерживать функционирование организаций в реальном времени.Сценарии использования SAP HANA для Финансовых учреждений Являясь универсальной многоцелевой платформой, SAP HANA позволяет реализовывать различныесценарии для ускорения и оптимизации существующих приложений, а также создавать решения нового поколения, изначально проектируемые с использованием преимуществ вычислений в оперативной памяти. Основные группы сценариев представлены ниже: SAP HANA для аналитики в режиме реального времениОсновной проблемой существующих аналитических приложений является сложность получения данных из источников в режиме реального времени, отсутствие гибкости моделей, а также необходимость предварительной агрегации данных для последующего анализа. По этим причинам пользователи не получают информацию для принятия решений своевременно, а также не имеют возможности формировать ad-hoc запросы с требуемым уровнем детализации для анализа причин возникновения тех или иных событий и рисков. SAP HANA является идеальным решением описанной проблемы, позволяя реплицировать большие объемы данных из различных транзакционных систем в режиме реального времени, создавать комплексные модели и витрины данных, вычисляемые «на лету», и предоставляя интерфейс для решений SAP BusinessObjects BI, MS Excel, а также любых других клиентских приложений, поддерживающих SQL или MDX. В рамках данного сценария компания SAP предлагает большой спектр преднастроенных моделей, разработанных на основе многолетней экспертизы компании в области бизнес-процессов. Примером такого решения является аналитическая отчетность для банков, позволяющая менеджменту анализировать различные КПЭ в режиме реального времени и тем самым быстро адаптироваться к меняющимся условиям финансового рынка и минимизировать риски. Приложения нового поколенияПлатформа SAP HANA позволяет создавать приложения, которые были нереализуемы ранее с применением традиционных технологий. Логика подобных приложений изначально реализуется на уровне базы данных SAP HANA с целью эффективного использования технологии вычислений в оперативной памяти, а также оптимизированных алгоритмов прогнозирования, бизнес-функций и т.п. Примером такого приложения для банков является SAP Liquidity Risk Management (Управление рисками ликвидности). Оно позволяет банкам проводить анализ ликвидности и управление рисками и дает возможность анализировать большие объемы операционных, симулированных и «стресс» данных о денежных потоках всех типов в режиме реального времени, от агрегированных данных группы вплоть до отдельных денежных потоков. Существующие решения SAP powered by HANA Приложения SAP Business Suite и SAP NetWeaver Business Warehouse являются ключевыми элементами системного ландшафта многих организаций, при этом традиционные базы данных, используемые этими приложениями, не позволяют им эффективно обрабатывать большие объемы данных и отвечать современным требованиям Поддержка любых источников данных, позволяющая использовать оперативную информацию из приложений сторонних разработчиков, а также в случаях, когда организации хотят расширить существующие аналитические модели. Простые в использовании инструменты моделирования с целью дальнейшего расширения автономии бизнес-пользователей. Богатые с семантической точки зрения представления превращают необработанные оперативные данные в понятную и значимую информацию. Бизнес-пользователи могут самостоятельно создавать новые аналитические модели при помощи веб-инструментов, встроенных в решение SAP HANA.Различные решения для бизнес-аналитики, как входящие в состав SAP Business Objects, так и не входящие (типа Excel) инструменты и приложения для анализа данных, которые могут подключиться к SAP HANA через стандартные интерфейсы, например MDX или SQL.Стандартные интерфейсы для существующих решений, операционных систем или других бизнес-приложений. SAP HANA подключается к существующим источникам данных без ущерба для существующих ландшафтов, а организации смогут эффективнее использовать инвестиции в клиентские приложения для систем бизнес-аналитики. Текущие сценарии применения SAP HANAПолучение отчетов в режиме, приближенном к реальному времениДля обеспечения анализа в режиме реального времени перенос данных из транзакционной системы в HANA осуществляется с помощью технологии репликации данных. Репликация позволяет переносить в HANA все изменения, происходящие в БД учетной системы, в режиме, приближенном к «real time». Ранее для переноса данных в аналитическую систему использовался процесс экстракции, трансформации и загрузки (т.н. ETL), который требовал длительного времени на извлечение и обработку больших массивов данных, прежде чем с этими данными начнут работать пользователи. Теперь же пользователям не нужно ожидать очередного срабатывания ETL-процесса или работать с устаревшими данными.Использование в качестве акселератора (ускорителя) для существующего ХДТакой режим уже не подразумевает работу в режиме реального времени, однако, на этом этапе пользователи могут анализировать большие объемы данных из любого источника с высокой скоростью обработкизапросов.Использование в качестве БД и СУБД для построения хранилища данныхПри данном подходе возможно получить максимальную выгоду, используя всю функциональность SAP HANA, и пользоваться всеми преимуществами первых двух вариантов. В данном варианте «совмещаются» механизмы хранения и обработки, что значительно сокращает время обмена данными между БД и уровнем приложения. К тому же данное решение наиболее открыто для дальнейших перспектив развития – в ближайшем будущем SAP HANA рассматривается как универсальная платформа для разработки приложений нового поколения – «in-memory»-приложений.Технические характеристики SAP HANAВысокопроизводительные развертывания SAP HANA работают на системах на базе микросхем Intel, сертифицированных SAP как HANA-совместимые, т.к. обычно такие внедрения требуют большого количества оперативной памяти и использования быстрых многоядерных процессоров. SAP HANA использует технологию вычислений «in-memory», удерживая необходимую информацию непосредственно в оперативной памяти для ускорения ее обработки. При этом устраняется необходимость выполнения основных низко производительных операций чтения/записи с жестких дисков.Компания SAP реализовала в своем ядре вычислений «in-memory» ряд технических прорывов, обеспечив, например, оптимальную загрузку процессора и возможность параллельной обработки данных на нескольких узлах. В процессе совместной работы с клиентами на экспериментальном этапе проекта SAP HANA удалось продемонстрировать ряд глобальных инноваций в трех ключевых областях:Скорость: модуль вычислений в оперативной памяти от SAP позволяет каждому ядру процессора сканировать 2 миллиона записей в миллисекунду и производить «на лету» более 10 миллионов операций по агрегированию данных в секунду. Эти результаты достигнуты с использованием реальных данных клиентов, работающих на стандартных процессорах Intel.Масштабируемость: программное ядро SAP HANA разработано на основе многоядерной архитектуры; в нем реализованы адаптивные алгоритмы, позволяющие оптимально использовать кэш. В результате производительность линейно растет при увеличении количества задействованных ядер, процессоров и серверов.Сжатие: ядро SAP для вычислений в памяти использует передовые алгоритмы сжатия и структуры данных, позволяющие минимизировать объем памяти, необходимый для нормальной работы системы.

программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных «In-memory»Что такое HANA

HANA (High-performance ANalytics Appliance) –


Что такое HANA

HANA (High-performance ANalytics Appliance) – программно-аппаратный комплекс, в основе которого лежит технология хранения и обработки данных «In-memory»

SAP HANA

OLTP BI (OLAP)

■ Данные хранятся и обрабатываются непосредственно в оперативной памяти

■ «In-memory» позволяет избежать эффекта задержек ввода/вывода

■ Строчное и колоночное хранение данных позволяют оптимизировать выборку по запросу

■ Сжатие данных за счет хранения и обработки только значимого содержимого

■ Поставляется как единый программно-аппаратный комплекс


HANA


CPU

SAP HANAСовременный программно-аппаратный комплекс

STORAGE

MEMORY

CompressionPartitioning

No Aggregate tables (Dynamic Aggregation)

Solid State Flash HDD

64bit address space 1 TB in current servers

Dramatic decline in price/performance

L3Cache

L3Cache

L3Cache

L3Cache

L3Cache

L3Cache

L3Cache

L3Cache

Multi-Core Architecture8 CPU x 10 Cores per blade

Massive parallel scaling with many blades

Logging and Backup

OLTP+OLAP in column Store


Что есть в HANA

Application Services

Integration Services

Deployment ServiceOnDemand | Hybrid | OnPremise

Processing Engine

SIMDOLTP + OLAP

MPP CPU Cache Aware

Shared Nothing

X86 Commodity

HW

Database Services

Event Processing Planning

Calculation Predictive Text Mining

Dep

loy

men

t S

ervi

ces A

dmi

nistration

Services

Rules Search Predictive

Machine Learning Business Fuction LibrariesSpacialGIS

SAP HANA PLATFORM ■ In-memory■ Прогнозная аналитика■ Текстовый анализ■ Обработка потоков событий■ Поколоночное хранение■ Инструменты для разработки

приложений■ Инструменты для работы с

пространственными координатами

■ Интеграция с HADOOP


Savepoint:Запись на диск

(data area)

1COMMIT

Лог пишется на диск (log area)

2

Power failure

3

Backup and Recovery

Time

Time

ABC


Варианты разворачивания

Single Server• 2 CPU 128GB to 8 CPU 1TB

(Special layout for Suite on HANA for up to 4 TB per host)

• Single SAP HANA deployments fordata marts or accelerators

• Support for high availability and disaster recovery

Scale Out Cluster• 2 to n servers per cluster

• Each server is either 4 CPU/512GB or 8 CPU/1TB

• Largest certified configuration: 56 servers

• Largest tested configuration: 100+ servers

• Support for high availability and disaster recovery

Cloud Deployment• SAP HANA instances can

be deployed to AWS

• Limited to developer license


Сценарии использования SAP HANA

Side-by-side сценарии Интегрированные сценарии

AnyDBHANA DB

Client

SAP BusinessSuite /

non-SAP

AnyDB

Client

SAP Business

Suite

AnyDBHANA DB

SAP BWSAP

BusinessSuite

HANA DB

(VDL)

HANA DB

Apps

Any Data

SAP HANA Analytics(Контент & виртуальная

модель данных)

SAP HANAАкселераторы

SAP BW on SAP HANA

SAP Business Suiteon SAP HANA

SAP HANA Apps(Приложения нового

поколения)

HANA DB

CR

M

SCM

SR

M

PLM

ERP

VDL

SAP Business Suite SAP

BW

Apps

Client

Приложения нового поколения, изначально спроектированные для использования преимуществSAP HANA

Новый уровень производит. хранилища данных SAP BW

Аналитика в режиме реального времени на детальных транзакционных данных

Ускорение существующих приложений SAP Business Suite

Приложения SAP Business Suite оптимизированы для работы на платформе SAP HANA Объединение транзакционной и аналитической обработки


Click icon to add picture

з


Аудит производительности: HANA vs RDBMS


Результаты

Своевременная поставка необходимого материала снизила число коллизий, связанных с недостатком материалов на складе

Постоянное наличие нужного количества материалов повышает эффективность 20000 скважин

Экономия миллионов евро в год

С SAP HANA мы можем управлять заказом и поступлением материалов. Я убежден, что у этой технологии большое будущее

Ринат Гимранов, CIO; Сургутнефтегаз

72x скорость аналитики: 150,000 типов материалов и миллионы записей в БД

675x скорость отчетов. С 3 часов до 16 секунд

“ ”


Click icon to add picture

НЛМК – ERP on HANA (пилотный проект)


Объект автоматизации и реализованный функционал

■ Единая унифицированная система для всех российских предприятий Группы НЛМК

■ 5’500 пользователей в системе

■ 500’000+ позиций в справочнике материалов

■ 10’000+ структур производственных данных

■ 8 Гбайт в день прирост базы

Контуры автоматизации:

■ управление финансами (SAP FM);

■ контроллинг и учет затрат (SAP CO);

■ управление продажами (SAP SD);

■ планирование производства (SAP SCM/APO);

■ управление производством (SAP PP);

■ Управление ремонтами (SAP PM);

■ управление закупками и запасами (SAP MM);

■ управление проектами (SAP PS);

■ финансовая и налоговая бухгалтерия (SAP FI);

■ учет основных средств и НМА (SAP АА);

■ хранилище бизнес-информации (SAP BW)


Результаты


Оптимизация отчетов

1. Отчет «Запасы партий» SAP ERP 310.664 секунд (больше 3,5 дней)

SAP ERP on HANA 24 секунды

Ускорение до 13.000 раз

2. Отчет «Оборотно-сальдовая ведомость по счетам ГК»SAP ERP 412 секунд (около 7 минут)

SAP ERP on HANA 21 секунда

Ускорение до 20 раз


Для HANA нужно сертифицированное железо


Оборудование IBM для SAP HANA из PAM (I)

http://service.sap.com/pam -> SAP HANA PLATFORM EDIT. 1.0 -> SAP Hana Enterprise-Platform 1.0 PAM (PDF)

http://service.sap.com/pam



Оборудование IBM для SAP HANA из PAM (II)

http://service.sap.com/pam -> SAP HANA PLATFORM EDIT. 1.0 -> SAP Hana Enterprise-Platform 1.0 PAM (PDF)




Цикл продаж


“Экзотические” вопросы

• А где это уже работает?

• А можно протестировать?

• Как, нельзя на своем железе?

• А где взять железо?

• А можно начать в ближайшее время?

• Как, ждать поставки 3 месяца?

• И сколько, вы говорите, это стоит?

• А где выход?


Все начиналось с Proof of Concept (PoC)


Благоприятная конъюнктура

§Низкие барьеры входа;§Низкие затраты на дифференциацию;§Преимущества в положении приобретения знаний;§Доступность продуктов-заменителей;§Ценовая чувствительность потребителей;§Отличительные преимущества продуктов

(уникальность)


Что мы с этого получим?

§Повышение качества Maintenance Base заказчика;§Крупные технологические проекты;§Повышение уровня технического сопровождения;§Технологическое лидерство;§Индустриальное лидерство


SAP HANA: от инновации к корпоративному стандарту

Инновация

Изобретение Обычный товар

Стандартизация

SAP HANA


Let’s Do ITВадим Табаковк.э.н.

САП СНГМенеджер по развитию направления Big Data&Technology, SAP

+7 495 755 9800 +7 967 132 [email protected]

mailto:[email protected]

Documents

SAP HANA Конкурентные преимущества бизнеса · PDF filesap hana представляет инновационную парадигму вычислений