Хранилища данных и аналитическиесистемыÒåõíîëîãèè è èíñòðóìåíòàëüíûå ñðåäñòâà êîðïîðàöèè Oracle

Bâåäåíèå 2

Àðõèòåêòóðà è òåõíîëîãèÿ ôóíêöèîíèðîâàíèÿ 3

Îáùèå ñâåäåíèÿ 3

Èçâëå÷åíèå, ïðåîáðàçîâàíèå è çàãðóçêà äàííûõ 3

Õðàíåíèå äàííûõ 4

Àíàëèç äàííûõ 4

Èíñòðóìåíòàëüíûå ñðåäñòâà 5

Ïðîäóêòû Oracle äëÿ õðàíèëèù äàííûõ è àíàëèòè÷åñêèõ ñèñòåì 5

Oracle Database äëÿ ðåàëèçàöèè õðàíèëèùà äàííûõ 6

Ñáîð äàííûõ èç ðàçíîðîäíûõ èñòî÷íèêîâ 7

Oracle Warehouse Builder - èíñòðóìåíòàëüíàÿñðåäà ñîçäàíèÿ õðàíèëèùà äàííûõ 9

Áèçíåñ-àíàëèç äàííûõ 10

Oracle Business Intelligence Standard Edition 10

Èíòåãðèðîâàííàÿ ñðåäà Oracle BusinessIntelligence Suite Enterprise Edition 13

Ìåòîäîëîãèÿ ñîçäàíèÿ õðàíèëèù äàííûõ 14

Çàêëþ÷åíèå 16

2

Bâåäåíèå

К настоящему времени во многих организациях накопле-ны колоссальные объемы данных, на основе которых мож-но решать самые разнообразные аналитические и управ-ленческие задачи в любой сфере деятельности. Проблемыхранения и обработки аналитической информации стано-вятся все более актуальными и привлекают внимание спе-циалистов и фирм, работающих в области информацион-ных технологий.

В идеале работа аналитиков и руководителей различныхуровней должна быть организована так, чтобы они могли

– иметь доступ ко всей интересующей их информации

– пользоваться удобными и простыми средствами пред-ставления и работы с этой информацией.

Именно на достижение этих целей и направлены инфор-мационные технологии, объединяющиеся под общим на-званием хранилища данных и бизнес-анализа.

Для предоставления необходимой для принятия решенийинформации обычно приходится собирать данные из не-скольких транзакционных баз данных различной структу-ры и содержания. Основная проблема при этом состоитв несогласованности и противоречивости этих баз-источ-ников, отсутствии единого логического взгляда на корпо-ративные данные. Решением этой проблемы является хра-нилище данных. В основе концепции хранилищ данныхлежит важная идея интеграции ранее разъединенных дета-лизированных данных, содержащихся в исторических ар-хивах, накапливаемых в традиционных системах транзак-ционной обработки, поступающих из внешних источни-ков, в единую базу данных, их предварительное согласова-ние и, возможно, агрегация.

Автор концепции хранилищ данных (Data Warehouse) яв-ляется Б.Инмон, который определил хранилища данных,как: «предметно ориентированные, интегрированные, не-изменчивые, поддерживающие хронологию наборы дан-ных, организованные для целей поддержки управления»,призванные выступать в роли «единого и единственногоисточника истины», обеспечивающего руководителейи аналитиков достоверной информацией, необходимойдля оперативного анализа и принятия решений.

Кроме возможности работать с единым источником ин-формации, руководители и аналитики должны иметь удоб-ные средства визуализации данных, агрегирования, поискатенденций, прогнозирования. Несмотря на многообразиеаналитической деятельности можно выделить типовыетехнологии анализа данных, каждой из которых соответст-вует определенный набор инструментальных средств. Вме-сте с хранилищем данных эти средства обеспечивают пол-ное решение для автоматизации аналитической деятельно-сти и создания корпоративной информационно-аналити-ческой системы.

Направление хранилищ данных и аналитических системуже несколько лет является для Oracle одним из самых при-оритетных. Ориентируясь на общепринятые стандартыв этой области, Oracle предлагает новые решения и техно-логии для построения эффективных информационно-ана-литических систем.

Полномасштабная информационно-аналитическая систе-ма должна выполнять сложные и разнообразные функции,включающие сбор данных из различных источников, ихсогласование, преобразование и загрузку в хранилище,хранение аналитической информации, регламентную от-четность, поддержку произвольных запросов, многомер-ный анализ и др. Обычно для выполнения этих функцийиспользуются различные продукты, что приводит к услож-ненной архитектуре системы, необходимости интегриро-вать разнородные инструментальные среды, дополнитель-ным затратам на администрирование, проблемам согласо-вания данных и метаданных на различных серверах.

Для решения этих проблем корпорация Oracle предлагаетновый подход к созданию аналитических систем – единуюи функционально полную платформу для решения всех пе-речисленных задач. Основой решения является система уп-равления базами данных Oracle Database, с помощью кото-рой можно не только надежно хранить огромные объемыаналитической информации, но и эффективно выполнятьпроцедуры извлечения данных из разнородных источни-ков, согласовывать, агрегировать и преобразовывать этиданные в аналитическую информацию, загружать ее в хра-нилище. Кроме того, средствами этого же продукта поддер-живаются различные методы анализа данных, вклю-чающие многомерный анализ, прогнозирование, автома-тический поиск закономерностей.

3

Àðõèòåêòóðà è òåõíîëîãèÿôóíêöèîíèðîâàíèÿ

Îáøèå ñâåäåíèÿ

В настоящее время существуют фактические стандартыпостроения корпоративных информационно-аналити-ческих систем, основанных на концепции хранилища.Эти стандарты опираются на современные исследова-ния и общемировую практику создания хранилищ дан-ных и аналитических систем.

В общем виде архитектура корпоративной информаци-онно-аналитической системы описывается схемойс тремя выделенными слоями (рис.1):

– Извлечение, преобразование и загрузка данных

– Хранение данных

– Анализ данных (рабочие места пользователей)

Технология функционирования системы состоитв следующем. Данные поступают из различных внут-ренних транзакционных систем, от подчиненныхструктур, от внешних организаций в соответствии с ус-тановленным регламентом, формами и макетами от-четности. Вся эта информация проверяется, согласует-ся, преобразуется и помещается в хранилище и витри-ны данных. После этого пользователи с помощью спе-циализированных инструментальных средств получа-ют необходимую им информацию для построенияразличных табличных и графических представлений,прогнозирования, моделирования и выполнения дру-гих аналитических задач.

Рассмотрим подробнее каждый из слоев.

Èçâëå÷åíèå, ïðåîáðàçîâàíèå è çàãðóçêà äàííûõ

В качестве источников информации для хранилища мо-гут использоваться базы данных внутренних транзакци-онных систем, информационные системы подчинен-ных организаций, данные, поступающие из внешних ор-ганизаций.

С организационной точки зрения, данный слой включа-ет подразделения и структуры организации всех уров-ней, поддерживающие базы данных оперативного досту-па. Он представляет собой низовой уровень генерацииинформации, уровень внутренних и внешних информа-ционных источников, вырабатывающих “сырую” ин-формацию. Эта информация является рабочей для по-вседневной деятельности различных подразделений, ко-торые ее вырабатывают и используют.

С системно-технической точки зрения данный слойпредставлен ЛВС всех подразделений всех уровней, к ко-торым подключены специализированные техническиекомплексы, хранящие информацию. В качестве такихтехнических комплексов могут выступать, во-первых,серверы реляционных (SQL-ориентированных) баз дан-ных на базе компьютеров под управлением Windows NT,Unix и др. Во-вторых, это могут быть файловые серверы,на которых установлена какая-либо система обработкиданных (например, Btrieve) или сетевая версия СУБДкласса персональных (например, Paradox, FoxPRO и т.д.).В-третьих, это могут быть персональные компьютерыс локальными персональными базами данных или фай-лами.

Из источников данных информация перемещается наоснове некоторого регламента в централизованное хра-нилище. Как правило, необходимые для хранилища дан-ные не хранятся в окончательном виде ни в одной из

транзакционных систем. Эти данные обычно можно по-лучить из исходных баз данных путем специальных пре-образований, вычислений и агрегирования.

Кроме того, несмотря на различную функциональнуюнаправленность исходные транзакционные системы ча-сто «пересекаются» по данным, т.е. их локальные базыданных содержат однотипную по смыслу информацию.Это прежде всего касается нормативно-справочной ин-формации, которая используется в том или ином видев любой оперативной системе. При этом существенно,что одинаковые по смыслу данные обычно имеют в раз-ных системах различный формат, вид представления,идентификацию, единицы измерения и т.п. Перед загруз-кой в хранилище вся эта информация должна быть сог-ласована, чтобы обеспечить целостность и непротиво-речивость аналитических данных.

Согласование данных необходимо и при загрузке дан-ных из одного источника. Дело в том, что в хранилищехранятся исторические данные, т.е. данные за достаточ-но большой промежуток времени. В оперативной систе-ме данные хранятся в целостном виде за ограниченныйпромежуток, после чего они отправляются в архив.При изменениях в структуре или собственно данных ар-хивы не подвергаются никакой дополнительной обра-ботке, а хранятся в исходном виде. Следовательно,при необходимости иметь данные за достаточно боль-шой период времени необходимо согласовывать архив-ную информацию с текущей.

Рис.1 Архитектура корпоративной информационно-аналитической системы

4

Таким образом, загрузка данных из источников в храни-лище осуществляется специальными процедурами, поз-воляющими

– извлекать данные из различных баз данных, тексто-вых файлов;

– выполнять различные типы согласования и очисткиданных;

– преобразовывать данные при перемещении их от ис-точников к хранилищу;

– загружать согласованные и «очищенные» данныев структуры хранилища

Для разработки, поддержки и выполнения таких проце-дур рекомендуется использовать специализированныйинструментарий, предназначенный для автоматизациипроцессов извлечения данных их источников, их преоб-разования и загрузки в целевое хранилище. Такой инст-рументарий должен обеспечивать автоматическое фор-мирование процедур загрузки на основе декларативнойинформации об источниках, правилах согласованияи преобразования. Вся эта информация вводится адми-нистратором перемещения данных и хранится в видеметаданных в репозитории системы.

Извлечение, преобразование и загрузка данных должнаосуществляться как непосредственно вызовом соответ-ствующих процедур, так и в автоматическом режиме,на основе скриптов и расписаний, составленных на эта-пе разработки системы.

Õðàíåíèå äàííûõ

Второй слой предназначен непосредственно для хране-ния значимой, проверенной, согласованной, непротиво-речивой и хронологически целостной информации, ко-торую с достаточно высокой степенью уверенностиможно считать достоверной.

Собственно хранилище данных не ориентированно нарешение какой-либо определенной функциональнойаналитической задачи. Цель хранилища – обеспечитьцелостность и поддерживать хронологию всевозмож-ных корпоративных данных, и с этой точки зрения ононейтрально по отношению к приложениям. В связис этим в большинстве случаев для выполнения опреде-ленного комплекса функционально замкнутых аналити-ческих задач рационально создавать витрины данных,в основе которых может быть как многомерная, так и ре-ляционная модель данных. По существу витрина пред-ставляет собой относительно небольшое, но что самоеважное, функционально-ориентированное хранилище,в котором информация хранится специальным образом,оптимизированным с точки зрения решения конкрет-ных аналитических задач некоторого подразделенияили группы аналитиков.

Обычно информация попадает в витрины из хранилищаи в этом случае витрины называются зависимыми. Воз-можна также ситуация, когда источником информациидля пополнения витрин служат непосредственно опера-тивные и внешние транзакционные системы. Такие вит-рины, получившие название независимых, как правило,рассматриваются как временное решение, позволяющеедостаточно быстро и с небольшими затратами решитьнаиболее важные задачи, оценить преимущества новогоподхода, сформулировать некоторые рекомендации дляболее масштабного проекта разработки общего храни-лища.Хранилище реализуется в виде реляционной базы дан-ных, работающей под управлением достаточно мощнойреляционной СУБД. Такая СУБД должна поддерживатьэффективную работу с терабайтными объемами инфор-мации, иметь развитые средства ограничения доступа,обеспечивать повышенный уровень надежности и сек-ретности, соответствовать необходимым требованиямпо восстановлению и архивации и т.п.. Витрины данных могут строиться на основе как реляци-онной, так и многомерной технологии баз данных.Обычно для достаточно большой части аналитическихприложений оказывается удобной и эффективной техно-логия интерактивного многомерного анализа и в этомслучае витрина представляет собой многомерную базуданных, реализованную в архитектуре OLAP, ROLAP илиHOLAP.

Àíàëèç äàííûõ

Для организации доступа аналитиков к данным хранили-ща и витрин используются специализированные рабо-чие места, поддерживающие необходимые технологиикак оперативного, так и долговременного анализа. Ре-зультаты работы аналитиков оформляются в виде отче-тов, графиков, рекомендаций и сохраняются как на ло-кальном компьютере, так и в общедоступном узле локаль-ной сети.Аналитическая деятельность в рамках корпорации доста-точно разнообразна и определяется характером решае-мых задач, организационными особенностями компа-нии, уровнем и степенью подготовленности аналитиков.В связи с этим современный подход к инструментальнымсредствам анализа не ограничивается использованиемкакой-то одной технологи. В настоящее время приняторазличать четыре основных вида аналитической деятель-ности (рис. 1): стандартная отчетность, нерегламентиро-ванные запросы, многомерный анализ (OLAP) и извлече-ние знаний (data mining)Каждая из этих технологий имеет свои особенности, оп-ределенный набор типовых задач и должна поддержи-ваться специализированной инструментальной средой.

5

Èíñòðóìåíòàëüíûå ñðåäñòâà

Ïðîäóêòû Oracle äëÿ õðàíèëèù äàííûõ è àíàëèòè÷å-ñêèõ ñèñòåì

Инструментальные средства корпорации Oracle обес-печивают полное интегрированное решение для соз-дания хранилищ данных и эффективного использова-ния накопленной в нем информации.

Общий перечень продуктов Oracle, необходимых дляреализации технологии хранилищ данных и аналити-ческих приложений, приводится в таблице 1 в соответ-ствии с выделенными в предыдущем разделе компо-

нентами – извлечение и загрузка данных, хранение,анализ (рис.2).

В качестве среды хранения информации в реляцион-ных хранилищах и витринах данных используетсясервер Oracle Database. Центральным инструменталь-ным средством создания хранилищ и витрин являетсяOracle Warehouse Builder, построенный на базе совре-менной архитектуры Common Warehouse Metadata. Онпредназначен для описания структуры хранилищаи витрин, проектирования и создания процедур извле-чения, согласования и загрузки данных, а также гене-рации метаданных для средств доступа, например та-ких, как Discoverer.

Таблица 1

6

Проектировать хранилище можно и с помощью стан-дартного инструмента Oracle Designer, а затем автома-тически перенести описание проекта в репозиторийметаданных Oracle Warehouse Builder.

Средства анализа данных охватывают весь спектр ана-литических задач и поставляются в виде двух редакцийOracle Business Intelligence Standard Edition и OracleBusiness Intelligence Enterprise Edition. Стандартная ре-дакция ориентирована на небольшие и средние орга-низации. В этом случае для стандартной отчетности ис-пользуется Reports, для генерации нерегламентирован-ных отчетов и запросов — Discoverer, для сложногомногомерного анализа — Discoverer OLAP, SpreadsheetAdd-In, BI Beans и Jdeveloper, а для задач “извлечениязнаний”— Oracle Data Mining. Для крупных корпоратив-ных систем используется Oracle Business IntelligenceSuite Enterprise Edition – интегрированная платформадля бизнес-анализа, включающая, кроме стандартныхсредств отчетности и нерегламентированных запросов,инструменты построения интерактивных информаци-онных панелей, решения для анализа данных в офлайнрежиме, средства уведомления и алертов в реальном ре-жиме времени и др. Кроме того, существуют готовыеприложения для решения специализированных за-дач — Enterprise Planning and Budgeting (бюджетирова-ние и планирование), Balanced Scorecard (сбалансиро-ванная система показателей). Demand Planning, ValueBased Management и другие.

Важнейшей чертой аналитических инструментальныхсредств и приложений Oracle является их готовностьк работе в среде Internet. Менеджеры и аналитики, гдебы они ни находились, могут получать информацию изхранилищ и витрин данных в защищенной Интранет-архитектуре с помощью сервера приложений OracleApplication Server.

Oracle Database äëÿ ðåàëèçàöèè õðàíèëèùà äàííûõ

Основой хранения аналитической информации явля-ется хранилище данных, которое представляет собойбазу данных, содержащую достоверную согласованнуюинформацию, предназначенную для решения разнооб-разных аналитических задач. С точки зрения СУБД,под управлением которой работает хранилище дан-ных, наиболее существенным является тот факт, что

Рис.2 Инструментальные средства Oracle для построе-ния хранилищ данных и аналитических систем

7

режимы функционирования базы данных для аналити-ческих задач коренным образом отличаются от ситуа-ции в обычных системах транзакционной обработки.Они требуют специальных настроек параметров, ме-тодов индексирования и обработки запросов.

СУБД Oracle предоставляет широкий спектр средств,направленных на работу базы в режиме хранилищи витрин данных. К их числу относятся параллельнаяобработка запросов, позволяющая наиболее полно ис-пользовать возможности многопроцессорных аппа-ратных платформ, эффективные битовые (bitmap) ин-дексы и специализированные алгоритмы выполнениязапросов, которые многократно повышают произво-дительность обработки аналитических запросов, сек-ционирование данных (partitioning), облегчающее уп-равление и значительно ускоряющее обработку оченьбольших таблиц и индексов и многое другое.

Битовые индексы. Использование битовых индексов(Bitmap Index) позволяет резко ускорить выполнениеопределенных типов запросов, характерных для ана-литических приложений. В случае если разброс значе-ний какого-либо параметра или группы параметровнебольшой (например: пол - мужской/женский; се-мейное положение – женат (замужем)/разведен(а)/вдов(а)ец, тип клиента – физ. лицо/юр. лицо и т.д.)возможно создать битовые индексы, которые позволя-ют очень быстро производить выборку по такого родапараметрам, так как значения хранятся в виде битовойкарты и сравнение в запросе происходит на уровне ко-манд процессора сервера.

Параллельное выполнение. Параллельное выпол-нение (Parallel Execution) позволяет значительно уско-рить выполнение длительных операций, которые час-то встречаются при построении и использовании хра-нилищ данных и аналитических систем. СУБД Oracleпозволяет распараллелить такие операции, как выпол-нение запросов к очень большим таблицам, связкамтаблиц, создание больших индексов, материализован-ных представлений, вставку и изменение записейв больших таблицах при загрузке данных в хранилище.Параллельное выполнение позволяет полнее раскрытьпреимущества многопроцессорных систем и класте-ров.

Секционирование. Вместе с параллельным выполне-нием еще одним механизмом увеличения производи-тельности больших хранилищ данных и аналитиче-ских систем является секционирование (Partitioning).Этот механизм позволяет физически разбивать табли-цы на «горизонтальные» части или секции по логиче-скому условию, например, по дате или по значениямкаких-либо других полей. При этом логически таблицаостается единой, но на физическом уровне с каждойтакой секцией система работает независимо. Это поз-воляет автоматически заменять запросы к большой ис-ходной таблице запросами к отдельным ее секциям и,таким образом, уменьшить время обработки запросов.

Материализованные представления. Запросы ана-литиков обычно бывают достаточно сложными, содер-жат большое количество связей между таблицами, аг-регирующие выражения и т.п., что при больших объе-мах таблиц хранилища приводит к неприемлемымвременным затратам на получение результатов. Мате-риализованные представления позволяют хранитьв явном виде результаты часто встречающихся запро-сов и не выполнять их заново каждый раз, а использо-вать готовый результат. Материализованные представ-ления напоминают обычные представления (view),

но, в отличие от них, в базе данных хранится не толькотекст запроса, но и результат его выполнения в виде не-которой промежуточной таблицы. Данные в исходныхтаблицах, участвующих в запросе, могут изменятьсяи в этом случае необходимо обновлять и промежуточ-ную таблицу. Существенно, что эта синхронизация ма-териализованного представления с исходными табли-цами выполняется системой автоматически в соответ-ствии с определенным регламентом, задаваемым раз-работчиком. Может оказаться , что запрос пользователяне хранится непосредственно в виде материализован-ного представления, но выполнить его гораздо быстреене на исходных таблицах, а используя некоторое суще-ствующее материализованное представление. Напри-мер, если исходная таблица содержит обороты за каж-дый день и создано материализованное представле-ние, содержащее обороты по месяцам, то было бы ра-зумно использовать его, а не исходную таблицу привычислении оборотов за каждый квартал. Такое «пере-писывание» запросов производится также автоматиче-ски, что освобождает разработчика от необходимостизнать о всех промежуточных результатах, которые мо-гут оказаться полезными при оптимизации запросов,и работать непосредственно с исходными таблицами.

Управление суммарными данными. Одним из важ-нейших усовершенствований в области оптимизациивыполнения аналитических запросов является техно-логия управления суммарными данными на основе ма-териализованных представлений (materialized views).Анализируя статистику работы системы, СУБД реко-мендует администратору необходимые агрегаты, авто-матически их создает и периодически обновляет. За-тем при выполнении запросов с агрегированием сис-тема автоматически переписывает их таким образом,чтобы они обращались к суммарным данным, храня-щимся в материализованных представлениях. Такойподход резко, иногда на несколько порядков, повыша-ет производительность хранилища данных для конеч-ных пользователей.

Аналитические функции. Для облегчения програм-мирования сложных аналитических запросов в SQLOracle встроено большое количество аналитическихфункций. Это такие функции, как функции ранжирова-ния, вычисления лагов, линейной регрессии, вычисле-ния скользящих, и многие другие. Аналитическиефункции призваны облегчить программированиеи уменьшить нагрузку на клиентские приложения. Сле-дует отметить, что существует возможность создаватьсвои сложные агрегирующие функции, в том числе нетолько на языке PL/SQL.

В состав Oracle Database входит Enterprise Manager —мощное графическое средство, специально разрабо-танное для эффективного администрирования. С егопомощью можно управлять всеми объектами базы дан-ных и автоматизировать основные административныезадачи.

Ñáîð äàííûõ èç ðàçíîðîäíûõ èñòî÷íèêîâ

Задачи извлечения данных из разных источников, ихсогласования, проверки, агрегирования и выполнениядругих преобразований обычно решаются с использо-ванием специальных инструментальных средств, объ-единяемых под общим названием ETL-средства. Какправило, такое средство предоставляет возможностьвизуального проектирования процессов сбора и пре-образования данных с помощью специальных графи-ческих редакторов, сохраняет эти спецификации в ре-позитории и затем выполняет их на специально выде-ленном сервере преобразования и загрузки.

8

В отличие от этого, основной принцип Oracle в отно-шении ETL-технологии – максимально использоватьвозможности сервера Oracle Database для выполненияETL-процедур. Это позволяет избежать проблем с инте-грацией различных средств и повысить производи-тельность преобразования и загрузки данных в храни-лище. Для реализации этого подхода стандартныесредства СУБД Oracle расширены дополнительнымикомандами и механизмами, полезными для задач из-влечения, преобразования и потоковой загрузки дан-ных и повышающими эффективность их реализации.К таким средствам относятся внешние таблицы, таб-личные функции, одновременный ввод и корректи-ровка данных, ввод данных в несколько таблиц и др.

Внешние таблицы. Для облегчения работы с внеш-ними источниками данных при загрузке в хранилищеможно воспользоваться механизмом внешних таблиц,представляющих собой виртуальные таблицы, кото-рые воспринимаются внутри СУБД как таблицы Oracle,но физически являются таблицами в других СУБД илив текстовых файлах. Встроенные механизмы позволя-ют очень эффективно работать с внешними таблица-ми и достичь значительного увеличения производи-тельности при загрузке данных.

Табличные функции. Табличными называются та-кие функции, которые возвращают не отдельное зна-чение, а множество строк таблицы. При выборке дан-ных c такой функцией можно обращаться как с обыч-ной таблицей, т.е. использовать в операторе SELECT.С этой точки зрения она подобна представлению(view), поскольку результирующие данные также нехранятся, а вычисляются динамически во время запро-са в соответствии с некоторым описанием. Но если дляпредставления такое описание всегда ограничено не-которым SELECT-оператором, то в табличной функцииформирование данных может задаваться любым алго-ритмом. Использование табличных функций присложных согласованиях и преобразованиях данныхпозволяет обходиться без многократного сохраненияпромежуточных результатов и тем самым существенносократить время обработки данных перед загрузкойв хранилище.

Одновременное обновление и вставка данных.Процесс загрузки данных в хранилище часто включаеткак добавление новой информации, так и корректи-ровку уже существующей. Например, в случае обнов-ления информации о клиентах необходимо для ужесуществующего клиента произвести обновление соот-ветствующей записи таблицы, а если такого клиентанет, – то вставку новой записи. Обычно это осуществ-ляется двумя отдельными операциями – с помощьюкоманды INSERT производятся все добавления новыхданных, а для корректировки существующей информа-ции выполняется UPDATE. В Oracle имеется возмож-ность совместить эти действия с помощью командыMERGE, которая выполняет одновременно и обновле-ние и вставку на уровне сервера, что, естественно, по-вышает производительность загрузки.

Одновременная вставка в несколько таблиц. Ещеодно полезное средство Oracle для потоковой загрузкиданных – одновременная вставка в несколько таблиц.В ряде случаев при загрузке таблицы в хранилище еесодержимое необходимо «разбросать» по несколькимтаблицам. Так, например, при загрузке данных о клиен-те может оказаться, что информация обо всех физиче-ских лицах должна помещаться в одну таблицу храни-лища, а о юридических лицах в другую. Стандартнымисредствами реляционных СУБД это приходится делатьв несколько проходов, что в случае больших таблиц за-нимает значительное время. В Oracle Database с помо-щью команды INSERT ALL за один проход по таблице-источнику можно выполнить вставку одновременнов несколько целевых таблиц.

При построении корпоративной информационно-ана-литической системы в организациях со сложной много-уровневой филиальной структурой и большим числомтерриториально распределенных подразделений, не все-гда связанных единой локальной сетью, возникает проб-лема организации процессов сбора информации от раз-личных подразделений в соответствии с существующимирегламентами и техническими требованиями. В этом слу-чае, кроме собственно процессов ETL, требуются допол-нительные средства и решения, обеспечивающие эффек-тивную реализацию собственно процессов передачиданных между узлами распределенной структуры, пред-

9

варительного контроля данных, модификации входныхформ и т.п. В качестве такого решения можно использо-вать систему сбора данных, разработанную на основепродуктов Oracle компанией Leaves, являющейся серти-фицированным партнером корпорации Oracle.

Oracle Warehouse Builder - èíñòðóìåíòàëüíàÿ ñðåäàñîçäàíèÿ õðàíèëèùà äàííûõ

Oracle Warehouse Builder (OWB) — это многофункцио-нальная расширяемая CASE-среда для разработкии развертывания корпоративных хранилищ и витринданных. Построенный на базе открытой архитектурыCommon Warehouse Metamodel (CWM), OWB – интег-рированное средство, позволяющее решать различныезадачи, не прибегая к помощи нескольких узкоспециа-лизированных продуктов. К этим задачам относятсяпроектирование, создание и администрирование хра-нилища данных, разработка и генерация процедур из-влечения, преобразования и загрузки данных из раз-личных источников, управление метаданными и инте-грация инструментальных средств доступа.

Warehouse Builder использует все новые возможностиСУБД Oracle Database, связанные с технологиями храни-лищ данных, такие как материализованные представле-ния, объекты типа “измерение” (“dimension”) и т.д. При ре-шении задач администрирования и управления процесса-ми загрузки данных в хранилище Warehouse Builder опи-рается на Oracle Enterprise Manager и Oracle Workflow, ин-тегрированные с базой данных Oracle Database.Реализованный на Java и изобилующий Мастерами(Wizards) пользовательский интерфейс WarehouseBuilder существенно облегчает создание, развертыва-ние и поддержку Хранилища Данных. Продукт позво-ляет визуально моделировать схему Хранилища либоимпортировать метаданные из репозитория OracleDesigner. Разработчик может визуально определятьотображения между источниками данных и Хранили-щем, и Warehouse Builder затем автоматически генери-рует на их основе модули загрузки (в виде процедурPL/SQL или скриптов SQL*Loader). Продукт имеетвстроенную библиотеку функций преобразования дан-ных, которую при необходимости можно расширятьсобственными процедурами на PL/SQL. Источниками данных для OWB, помимо СУБД Oracleразличных версий, могут быть плоские файлы, СУБД

других производителей (доступ через шлюзы и ODBC),а также приложения ERP (Oracle E-Business Suite, SAPR/3 и др.). Открытая архитектура Common Warehouse Metadataпозволяет интегрировать метаданные WarehouseBuilder и инструментов доступа к информации —Discoverer и OLAP Option. С помощью специальногоМастера можно перенести бизнес-описания из репози-тория Warehouse Builder в соответствующие слои мета-данных средств анализа. Благодаря этому резко снижа-ются затраты на организацию доступа конечных поль-зователей к данным Хранилища и обеспечивается це-лостность метаинформации.В качестве инструментальной среды для выполнениявсех задач по проектированию хранилища можно до-полнительно использовать продукт Oracle Designer.. Центральным компонентом Oracle Designer являетсярепозиторий – специальная база данных, в которойхранится вся метаинформация о структуре и объектаххранилища. Различные “клиентские” средства, входя-щие в состав инструментальной среды, обеспечиваютдоступ к репозитарию и ориентированы на выполне-ние различных задач, возникающих в процессе проек-тирования.

Для изучения и анализа баз данных источников ис-пользуется процедура реинжениринга (обратногопроектирования), которая автоматически восстанав-ливает в репозитории всю метаинформацию о схемеи объектах любого источника данных. Для работы с по-лученными спецификациями, выделения интересую-щего подмножества таблиц и представлений, служитдиаграммер схемы базы данных.

Это средство включает в себя удобный графическийредактор для отображения в виде диаграмм структурданных, позволяет вводить в репозиторий дополни-тельную информацию о семантике и особенностяхтаблиц, столбцов и других объектов.

На основе результатов анализа данных источникови информационных потребностей пользователей про-ектируется хранилище данных. Эту задачу во многомоблегчают удобные средства визуального проектиро-вания, входящие в состав диаграммера схем баз дан-ных, широкий спектр тестов на полноту и согласован-ность разрабатываемой схемы, автоматическая генера-ция разнообразной документации и т.п.

Важной особенностью этапа, связанного с созданиемсхемы данных хранилища, является использованиеспециальной техники проектирования, так называе-мых схем типа звезда или снежинка. Каждая такая схе-ма состоит из выделенной главной таблицы (таблицафактов), содержащей значения одного или несколькихпоказателей, и нескольких небольших по числу строктаблиц-справочников, на которые ссылаются строкитаблицы фактов.

Для каждой таблицы в репозитарии хранится многоразличной метаинформации. Здесь можно указать раз-личные тонкости хранения таблицы, задать характери-стики столбцов, причем перечень этих характеристикшире, чем то, что может быть включено в соответству-ющую программу создания базы данных. Примеромслужит поддержка аппарата доменов или пользова-тельских типов данных. Для таблиц указываются такжеограничения целостности.Важной особенностью средств проектирования OracleDesigner, которая выгодно отличает его от подобных про-дуктов других фирм, является возможность специфици-ровать в репозитории не только стандартные объекты ло-гического уровня – таблицы и представления, но и раз-личные специальные объекты как логического, так и фи-

Рис. 3. Редактор отображений Oracle Warehouse Builder

10

зического уровня. Например, при проектировании хра-нилища можно заранее предусмотреть различные струк-туры оптимизации – индексы, кластеры и т.п., определитьхарактеристики табличных пространств. Из объектов ло-гического уровня полезными являются спецификациипользователей и групп пользователей. После того, как основная работа по проектированию хра-нилища завершилась, с помощью специальной утилитыгенерируется программа создания структуры хранили-ща. Программы хорошо структурированы: каждому типуобъектов отводится свой файл, при этом перед запускомпроцедуры можно уточнить, какие именно объекты дан-ного типа должны быть созданы.Инструментальные средства Oracle Designer помогают нетолько создавать хранилища данных. С их помощью впо-следствии можно поддерживать и развивать хранилище,корректировать метаинформацию о старых объектах,вводить новые. Для выполнения этих задач в состав OracleDesigner входит целый ряд специальных утилити средств, начиная с генерации многочисленных отче-тов, обеспечивающих точную техническую документа-цию, и кончая утилитами, сравнивающими реальныеобъекты хранилища с их метаописанием. В результатеэтого сравнения можно сгенерировать программу, осу-ществляющую реструктуризацию хранилища и приведе-ние реальных объектов к их метаописанию.

Áèçíåñ-àíàëèç äàííûõ

Для реализации различных методов анализа данных ис-пользуется продукт Oracle Business Intelligence, включаю-щий широкий спектр различных инструментальныхсредств для отчетности, нерегламентированных запро-сов, многомерного анализа, построения и использованияинтерактивных информационных панелей, поддержкирежима off-line и др. Этот пакет поставляется в несколь-ких редакциях редакциях – Oracle Business IntelligenceStandard Edition One, Oracle Business Intelligence StandardEdition, Oracle Business Intelligence Suite Enterprise Edition.

Oracle Business Intelligence Standard Edition

Стандартная редакция Oracle Business Intelligence пред-ставляет собой интегрированный пакет различныхсредств анализа данных, основанных на единых стандар-тах представления и использования данных и использу-ющих возможности СУБД Oracle для повышения произ-водительности аналитической обработки.

Стандартная отчетность и Oracle Reports Oracle Reports — это инструмент создания и публикациистандартных форматированных отчетов, который поз-воляет реализовать технологию регламентированной от-четности в масштабах предприятия. Отчеты OracleReports могут иметь сложную структуру, содержать ре-зультаты нескольких запросов, автоматически формиро-вать итоги и подитоги, а также включать в себя разнооб-разную графическую и ссылочную информацию. Какправило, такие отчеты готовятся квалифицированнымиспециалистами и впоследствии выполняются конечнымипользователями.Встроенные в Oracle Reports Мастера помогают новичками существенно ускоряют создание отчетов. “Живой”предварительный просмотр дает возможность оцениватьполученный результат и делать необходимые изменения.Масштабируемая многоуровневая архитектура OracleReports идеально подходит для оптимизации нагрузкипри обработке большого количества запросов. Установивсервер отчетов Reports Server на мощном центральномкомпьютере, можно повысить общую производитель-ность и освободить ресурсы клиентских рабочих стан-ций. Отчеты могут выполняться по расписанию в перио-ды низкой загрузки (например, в ночное время), послечего конечные пользователи в любой момент могут про-смотреть полученные результаты.

Oracle Reports позволяет легко распространять информа-цию по организации, используя Web-архитектуру. Ис-пользуя Мастер для Web, можно за несколько секунд сде-лать любой отчет доступным в корпоративной сети Инт-ранет. Для вызова таких динамических отчетов и просмо-тра результатов в формате PDF, HTML или XML пользова-телям потребуется только браузер Web.Reports Developer предоставляет коллективу разработчи-ков среду, в которой можно получить и обработать дан-ные, спроектировать внешний вид отчетных документов.Визуальное проектирование и генерация отчетов могутвестись на разных программных платформах. Пользова-тели получают результат работы Reports либо в печатномвиде, либо в виде электронных файлов стандартногоформата HTML, PDF, RTF или XML, доставленных по элек-тронной почте или записанных на файл-сервер. В опера-тивном режиме доступ пользователей к отчетам можетбыть организован через Web во внутренней или внешнейсети. В этом случае достаточно обычного навигатора,чтобы получить готовый или сгенерированный “на лету”отчет. Отчеты также могут формироваться при возникно-вении какого-либо, заранее определенного события, на-пример, поступление новой информации в базу данных.Reports применяет технологию JSP (Java Server Pages) дляпредставления информации в удобном для пользовате-лей виде. Ссылку на созданный отчет можно разместитьна любой Web-странице. Важно отметить, что ReportsDeveloper не требует от разработчиков применения не-скольких подходов для проектирования отчетов, выпол-няемых в различных средах. Единожды созданный отчетбудет выполняться на большинстве платформ, а его вы-ходная форма представлена в разных форматах - от тек-стовых файлов до динамических Web-страниц. Если не-сколько пользователей запрашивают одни и те же данныепрактически одновременно, то отчеты не создаются прикаждом обращении снова. Пользователям выдается ко-пия первого отчета из буфера на сервере приложений.В соответствии с традициями средств разработки Oracle,Reports Developer тесно интегрирован с Oracle Database,использует одинаковые с ним языки разработки. В тожевремя, Reports позволяет получать данные из сервера ана-литической обработки данных Express Server, a также издругих информационных источников – из плоских фай-лов или через стандартные интерфейсы (ODBC и JDBC).Произвольные запросы с помощьюOracle Discoverer Oracle Discoverer — это инструмент для получения произ-вольных отчетов, формирования нерегламентированныхзапросов и анализа данных. Он обеспечивает быстрыйи удобный доступ к информации, содержащейся в реля-ционных Хранилищах и Витринах Данных, а такжев OLTP-системах (в том числе не обязательно реализован-ных на СУБД Oracle).В отличие от Oracle Reports, где конечный пользовательявляется только потребителем информации, в OracleDiscoverer ему предоставлена возможность самостоятель-ного получения необходимых данных. Естественно,для этого нужно скрыть от пользователя внутреннююструктуру Хранилища или Витрины и представить имею-щуюся там информацию в понятных ему бизнес-терми-нах, таких как заказчик, продукт, объем продаж и т.д.Для этого в Discoverer используется семантический слойметаданных — Слой Конечного Пользователя (End UserLayer). Он содержит всю описательную и другую метаин-формацию, необходимую для эффективной работы ко-нечных пользователей. Этот слой может либо создаватьсянепосредственно разработчиком, либо автоматическигенерироваться в Warehouse Builder на основе метадан-ных Хранилища или Витрины.Для повышения производительности в Discoverer реали-зован ряд уникальных технологических возможностей.Среди них — прогнозирование времени выполнения за-

проса до его начала, возможность создания и последую-щего автоматического использования суммарных таб-лиц, интеллектуальный механизм кэширования. Эти тех-нологии обеспечивают приемлемые времена отклика да-же при работе с очень большими хранилищами данных.Существует несколько редакций Oracle Discoverer для раз-ных категорий пользователей. Discoverer Administratorпредназначен для создания и администрирования СлояКонечного Пользователя, а также для определения правдоступа конечных пользователей к информации и функ-циональным возможностям. С помощью встроенных Ма-стеров разработчик может легко создавать объекты мета-данных (категории, иерархии и другие), редактироватьих свойства, управлять суммарными данными и т.д. Мощьи удобство Discoverer Administration Edition обеспечива-ют высочайшую продуктивность разработки.Discoverer Desktop— это генератор интерактивных отче-тов для конечного пользователя, работающих в архитек-туре «клиент-сервер». С помощью этого инструментапользователь может формулировать запросы в терминахбизнес-области. Результаты выполнения запросовоформляются в виде отчетов или графиков, внешний видкоторых определяется также конечным пользователем.Отчеты организуются в рабочие книги, которые могутхраниться как локально в виде файлов, так и в базе дан-ных, что делает результаты анализа доступными для дру-гих сотрудников. Условия — фильтры, итоги и подитоги,вычислимые поля и т.д. — все это конечный пользовательможет определять с помощью встроенных Мастеров. Воз-можности Discoverer Desktop по разнообразной детали-зации данных и получению любых аналитических срезовделают его мощным и удобным инструментом динамиче-ского доступа к хранилищам и витринам данных.Discoverer Plus представляет собой WEB-версию DesktopEdition. Этот продукт функционально совпадаетс Discoverer Desktop, но позволяет конечным пользовате-лям работать, имея на своем компьютере только web-бра-узер. Discoverer Viewer – это функционально ограничен-ная версия Discoverer Plus, ориентированная на тех ко-нечных пользователей, которым достаточно только про-сматривать готовые отчеты и представления информа-ции, созданные средствами Desktop Edition или DiscovererPlus. Discoverer Plus и Discoverer Viewer входят в составInternet Application Server 10g Enterprise Edition.Таким образом, Oracle Discoverer обеспечивает уникаль-ное сочетание простоты использования, производитель-ности и простоты администрирования. Его применениепри небольших затратах дает ощутимый результат — пос-ле быстрого внедрения организация получает немедлен-ную выгоду от упростившегося доступа пользователейк бизнес-информации. Возможность переноса метадан-

11

Рис. 4. Анализ данных в Oracle Discoverer

12

ных из Warehouse Builder сводит к минимуму усилия повнедрению Discoverer над хранилищем данных.Многомерный анализ данных на основеOracle OLAPДля решения аналитических задач, связанных со сложны-ми расчетами, прогнозированием, моделированием сце-нариев “что-если” и т.д., применяется особая технологиямногомерного анализа. Эта технология реализуется спе-циальной компонентой Oracle OLAP, входящей в составСУБД Oracle Database. Опция Oracle OLAP позволяет хра-нить и обрабатывать многомерную информацию на томже сервере баз данных, где находится реляционное хра-нилище. По функциональным возможностям эта опциясравнима с многомерной СУБД Oracle Express и по-суще-ству завершает процесс интеграции технологии OracleExpress c реляционным сервером Oracle Database. Средст-ва OLAP поддерживают в полном объеме основной языксервера Express (сейчас этот язык переименован в DMLи получил ряд функциональных расширений для ис-пользвания возможностей СУБД Oracle), а для существую-щих баз данных Express обеспечивается их миграцияв СУБД Oracle.Основой OLAP технологии является логическая много-мерная модель данных, с помощью которой можно опре-делять и работать с такими понятиями, как измерения, ие-рархии, многомерные показатели и т.п. Все определенияи описания таких многомерных объектов хранятся в ре-позитории OLAP Catalog, представляющем собой специ-ально выделенную схему Oracle. Каждый логический объект в каталоге описывается набо-ром параметров. Например, для измерения указываетсяего имя, атрибуты, определяются возможные иерархии,а при определении куба задается имя, состав показателей,набор измерений, от которых зависят все эти показатели,типы агрегирования и др. Кроме этого для каждого логи-ческого объекта задается ссылка на «физический» объект,содержащий собственно данные. В простейшем случаетакими «физическими» объектами являются столбцыобычных реляционных таблиц. Это соответствует ситуа-ции, когда логическая многомерная модель реализуетсяобычной схемой звезда или снежинка. Предусмотренаи другая возможность хранения многомерных объек-тов – в виде объектов аналитического пространства. Ана-литическое пространство – это многомерная база OracleExpress, хранящаяся внутри базы данных Oracle Databaseв виде LOB-полей (рис. 5). Для работы с описанными в каталоге OLAP многомерны-ми объектами в состав опции OLAP включена компонен-та Oracle9i OLAP API – набор Java-классов, реализующих

все операции по созданию, модификации и манипулиро-ванию многомерными объектами. Этот интерфейс поз-воляет разработчикам на Java создавать различные при-ложения, работающие с многомерной информацией.Для повышения эффективности процесса разработкифирма Oracle предоставляет инструментальную средуJDeveloper, дополненную специальными компонентамиBI Beans. Эти компоненты, оформленные в соответствиисо стандартами технологии Java beans, используют OracleOLAP API для доступа к многомерной информации и по-зволяют легко и удобно разрабатывать приложения лю-бой степени сложности, работающие с многомерной ин-формацией как в архитектуре “клиент-сервер”, таки в среде Internet.

Доступ к многомерной информации можно осуществ-лять не только из Java-приложений, но и из приложений,ориентированных на SQL. Если данные физически нахо-дятся в реляционных таблицах, то с ними можно рабо-тать непосредственно из любого языка, включающегоSQL . В случае аналитического пространства существуетвозможность создать набор реляционных представлений(view), реализующих доступ к объектам аналитическогопространства. Такие представления автоматически гене-рируются с помощью специальных хранимых процедур,использующих объектно-ориентированные возможно-сти СУБД Oracle и технологию табличных функций. Конечные пользователи могут получать динамическийдоступ к многомерным данным, используя в качестве ин-терфейса Microsoft Excel. Компонента Oracle SpreadsheetAdd-In дополняет стандартные возможности этой элек-тронной таблицы, позволяя с помощью простого Масте-ра строить в среде Excel интерактивные многомерные от-четы. Пользователям доступны те же основные манипуля-ции с данными, что и в других инструментах OLAP, — по-лучение различных срезов, детализация и Селектор.Для графического представления данных применяютсясоответствующие возможности Excel.Oracle Data Mining для автоматического поиска за-кономерностей В настоящее время наряду с традиционными средствамианализа данных, такими как регламентная отчетность,выполнение нерегламентированных запросов, широкоиспользуются современные методы углубленного иссле-дования данных, получившие название извлечение зна-ний (data mining).Основная задача технологии извлечения знаний состоитв выявлении в больших наборах данных скрытых законо-мерностей, зависимостей и взаимосвязей, полезных припринятии решений на различных уровнях управления.Такие закономерности представляются в виде моделейРис.5 Основные компоненты опции Oracle OLAP

Рис. 6. Многомерный анализ с помощью Jdeveloperи BI Beans

13

различного типа, позволяющих проводить классифика-цию ситуаций или объектов, прогнозировать их поведе-ние, выявлять группы сходных объектов и т.п. Существен-но, что модели строятся автоматически в процессе анали-за имеющихся данных об объектах, наблюдениях и ситу-ациях с помощью специальных алгоритмов, основанныхна различных математических и статистических методах. В банках и финансовых организациях средства извлече-ния знаний можно использовать для выявления и иссле-дования факторов, влияющих на доходность клиентов,для определения и анализа причин оттока клиентов, сег-ментации базы физических и юридических лиц, прогно-зирования результатов маркетинговой компании попредложению новой услуги и т.п. Для реализации технологии извлечения знаний в составСУБД Oracle Database включена специальная опция OracleData Mining, которая состоит их двух компонент: DataMining Server и Oracle Data Mining API.

Основу компоненты Data Mining Server составляют про-цедуры, реализующие различные алгоритмы построениямоделей. Например, классификационный алгоритм стро-ит на основе имеющейся архивной информации о доход-ности клиентов классифицирующее дерево, позволяю-щее по значениям различных параметров клиента про-гнозировать его доходность. К числу других методов от-носятся алгоритмы кластеризации, выявляющие группы«похожих» объектов, поиск асоциаций, с помощью кото-рых можно определять устойчивые взаимосвязи междуразличными факторами и другие алгоритмы. Ниже в таб-лице приводится список алгоритмов, реализованныхв Oracle Databese 10g. Все они вместе с различными мета-данными, описывающими параметры моделей, особен-ности их тестирования и применения и другие характе-ристики, хранятся в специально выделенной схемеOracle – репозитории Oracle Data Mining.

Важная особенность алгоритмов состоит в том, что всеони работают непосредственно с реляционными базамиданными и не требуют выгрузки и сохранения данныхв специальных форматах. Кроме собственно алгоритмов,в опцию ODM входят средства подготовки данных, оцен-ки результатов, применения моделей к новым наборамданных. Использовать все эти возможности можно как напрограммном уровне с помощью Java API или PL/SQL API,так и с помощью графической среды Oracle Data Miner,ориентированной на работу аналитиков, решающих за-дачи прогнозирования, выявления тенденций, сегмента-ции и др.Èíòåãðèðîâàííàÿ ñðåäà Oracle Business Intelligence SuiteEnterprise Edition

Корпоративная редакция Oracle Business Intelligenceпредставляет собой интегрированную платформу для ре-ализации различных методов анализа данных, основан-ную на передовых технологиях Siebel Analytics. Важнойотличительной особенностью этой редакции являетсявозможность одновременной работы с разнороднымиисточниками данных без необходимости предваритель-ной загрузки их в единое хранилище данных. Это позволяет единым универсальным способом полу-чать отчеты из любых функционирующих в организацииинформационных систем. Наряду с традиционными тех-нологиями анализа, такими как регламентная отчетность,произвольные запросы, инструментальная среда позво-ляет быстро и легко сформировать интерактивные ин-формационные панели, управлять доступом к информа-ционным отчетам, анализировать данные в автономномрежиме, т.е. без связи с информационными источниками,распространять в реальном масштабе времени различ-ные уведомления или алерты о состоянии ключевых по-казателей или выхода некоторого показателя за заданныеграницы, работать с результатами бизнес-анализа с по-мощью популярных средств MS Office, включая MS Excelи MS Word. Все эти возможности реализуются не наборомотдельных продуктов, а единой инструментальной сре-дой с единым репозиторием метаданных и средством ад-министрирования. Вся деятельность по бизнес-анализуданных осуществляется в среде Интернет под управлени-ем специального сервера Business Intelligence Server, ис-пользующего различные механизмы оптимизации дляповышения эффективности и производительности ана-литической обработки.

Рис.7 Инструментальная среда Oracle Data Miner

Рис.8 Информационная панель в среде Oracle BusinessIntelligence Suite EE

14

Ìåòîäîëîãèÿ ñîçäàíèÿ õðàíèëèù äàííûõ

Кроме собственно продуктов, обеспечивающих полноерешение для корпоративной информационно-аналити-ческой системы, корпорация Oracle предлагает ориги-нальную методологию выполнения проекта по созданиюи сопровождению таких систем. Эта методология назы-вается Data Warehouse Method и является частью общегоподхода Oracle к проектированию и реализации различ-ных проектов.

Методология DWM использует подход пошаговой разра-ботки. Достоинством такого подхода является созданиемасштабируемых решений, то есть решений с постепен-ным непротиворечивым наращиванием функциональ-ности.

В основе методологии построения систем, основанныхна концепции хранилищ данных, лежит «двухмерный»подход ко всему проекту: с одной стороны проект разби-вается на процессы или задачи, а с другой – состоит изэтапов выполнения.

С точки зрения времени и последовательности выпол-нения различных задач проект делится на следующиеэтапы:

· Стратегия - определение целей, приоритетов пошаго-вой разработки и инфраструктуры сетевого графика дляпостроения хранилища данных, основанного на страте-гии деловых инициатив клиента. Оценивается организа-ционная структура клиента, критические факторы успе-ха, главные ограничения, риски и показатель стои-мость/прибыль хранилища данных. Кроме этого опреде-ляется техническая архитектура предприятия и архитек-тура хранилища данных. Основными задачами этапаявляются сбор и документирование информации по по-становке задачи, согласование постановки задачи в ми-нимально возможные сроки. Во время этапа стратегиинеобходимо также определить проектные стратегиив таких областях как обучение, конвертация данных, тес-тирование, документация и внедрение системы.

· Постановка задачи - определение области и целейдля оценки затрат на поэтапную разработку. Документи-рование источников данных и определение области ка-чества данных. Создание технической архитектуры и ар-хитектуры хранилища данных для целевого решения.

· Анализ - составление бизнес требований для целевогорешения. Создание логических моделей, сбор подроб-ных требований для используемых источников, данныхи документирование требований конечного пользовате-ля к доступу данных.

· Проектирование - использование информации, по-лученной при анализе для разработки технических тре-бований, удовлетворяющих детализованным требовани-ям. Проверяется удовлетворение и поддержка требова-ний разработкой.

· Реализация - создание компонентов хранилища дан-ных, включая базы данных, модули сбора данных и меха-низмы доступа к данным, а также тестирование конфигу-рации системы.

· Внедрение – установка системного и прикладногопрограммного обеспечения для работы хранилища дан-ных, подготовка персонала клиента для использованияи администрирования хранилища данных, переходк промышленной версии решения.

· Эксплуатация – оценка предшествующего шага дляпланирования следующих поэтапных затрат. Анализоценки требований, которые выявились во время жиз-ненного цикла разработки и оценка использования хра-нилища данных. Проверка плана проекта, которая станетоснованием для следующих действий. Рассмотрение за-дач, которые выполнены и отсутствует необходимостьдля их повторного решения.

С точки зрения выполняемых работ проект разбиваетсяна процессы. Каждый процесс может быть представленкак некоторый подпроект, имеющий определенную цельи состоящий из набора задач и соответствующих каждойзадаче выходных результатов.

15

Рис. 8 Процессы и этапы методологии Oracle Data Warehouse Method

При построении хранилищ данных выделяются следую-щие процессы:

· Определение общих требований

· Сбор данных

· Архитектура системы

· Качество данных

· Администрирование хранилища

· Управление метаданными

· Доступ к данным

· Проектирование и реализация базы данных

· Документирование

· Тестирование

· Обучение

· Передача

· Поддержка

Все указанные выше процессы выполняются на протяже-нии всех этапов (рис.9). Для каждого процесса четко оп-ределена последовательность решаемых задач, предста-влены шаблоны выходных документов и формы предста-вления результатов.

Çàêëþ÷åíèå

Направление Хранилищ Данных и систем бизнес-анали-за является сегодня для Oracle одним из самых приори-тетных. Будучи поставщиком полного технологическогорешения в данной области, Oracle выпускает новые про-дукты и постоянно совершенствует существующие.

Важнейшая характеристика систем поддержки принятиярешений Oracle — комплексность подхода и его реализа-ции. Можно пытаться строить Хранилище Данных, ис-пользуя СУБД от одного поставщика, инструментарийсоздания — от другого, средства доступа к информа-ции — от третьего и т.д. Однако нельзя не учитывать тотфакт, что при этом неизбежно возникнет проблема инте-грации различных продуктов в единое решение.

Выбирая корпорацию Oracle, организация получает всенеобходимое для построения Хранилища Данных. Про-граммные продукты Oracle полностью покрываютспектр задач, стоящих в процессе внедрения. Техниче-ская поддержка, обучение и консалтинг, предоставляе-мые корпорацией и ее партнерами, образуют комплексуслуг, которые востребованы в любом комплексном про-екте. Методология Oracle Data Warehouse Method содер-жит в концентрированной форме многолетний опыт по-строения Хранилищ Данных и гарантирует успешноевнедрение.Свяжитесь с консультантами Oracle или обра-титесь в Центры компетенции по по направлению FusionMiddleware : Business Intelligence and Data Warehousing.

Äîïîëíèòåëüíàÿ èíôîðìàöèÿ

Дополнительную информацию о решениях и технологияхOracle Вы можете найти на сайте корпорации по адресу:http://www.oracle.com/ru/

16

Öåíòðû êîìïåòåíöèè ïî âíåäðåíèþ ðåøåíèé Fusion Middleware:Business Intelligence and Data Warehousing

Óñïåõ ñëîæíûõ èíôîðìàöèîííûõ ïðîåêòîâ çàâèñèò îò ýêñïåðòèçû è îïûòà ñïåöèàëè-ñòîâ. Còàòóñ Öåíòðà êîìïåòåíöèè ÿâëÿåòñÿ ïîäòâåðæäåíèåì îïûòà, ýêñïåðòèçû, íà-äåæíîé ðåïóòàöèè è ïðîôåññèîíàëèçìà ïàðòíåðà, ïðîÿâëåííûõ â ðåçóëüòàòå ðåàëè-çàöèè ïðîåêòîâ ïî âíåäðåíèþ ðåøåíèé Oracle. Îí òàêæå ïîäòâåðæäàåò íàëè÷èå âûñî-êîêâàëèôèöèðîâàííûõ ñïåöèàëèñòîâ, ïðîâîäèìóþ ìàðêåòèíãîâóþ ïîëèòèêó è àêòèâ-íîå ïðîäâèæåíèå íîâåéøèõ òåõíîëîãèé Oracle.

Êîíñàëòèíãîâàÿ Ãðóïïà Áîðëàñ Êîíñàëòèíãîâàÿ ãðóïïà «Áîðëàñ» îáëàäàåò âûñøèì ñòàòóñîì ïàðò-íåðñòâà ñ êîðïîðàöèåé Oracle: Ìàñòåð-ïàðòíåð (Oracle Certified Ad-vantage Partner) è ñ 2005 ãîäà ÿâëÿåòñÿ ïåðâûì â Ðîññèè Öåíòðîìêîìïåòåíöèè ïî èíòåãðàöèîííûì òåõíîëîãèÿì (Fusion Middleware:Integration), à ñ 2002 ãîäà - Öåíòðîì êîìïåòåíöèè ïî ñîçäàíèþ àíà-ëèòè÷åñêèõ ñèñòåì è õðàíèëèù äàííûõ (Fusion Middleware: BusinessIntelligence). Òàêîå ñî÷åòàíèå êîìïåòåíöèé ïîçâîëÿåò ðåàëèçîâû-âàòü íà áàçå ñîâðåìåííûõ SOA-òåõíîëîãèé êîìïëåêñíûå ïðîåêòû,èíòåãðèðóþùèå â åäèíûé èíôîðìàöèîííûé ðåñóðñ ëþáûå áèçíåñ-ïðèëîæåíèÿ ïðåäïðèÿòèÿ-çàêàç÷èêà.

 êîìïàíèè íàêîïëåí óíèêàëüíûé ìíîãîëåòíèé îïûò âíåäðåíèÿ ïðî-åêòîâ, îñíîâàííûé íà çíàíèè èíòåãðàöèîííûõ òåõíîëîãèé Oracle èãëóáîêîì ïîíèìàíèè áèçíåñ-çàäà÷ ïðåäïðèÿòèé ðàçëè÷íûõ îòðà-ñëåé ýêîíîìèêè.  ÷èñëå çàêàç÷èêîâ - ÎÀÎ «ÑÈÁÓÐ Õîëäèíã», Ôå-äåðàëüíîå àãåíòñòâî ïî àòîìíîé ýíåðãèè, ÀÎ «Íàðîäíûé áàíê Êà-çàõñòàíà».

Ïîäðîáíåå î Êîíñàëòèíãîâîé ãðóïïå «Áîðëàñ»: http://www.borlas.ru

Àäðåñ: 117105, ã. Ìîñêâà, Íîâîäàíèëîâñêàÿ íàá., ä. 4à

Òåë.: +7 (495) 545-5930, ôàêñ: +7 (495) 545-5931

E-mail: integration@borlas.ru

17

«Ôîðñ – öåíòð ðàçðàáîòêè»Êîìïàíèÿ «ÔÎÐÑ - Öåíòð ðàçðàáîòêè» - Ñåðòèôèöèðîâàííûé ìà-ñòåð-ïàðòíåð (Certified Advantage Partner) è îôèöèàëüíûé äèñòðè-áüþòîð (Value Added Distributor) êîðïîðàöèè Oracle. «ÔÎÐÑ - Öåíòððàçðàáîòêè» ÿâëÿåòñÿ Öåíòðîì êîìïåòåíöèè ïî íàïðàâëåíèÿì«Oracle Fusion Middleware: Business Intelligence and Data Warehous-ing» è «Oracle Fusion Middleware: Portal».

Âûïîëíåíèå ïðîåêòîâ, ñâÿçàííûõ ñ ïîñòðîåíèåì õðàíèëèù äàííûõ è àíàëèòè÷åñêèõ ñèñòåì, ÿâëÿåòñÿ ñòðàòåãè÷åñêèì íàïðàâëåíèåìäåÿòåëüíîñòè «ÔÎÐÑ - Öåíòð ðàçðàáîòêè». Ñïåöèàëèñòàìè êîìïà-íèè ðåàëèçîâàí öåëûé ðÿä ïðîåêòîâ äëÿ êðóïíûõ ãîñóäàðñòâåííûõ è êîììåð÷åñêèõ îðãàíèçàöèé (â òîì ÷èñëå, ýíåðãåòè÷åñêîãî è íåô-òåäîáûâàþùåãî ñåêòîðîâ ýêîíîìèêè).

 êîìïàíèè ðàáîòàþò âûäåëåííûå ïîäðàçäåëåíèÿ ïî òåõíîëîãè÷å-ñêîìó íàïðàâëåíèþ Business Intelligence (Ëàáîðàòîðèÿ ÐåøåíèéÔÎÐÑ, îòäåë àíàëèòè÷åñêèõ ñèñòåì), ÷òî ïîçâîëÿåò ðàçðàáàòûâàòüýôôåêòèâíûå è êà÷åñòâåííûå ðåøåíèÿ íà îñíîâå òåõíîëîãèé Oracle Database, Oracle Business Intelligence (Standard Edition, Enterprise Edition), OLAP, Data Mining.

Ïîäðîáíåå î êîìïàíèè «Ôîðñ - öåíòð ðàçðàáîòêè»:

http://www.fdc.ru

Ðîññèÿ, 129272 Ìîñêâà, Òðèôîíîâñêèé òóïèê, äîì 3.

Òåë.: (495) 787-7040, ôàêñ: (495) 787-7047

E-mail: develop@fors.ru

Êîìïàíèÿ TopS Business Integrator (TopS BI)TopS BI ïðåäîñòàâëÿåò êîìïëåêñíûå óñëóãè ïîñòðîåíèÿ èíôîðìà-öèîííî-àíàëèòè÷åñêèõ ñèñòåì (ÈÀÑ) ïîääåðæêè ïðèíÿòèÿ óïðà-âëåí÷åñêèõ ðåøåíèé íà îñíîâå ïðîäóêòîâ Oracle Business Intelligen-ce, âêëþ÷àÿ óïðàâëåí÷åñêèé êîíñàëòèíã â ÷àñòè ðàçðàáîòêè BSC, KPI è ñèñòåì óïðàâëåí÷åñêîé îò÷åòíîñòè; ñîçäàíèå ñèñòåì ôîðìè-ðîâàíèÿ óïðàâëåí÷åñêîé îò÷åòíîñòè è KPI; ðàçðàáîòêó è âíåäðåíèåñèñòåì êëàññà «ÀÐÌ Ðóêîâîäèòåëÿ»; ðàçðàáîòêó è âíåäðåíèå ÈÀÑíà áàçå òåõíîëîãèè õðàíèëèù äàííûõ; èíòåãðàöèþ ñ ñóùåñòâóþùè-ìè ïðèëîæåíèÿìè çàêàç÷èêà; êîíñóëüòàöèè ïî ïðîåêòèðîâàíèþ,ðàçðàáîòêå è âíåäðåíèþ ÈÀÑ, íàñòðîéêå è èíñòàëëÿöèè ïðîäóêòîâOracle; ïðîâåäåíèå íåçàâèñèìîé ýêñïåðòèçû ÈÒ-ðåøåíèé â îáëàñòèòåõíîëîãèé õðàíèëèù äàííûõ è àíàëèòè÷åñêèõ ñèñòåì.

TopS BI èìååò ñîáñòâåííûé Äåìîíñòðàöèîííûé öåíòð, ñåðòèôèöè-ðîâàííûõ ñïåöèàëèñòîâ è ìíîæåñòâî íàðàáîòîê ïî ñîçäàíèþ èíôîðìàöèîííî-àíàëèòè÷åñêèõ ñèñòåì íà áàçå ïðîäóêòîâ BusinessIntelligence.

TopS BI èìååò îïûò ñîçäàíèÿ èíôîðìàöèîííî-àíàëèòè÷åñêèõ ñèñ-òåì â ñëåäóþùèõ îòðàñëÿõ: ÷åðíàÿ ìåòàëëóðãèÿ, ïèùåâàÿ ïðîìû-øëåííîñòü, òîðãîâëÿ è äèñòðèáóöèÿ.

Ïîäðîáíåå î êîìïàíèè TopS Bisuness Integrator ìîæíî íàéòèïî àäðåñó http://www.topsbi.ru/

Ãëàâíûé îôèñ: Ðîññèÿ, 117342, Ìîñêâà, óë. Íîâîðÿçàíñêàÿ, 31/7Òåë.: (495) 797-9966, ôàêñ: (495) 797-9967

Äåïàðòàìåíò ýëåêòðîííîãî áèçíåñà è çàêàçíûõ ðàçðàáîòîê:Ðîññèÿ, 115598, Ìîñêâà, óë. Çàãîðüåâñêàÿ, 10/4Òåë.: (495) 777-66-08, ôàêñ: (495) 329-85-64

E-mail: e-business@topsbi.ru

ÊÎÐÏÎÐÀÖÈß ORACLE

Oracle Россия

119435, Москва

Саввинская набережная, 15

Тел.: +7 (495) 641 1400

Факс: +7 (495) 641 1414

Email: oracle_ru@oracle.com

Internet: www.oracle.com/ru/

191186, Санкт-Петербург

Невский пр., 25

Тел.: +7 (812) 363 3257

Факс: +7 (812) 363 3258

Email: oracle_ru@oracle.com

Internet: www.oracle.com/ru/

Oracle Украина

04070, Киев

ул. Фроловская, 911

офисный центр «Swiss House»

Тел.: +380 (44) 490 9050

+380 (44) 490 9051

Факс: +380 (44) 490 9052

Oracle Казахстан

480099, Алматы

микрорайон Самал2,

Самал Тауэрс, оф. 97, блок А2, 6-й этаж

Тел.: +7 (727) 258 4748

Факс: +7 (727) 258 4744