Arsitektur Data Warehouse
Simple Architecture
OPERATIONAL DATABASE LAYER
Operational Database Layer
• Layer ini adalah data source untuk data warehouse
• Mengandung data terbaru atau data yang akurat pada saat data tersebut diakses
• Biasanya berukuran sangat besar karena menyangkut data detail transaksi
Jenis-jenis data source untuk data warehouse
• On-Line Transaction Processing (OLTP)• Merupakan sebuah sistem yang
memfasilitasi dan mengelola aplikasi yang berorentasi transaksi
• Biasanya untuk data entri atau pengambilan proses transaksi
• Sistem Legacy• Sistem yang sudah out-of-date tetapi
data-datanya masih digunakan untuk keperluan historical
Jenis-jenis data source untuk data warehouse
• External Data• Data yang berasal dari pihak di luar
perusahaan• Middleware
• Sebuah aplikasi yang menjembatani antar aplikasi yang berbeda
• Source-less data• Data yang sudah tidak ada lagi sumber
datanya
Contoh-contoh Data Pada Layer Operational
• Data transaksi penjualan pada retail / department store
• Data saldo nasabah bank• Data reservasi pada maskapai
penerbangan
DATA ACCESS LAYER
Data Access Layer
• Sebuah interface yang menjembatani antara layer operational dengan layer informational pada data warehouse
• Biasanya sebuah ETL (Extract-Transform-Load) tool
ETL
• Sebuah proses yang menggunakan database terutama pada data warehouse yang termasuk:• Extract• Transform• Load
• ETL adalah sistem yang terotomatisasi dalam menjalankan prosesnya
• On-the-fly
Extract
• Sebuah proses untuk mengekstrak data dari berbagai sumber data
• Sumber data yang ada biasanya memiliki format data yang berbeda
• Format dapat data berupa:• Sebuah reloational database• Flat-file• Langsung dari sistem lain
• Juga sekaligus memeriksa apakah data yang diambil benar-benar sesuai spesifikasi
Transform
• Mengaplikasikan aturan-aturan dan fungsi-fungsi yang telah ditetapkan pada data yang telah diekstrak dari data source untuk di-load ke target akhir
• Biasanya terdiri dari:• Pemilihan kolom tertentu• Encoding / decoding• Calculating• Sorting• Joining• Look Up• Etc.
Load
• Loading data ke target tujuan pada data warehouse
• Target biasanya berupa database• Karena berinteraksi langsung dengan
database maka data yang di-load akan meng-apply aturan aturan yang ada pada constraints dan trigger pada database.
Contoh ETL
• Oracle Database Integerator• CoSORT sorting tool
METADATA LAYER
Metadata
• Datanya data (Data yang menjelaskan tentang data)
• Merupakan index untuk data-data yang ada pada data warehouse
• Biasanya dapat berupa:• Struktur data• Keterangan sumber data• Keterangan transformasi data• Model data• Hubungan antar model data dengan data
warehouse
Data Referensi
• Data yang menjelaskan objek fisik atau virtual beserta sifat-sifatnya
• Biasanya disebutkan menggunakan kata benda
Contoh Metadata
• Tabel dari tabel-tabel yang ada dalam database yang berisi nama tabel, jumlah row, ukuran, dsb.
• Tabel dari kolom-kolom yang ada dalam database yang menginformasikan tabel apa yang menggunakan kolom tersebut dan tipe data nya
INFORMATIONAL ACCESS LAYER
Informational access layer
• Data yang dapat diakses langsung oleh end-user untuk kebutuhan analisis dan reporting
• Tools Business Intelegence ada ada pada tahap ini
Data Mart
• Sebuah area pada database dimana data disusun sedemikian rupa untuk kebutuhan query, reporting dan analisis
• End-user dapat berinteraksi langsung dengan data mart atau melalui aplikasi interface yang mengakses data mart
Business Intelegence
• merujuk pada teknologi, aplikasi, serta praktik pengumpulan, integrasi, analisis, serta presentasi informasi bisnis atau kadang merujuk pula pada informasinya itu sendiri. Tujuan intelijen bisnis adalah untuk mendukung pengambilan keputusan bisnis
Contoh-contoh BI
• IBM Cognos• Teradata• Oracle Business Intelligence Suite
Enterprise Edition
Contoh Implementasi Arsitektur Data Warehouse