Upload
oraclesk
View
999
Download
2
Embed Size (px)
Citation preview
Novinky Oracle pre oblasť dátových skladov
Gabriela HečkováTechnology Sales Consultant
Oracle Database Machine
“Every query was faster on Exadata compared to our current systems. The smallest performance improvement was 10x and
the biggest one was an incredible 72x.”
Simeon Dimitrov, Enterprise Resources Manager
“Call Data Record queries that used to run for over 30 minutesnow complete in under 1 minute. That's extreme performance.”
Grant Salmon, CEO, LGR Telecommunications
“A query that used to take 24 hours now runs in less than 30 minutes. The Oracle Database Machine beats competing solutions on bandwidth, load rate, disk capacity, and transparency.”
Christian Maar, CIO
DWH zákazníci Database Machine V1
Sun Oracle Database Machine
Grid Exadata Storageservrov
• 21 GB/s priepustnosť diskov
• 50 GB/s priepustnosť flash
• 1 milión I/O operácií za sekundu
Grid databázových serverov• Lineárne škálovateľný výkon
• Odolný voči zlyhaniu
• Postavený na komoditnýchserveroch
InfiniBand sieť• 880 Gb/s agregovaná
priepustnosť
Sun Exadata Storage Server Hardware
• Stavebný prvok Exadata Storage Gridu– 1.5 GB/s pri čítaní z diskov– 75.000 IOPS z Flash cache
• Sun Fire™ X4275 Server– 2 Quad-Core Intel® Xeon® E5540– 24GB RAM– Dual-port 4X QDR (40Gb/s) InfiniBand karta– 12 x 600 GB SAS alebo 2TB SATA diskov– 4 x 96 GB Sun Flash PCIe Cards (384 GB) – Disk Controller s 512MB zálohovanou cache
• Software– Oracle Enterprise Linux– Exadata storage server software
• Single Point of Support from Oracle
Hardware by
Software by
Výkon Exadata Storage Serverov
Quarter Rack Half Rack Full Rack
Počet diskov 36 84 168
Raw Disk Data Bandwidth1,3
SAS 4.5 GB/s 10.5 GB/s 21 GB/s
SATA 2.5 GB/s 6 GB/s 12 GB/s
Raw Flash Data Bandwidth1,3 11 GB/s 25 GB/s 50 GB/s
Disk IOPS2,3SAS 10,800 25,000 50,000
SATA 4,300 10,000 20,000
Flash IOPS2,3 225,000 500,000 1,000,000
Rýchlosť nahrávania dát3 1 TB/hr 2.5 TB/hr 5 TB/hr
1 – maximálna dosahovaná dátová priepustnosť pri čítaní z diskov, nezohľadňuje kompresiu
2 – IOPs – merané pre IO požiadavky veľkosti 8KB
3 - skutočný výkon sa môže podľa aplikácie líšiť
Exadata konfigurácia
• Každá Exadata bunka je samostatný server, ktorý obsahuje disky pre uloženie dát a zbieha Exadata Storage Server Software
• Oracle databázy sú nasadené naprieč viacero Exadata buniek• Oracle Database vylepšená na spoluprácu s Exadata Storage Server• Neexistuje limit na počet jednotiek zapojených do gridu
Exadata Cell
InfiniBand Switch/Network
Single-InstanceDatabase
RAC Database
Exadata Cell Exadata Cell
Vlastnosti Exadata softvéru
• Exadata Smart Scans– Niekoľkonásobne redukuje objem údajov posielaných databázovým serverom
• Exadata Storage indexy– Eliminuje nepotrebné diskové I/O
• Hybrid Columnar Compression (HCC)– Niekoľkonásobne zvyšuje efektívnu diskovú kapacitu a dátovú priepustnosť
• Exadata Smart Flash Cache– Rádovo zvyšuje IOPS
– Znásobuje dátovú priepustnosť pre transakčné aplikácie
• I/O Resource Manager – Kontrola prideľovania I/O zdrojov
• Inter-leaved Grid Disks– Umožňuje uložiť často dopytované dáta na rýchlejšie oblasti diskov
Exadata Smart Scan
• Exadata má implementované scanovanie pre zníženie objemu dát zasielaných DB serveru
– Filtrovanie riadkov na základe “where” klauzuly
– Filtrovanie stĺpcov
– Filtrovanie prepojených tabuliek (join)
– Scanovanie kryptovaných dát
– Data Mining model scoring
• 10-násobná redukcia prenosu dát
• Transparentné pre aplikácie
– Aj v prípade výpadku Exadata bunky alebo disku počas dotazu
– Vrátené dáta sú konzistentné
11.2
11.2
Tradičný Scan Proces
• Príklad Smart Scanu:
– Telco chce identifikovaťzákazníkov, ktorí minú viac ako $200 na jeden hovor
– Táto informácia zaberá2MB v 1 terabyte tabuľke
• V prípade tradičného úložiskadatabázová inteligencia spočíva na DB serveroch
• Veľké percento dát zaslané z úložiska je vyradené DB serverom
• Vyradené dáta spotrebovávajúzdroje a ovplyvňujú výkon ostatných výkonov
����
Vykonanie I/O:1 TB dát zaslaných
do pamäte DB serveru
����
DB server redukuje 1TB dát na 1000 mien zákazníkov, ktoré sú
zaslané klientovi
����
Vrátené riadky
����
SELECT
customer_name
FROM calls
WHERE amount >
200;
����
IdentifikovanieSúborov a Table
Extents
����
Zadanie I/Ooperácie na čítanie
blokov
Exadata Smart Scan Processing
• Len relevantné stĺpce
– customer_name
z požadovaných riadkov
– kde amount>200
Sú vrátené na server
• Požadovaný výkon na vyhodnotenie predikátu je presunutý na Exadatu
• Presun sprocesovania scanu z DB servera uvoľnuje CPU a eliminuje presun nepotrebných dát
����
2MB dát vrátenéna server
����
Vrátené riadky
����
Vygenerovaný Smart Scan a
zaslaný do Exadata bunky
����
Smart Scan identifikuje
požadované riadkya stĺpce terabyte
tabuľke
����
Skonsolidovanie výsledku zo všetkých
buniek
����
SELECT
customer_name
FROM calls
WHERE amount >
200;
50X
Exadata Hybrid Columnar Compression
• Dáta sú zotriedené podľa stĺpcov a potom sú uložené
• Query Mode pre DWH– Optimalilzovaný pre rýchlosť– Typický 10-násobný pomer
kompresie, 10x rýchlejšie I/O– Proporčné zlepšenie scanu
• Archival Mode pre nie často dotazované dáta
– Optimalizované pre redukciu miesta– Typický 15-násobný pomer
kompresie– V istých prípadoch až 50-násobný
pomer kompresie
11.2
Exadata Hybrid Columnar Compression
• Tabuľky sú zoskupené do množín z niekoľko tisíc riadkov, ktoré sa nazývajú Compression Units (CUs)
• Vnútri Compression Unit sú dáta organizovanépodľa stĺpca a potom skomprimované
• Užitočné pre dáta uložené prostredníctvom Bulkloadu a potom dotazované– Nízky výskyt update-ov
Reduces
Table Size
4x to 40x
4x to 50x Reduction
Compression Unit
Co
lum
n 1
Co
lum
n 2
Co
lum
n 3
Exadata Smart Flash Cache
• Transparentná cache pre Hot Data na 4 Flash Cards/ Exadata
• Flash Cards založené na PCI Express pre vyššiu priepustnosť a IOPs a obídenieobmedzení disk controllera
• Smart Caching
– Vylepšený LRU algoritmus
– Rozlišuje, kedy vynechať cache-ovanie, aby sa zabránilo „zamoreniu“ cache
11.2
4 x 96 GB Flash Cards
Benefits Multiply
1 TBwith compression
10 TB of user dataRequires 10 TB of IO
100 GBwith partition pruning
20 GB with Storage Indexes
5 GB with Smart Scans
SubsecondOn Database
Machine
Data is 10x Smaller, Scans are 2000x faster
Sun Oracle Database Machine- Architektúra budúcnosti
• Najlepšia pre dátové sklady• 10x efektívnejšie využitie kapacity• Dátovo náročné spracovanie už na storage zariadení
• Najlepšia pre OLTP• Umožňuje prideľovať výkon podľa potreby každej
aplikácií• Smart flash cache poskytuje 1 milión IO za sekundu• Bezpečná, odolná voči výpadkom
• Ideálna pre konsolidáciu databáz• Schopná bežať a škálovať zmiešanú záťaž• Úplná kontrola zdrojov v multi-database, multi-
application, multi-user prostrediach (dodržanie SLA)
Výhody použitia Database Machine
• Nižšie riziko
– Overená konfigurácia celého SW/HW prostredia
– Jediný kontankt na podporu celého prostredia: Oracle
• Nižšie náklady
– Najlepší pomer cena/výkon
– Ideálna pre konsolidáciu databáz
• Vyššia hodnota
– Neobmedzená škálovateľnosť
– Zabudovaná vysoká dostupnosť
Golden Gate
Oracle GoldenGate poskytuje zber, premiestnenie, transformáciu a dodávku dát v heterogénnom prostredí v reálnom ččččase
Kľľľľúččččové vlastnosti:
Nízky dopad, oneskorenie do 1 sekundy
Otvorená, modulárna architektúra, podporuje heterogénne zdroje aj ciele
Podporuje transakčnú integritu, rýchla obnova po zlyhaní
Čo je Oracle GoldenGate?
Výkon
Flexibilné, rozšíriteľľľľné
Spoľľľľahlivé
Ako funguje Oracle GoldenGate
LAN/WANInternet
Capture
Capture: Komitované transakcie sú čítané z transakčných logov (môžu byť aj filtrované).
ZdrojOracle & Non-Oracle
Database
CieľOracle & Non-Oracle
Database
Ako funguje Oracle GoldenGate
LAN/WANInternet
CaptureTrail
ZdrojOracle & Non-Oracle
Database
CieľOracle & Non-Oracle
Database
Capture: Komitované transakcie sú čítané z transakčných logov (môžu byť aj filtrované).
. Trail: usporiadanie dát pre prenos.
Ako funguje Oracle GoldenGate
LAN/WANInternet
CaptureTrail
Pump
Pump: distribúcia dát pre prenos na rôzne ciele
ZdrojOracle & Non-Oracle
Database
CieľOracle & Non-Oracle
Database
Capture: Komitované transakcie sú čítané z transakčných logov (môžu byť aj filtrované).
. Trail: usporiadanie dát pre prenos.
LAN/WANInternet
TCP/IP
CaptureTrail
PumpTrail
Route: dáta sú kompresované a zakryptované pre prenos do cieľa
ZdrojOracle & Non-Oracle
Database
CieľOracle & Non-Oracle
Database
Ako funguje Oracle GoldenGate
Capture: Komitované transakcie sú čítané z transakčných logov (môžu byť aj filtrované).
. Trail: usporiadanie dát pre prenos.
Pump: distribúcia dát pre prenos na rôzne ciele
LAN/WANInternet
TCP/IP
CaptureTrail
Pump DeliveryTrail
Route: dáta sú kompresované a zakryptované pre prenos do cieľa
ZdrojOracle & Non-Oracle
Database
CieľOracle & Non-Oracle
Database
Ako funguje Oracle GoldenGate
Capture: Komitované transakcie sú čítané z transakčných logov (môžu byť aj filtrované).
. Trail: usporiadanie dát pre prenos.
Pump: distribúcia dát pre prenos na rôzne ciele
Delivery: aplikuje dáta s udržaním transakčnej integrity + transformácie podľa potreby
LAN/WANInternet
TCP/IP
Obojsmerný prenos
CaptureTrail
Pump DeliveryTrail
Route: dáta sú kompresované a zakryptované pre prenos do cieľa
Delivery: aplikuje dáta s udržaním transakčnej integrity + transformácie podľa potreby
ZdrojOracle & Non-Oracle
Database
CieľOracle & Non-Oracle
Database
Ako funguje Oracle GoldenGate
Capture: Komitované transakcie sú čítané z transakčných logov (môžu byť aj filtrované).
Trail: usporiadanie dát pre prenos.
Pump: distribúcia dát pre prenos na rôzne ciele
Rôzne konfigurácie Oracle GoldenGate
JednosmernáOdbremenenie/
presmerovanie dotazov
Oboj-smernáLive Standby alebo
Active-Active pre HA
Peer-to-PeerVyrovnanie záťaže,
Multi-Master
Broadcast Distribúcia dát
Integrácia/KonsolidáciaDátové sklady
Radenie za sebouData Marty
Real-Time: Operatívne BI v akcii
– Detekcia podvodu
– Strata zákazníkov
– On-line optimalizácia predaja
– Optimalizácia ponuky pre zákazníka
– Zlepšenie dodávateľských vzťahov
27Source: Intelligence Solutions Inc. Webinar: Operational BI Its Everywhere.
Oracle GoldenGate pre Operatívny reportingPresun reportingu na DB s nižšími nákladmi
• Oneskorenie do 1 sekundy
• Bez degradácie výkonu na zdrojovej DB
• Konzistentné dáta pre ččččítanie s referenččččnou integritou
• Obnova po zlyhaní prostredníctvom Trail súborov
Oracle GoldenGate Solutions pre Oracle Database
• Nulové prestoje pri upgrade-och, migráciách a údržbe
– Migrácie z non-Oracle databáz na Oracle 11gR2
– Upgrade Oracle Databázy 8i, 9i, 10g to 11gR2
– Upgrade/migrácia OS databázového servera
– Výkony pri údržbe DB
– Upgrade aplikácií (Siebel CRM)
• Odľahčenie systému – Presmerovanie dotazov z historických systémov na Oracle DB
• Nepretržitá dostupnosť s využitím active-active databázy
• Synchronizácia dát v distribuovaných systémoch