Upload
trinhkhue
View
216
Download
0
Embed Size (px)
Citation preview
© 2009 IBM Corporation
La gestion de la performance de l’entreprise avec Cognos sur System z
Guy Delaporte Spécialiste Information Management
AGENDA
� Introduction : Tendances
� Architecture
� COGNOS 8 BI pour LINUX sur système z
� La gestion des gros volumes de données dans DB2 z
� Infosphere Warehouse
� La maitrise des performances
� Les processeurs spécialisés zIIP , IFL
� Conclusion
Warehouse
Business Intelligence: donner du sens à l’information
AnalysisApplications
AnalysisApplications
Portals &DashboardsPortals &
Dashboards
AnalysisTools
AnalysisTools
Access & Transformation
Processes
Transactions
LegacySystems
Financials
Real-time Information
+ + +
Data MartsETL
SourcesExtraction
TransformationManage Access
Les 4 nouvelles tendances du datawarehouseselon le Gartner Group
� Alimentation des données au fil de l’eau (near-real-time)
� Grand nombre de rapports standard et un nombre croissa nt d’utilisateurs avec des requêtes spécifiques ( ad h oc queryusers )
� Un niveau accru de fonctions analytiques et BI inté grées dans les applications Temps réel
� Besoins liés aux réglementations( Regulatory Complia nce )besoin d’une solution de PRA Audit des données et des changements
� Plus grande protection des données– Données sécurisées (contre les risques d’intrusion)
� BI opérationnel en temps réel– Fournir des informations fraiches à vos utilisateurs
– Proximité des données décisionnelles et des applications temps réel
� Compression hardware des données – Compression des tables dans DB2 (ratio moyen > 50 %)
� Disponibilité supérieure de la plate forme z – Sysplex : meilleur taux de disponibilité 99,999 %
– PRA plus fiable qu’avec multiplicité de serveurs hétérogènes
� TCO– Processeurs spécialisé : IFL pour LINUX zIIP pour DB2
Les raisons de choisir la plate forme z pour une nouvelle application décisionnelle
© 2009 IBM Corporation
Architecture du datawarehouse
LEGACY SOURCES
DATAMARTSDATA INTEGRATION
WAREHOUSE
OLAP
REPORTS
MASTER DATA
REFERENCE DATA
‘
Le z dispose de toutes les briques logiciels d’un datawarehouse
ENTERPRISE CONTENT DATA
InfoSphereInfoSphere WarehouseWarehouse
InfoSphereInfoSphere MDM ServerMDM Server
InfoSphereInfoSphere Information ServerInformation Server
IBM IBM CognosCognos 8 BI8 BI
FileNetFileNet Content ManagementContent Management
DB2 for z/OSDB2 for z/OS
© 2009 IBM Corporation
COGNOS 8 BI pour LINUX sur système z
Les 3 Questions qui pilotent la Performance
Comment nous portons-nous?
Pourquoi ?Que devrions nous faire ?
Les 3 Questions qui pilotent la Performance
IT
VENTES
MARKETING
SERVICECLIENT
RESSOURCESHUMAINES
OPERATIONS
R&D
FINANCE
Pourquoi ?Comment nous Portons-nous?
Quedevrions-nous faire ?
How are we doing?
Tableaux de bord et Indicateurs Clefs de Suivi de la Per formance
Comment nousportons-nous ?
How are we doing?Comment nousportons nous ?
Reporting et Analyse
Pourquoi ?
How are we doing?Comment nousportons-nous ?
Pourquoi ?
Prévision, Planification et Simulation
Que devrions-nous faire ?
CEC One
Member A
OLTP
CP z/OS
Member A
DWH
ICF
Query
DB2 z Data
Warehouse
Linux on zIFL
Cognos 8 BIfor LINUX
On System z
DB2 LUWContentstore
DB2 LUWCognos 8 BIContentstore
DB2 CONNECT
Architecture COGNOS 8 BI et Datawarehouse sur system z
© 2009 IBM Corporation
La gestion des gros volumes de données dans DB2 z
Taille maximum des tables au fil des versions de DB2
DB2 Version 8 : extension des limites
2 GB
DBM116 EB
Buffer pool
0
The bar
16M - Line
EDM pool
RID pool
Sort pool
Comp dict
�Augmentation pour les Tablespaces Partitionnés:ƒ Taille Maximum d'un Tablespace (pages de 32K): de 16 TB à 128 TBƒ Nombre de partitions: de 254 à 4096
�Support du 64 bitsƒ Mémoire virtuelle: de 2 31 à 2 64 (2 GB à 16 ExaBytes)ƒ Au dessus des 2GB:
Bufferpools, EDMPool, SortPool, RIDPool, verrous IRLM dictionnaires de compression
Tablespaces Partitionnés: index DPSI
�DPSI = index secondaire physiquement partitionné
ƒ Nombre de partitions du DPSI = nombre de partitions de la tableƒ Les clés de la partition 'n' du DPSI réfèrent seulement aux lignes
de la partition 'n' de la tableƒ Exemple:
�Partition des données par mois�Clustering par nomà l'intérieur de chaquepartition de l'index DPSI
ƒ CREATE INDEX ......PARTITIONED...
jan
fev
dec
a-z
a-z
a-z
TS PI
jan/a-z
fev/a-z
dec/a-z
Part 1
Part 2
Part 12
DPSI
DB2 Version 8: améliorations SQL
�Tables de requêtes matérialisées (Materialized Query Tables ou MQT)
ƒ dites aussi Tables d’agrégats ou Summary Tables
ƒ Deux types de MQT�maintenue-par-le-système via ordre SQL REFRESH�maintenue-par-l'utilisateur via triggers, mises à jours batch, ..
ƒ Le DBA peut utiliser une MQT pour l'optimisation comme il utiliserait un index
ƒ L'optimiseur peut réécrire une requête soumise sur la table de base afin d'utiliser la MQT
ƒ La MQT peut être nommée directement dans l'ordre SQLƒ Information pré-calculée
�Meilleures performances
transitem(LLL)
trans (LL)
Location hierarchyprodline (s)
pgroup (s)
acct (L) cust (L)
year
N : 1 N : 1N : 1
(S)
WarehouseDB
Join
Aggregation
Join
Aggregation
Q11,Q12, ... Q21,Q22, ...
Compute Many Times
Join
Aggregation
Join
AggregationJoin
Aggregation
Join
Aggregation
Join
Aggregation
Join
Aggregation
transitem(LLL)
trans (LL)
Location hierarchyprodline (s)
pgroup (s)
acct (L) cust (L)
year
N : 1 N : 1N : 1
(S)
WarehouseDB
Q11,Q12, ... Q21,Q22, ...
MQT MQT
Precompute Once
Reuse Many Times
DB2 Version 8: améliorations SQL
�Tables de requêtes matérialisées (MQT): utilisation
Sans les MQT Avec les MQT
� Meilleures performances pour requête décisionnelle
DB2 SQLz z/OS V8commonLUW Linux, Unix & Windows V8.2
Multi-row INSERT, FETCH & multi-row cursor UPDATE, Dynamic Scrollable Cursors, GET DIAGNOSTICS, Enhanced UNICODE for SQL, join across encoding schemes, IS NOT DISTINCT FROM, Session variables, range partitioning
Inner and Outer Joins, Table Expressions, Subqueries, GROUP BY, Complex Correlation, Global Temporary Tables, CASE, 100+ Built-in Functions including SQL/XML, Limited Fetch, Insensitive Scroll Cursors, UNION Everywhere, MIN/MAX Single Index Support, Self Referencing Updates with Subqueries, Sort Avoidance for ORDER BY, and Row Expressions, 2M Statement Length, GROUP BY Expression, Sequences, Scalar Fullselect, Materialized Query Tables, Common Table Expressions, Recursive SQL, CURRENT PACKAGE PATH, VOLATILE Tables, Star Join Sparse Index, Qualified Column names, Multiple DISTINCT clauses, ON COMMIT DROP, Transparent ROWID Column, Call from trigger, statement isolation, FOR READ ONLY KEEP UPDATE LOCKS, SET CURRENT SCHEMA, Client special registers, long SQL object names, SELECT from INSERT
Updateable UNION in Views, ORDER BY/FETCH FIRST in subselects & table expressions, GROUPING SETS, ROLLUP, CUBE, INSTEAD OF TRIGGER, EXCEPT, INTERSECT, 16 Built-in Functions, MERGE, Native SQL Procedure Language, SET CURRENT ISOLATION, BIGINT data type, file reference variables, SELECT FROM UPDATE, DELETE & MERGE, multi-site join
z
LUW
common
DB2 SQLz z/OS V9commonLUW Linux, Unix & Windows V8.2
Multi-row INSERT, FETCH & multi-row cursor UPDATE, Dynamic Scrollable Cursors, GET DIAGNOSTICS, Enhanced UNICODE for SQL, join across encoding schemes, IS NOT DISTINCT FROM, Session variables, range partitioning, TRUNCATE, DECIMAL FLOAT, VARBINARY, optimistic locking, FETCH CONTINUE, ROLE , MERGE
Inner and Outer Joins, Table Expressions, Subqueries, GROUP BY, Complex Correlation, Global Temporary Tables, CASE, 100+ Built-in Functions including SQL/XML, Limited Fetch, Insensitive Scroll Cursors, UNION Everywhere, MIN/MAX Single Index Support, Self Referencing Updates with Subqueries, Sort Avoidance for ORDER BY, and Row Expressions, 2M Statement Length, GROUP BY Expression, Sequences, Scalar Fullselect, Materialized Query Tables, Common Table Expressions, Recursive SQL, CURRENT PACKAGE PATH, VOLATILE Tables, Star Join Sparse Index, Qualified Column names, Multiple DISTINCT clauses, ON COMMIT DROP, Transparent ROWID Column, Call from trigger, statement isolation, FOR READ ONLY KEEP UPDATE LOCKS, SET CURRENT SCHEMA, Client special registers, long SQL object names, SELECT from INSERT, UPDATE, DELETE & MERGE, INSTEAD OF TRIGGER, Native SQL Procedure Language, BIGINT, file reference variables, XML, FETCH FIRST & ORDER BY in subselect and fullselect, caseless comparisons, INTERSECT, EXCEPT, not logged tables
Updateable UNION in Views, GROUPING SETS, ROLLUP, CUBE, 16 Built-in Functions, SET CURRENT ISOLATION, multi-site join, MERGE
z
LUW
common
© 2009 IBM Corporation
Infosphere Warehouse
Vos nouvelles applications décisionnelles se réalisentsimplement en quatre étapes
25
1. Modeliser vos données pour un accès OLAP en utilisant ‘InfoSphere Warehouse Design Studio’
2. Peupler votre schéma en étoile en utilisant des scripts ‘InfoSphere Warehouse SQW’
3. Construire une ou plusieurs structures de cubes en utilisant ‘InfoSphere Warehouse Cubing Services’
4. Accéder aux données avec Cognos ou Excel
InfoSphere WarehouseDesign Studio
Cognos
Excel
L’environnement du système z est amélioré avec ‘InfoSphere Warehouse’
z/OS Linux for System z
OLTP DB2 DWH DB2
SQW
Requêtes MDX
Cubing Services1
2
3
4
Modélisation de données� Concevoir et modifier des modèles physiques de données (design de schema de
stockage; cubes, dimensions, hierarchies)
Fonctionnalités:
� Créer un nouveau design de base de données
� Faire du ‘ Reverse engineering’ à partird’une base existante
� Créer des diagrammes
� Modifier graphiquement les schémas
� Comparer les objects DB entre eux
� Générer le DDL et le déployer
� Analyses d’impact
� Modélisation physique DB2: Tablespace, Buffer Pools, Partitions
� Outil qui génère des instructions SQL, pour déplacer e t transformer les données au sein de la base de données
– Facilité d’utilisation, drag and drop pour la constitution rapide de warehouse
– Intégré avec les modèles de données physiques pour les tables sources et cibles
– Mouvement de données avec transformation (+ de 30 opérateurs SQL)
– Test et debug des mouvements de données
� Fabriquer des entrepôts construits dans un environnemen t “homogène”
– S’appuyer sur les insfrastructures de base de données existantes
– S’appuyer sur les compétences des DBAs,
– Intégration native pour le déploiement rapide d’application de Business Intelligence
• Administration de base de données
• Préparation des données pour des tableaux de bords, Mining & OLAP
Transformation et mouvement de données au sein de la b ase de données
Cubing Services (OLAP)
‘Cubing Services’ est un serveur d’analysemultidimensionnelle qui permet l’accès aux applications OLAP
Benefices�Utilise les interfaces OLAP standards pour une large variété d’outils de
présentation et de reporting (Cognos, Excel)
�Permet l’accès jusqu’à 1 TB de données OLAP
IBM InfoSphereWarehouse
Data Warehouse and BI System z Solution
DB2 for z/OS
OLTPdata
Data Warehouse
Cognos 8 BIfor LINUX
On System z
Mettre à dispostiondes applications BI
d’entreprisesTransformation d’information
The Enterprise Data Warehouse
InfoSphere Warehouse Cubing
Services
InfoSphere Warehouse
SQW
Source Systems :DB2IMS
VSAM
Combiner la fiabilité et la disponibilité de DB2 for z/OS avec des applications àmoindre coût sur Linux on systeme z
© 2009 IBM Corporation
La maitrise des performances sur z
Maitrise des performances
� Indépendance des partitions PR/SM
� WLM :
– attribution des ressources CPU et mémoire en fonction des objectifs fixés
– Cohabitation requêtes lourdes et légères
� RLF : garde-fou contre requêtes trop gourmandes
� DB2 Query Monitor
– Capture des requêtes pour tuning
– Aide au choix des bonnes tables d’agrégats (MQT)
� Optimisation Expert :
– advisors pour index , queries , statistiques
Capture des requêtes SQL et de leurs consommations
Affichage , Export , Explain des requêtes SQL
Détails des acces et temps par objet DB2 dans une joint ure
© 2009 IBM Corporation
Les processeurs spécialisés IFL (LINUX)zIIP (DB2 z)
CP CP zIIP
Big Green
© 2009 IBM Corporation
Conclusion
� Qualité de Service
– Disponibilité 24 h / 24 7 j / 7
– Conformité aux règlementationset à la sécurité des données
– Scalabilité
– Backup and recovery
– PRA Plan de reprise d’activité
� Concentration de serveurs
– Meilleur TCO ( Total Cost of Ownership)
� zIIP et autres moteurs spécialisésaméliorent le TCO ( Total Cost of Ownership)
� Données de production et ODS surmême plate forme signifie
– Moins de complexité
– Reduction de coût
– Mise en commun des process, tools, procedures
– compliance and sécurité rationalisée
� Meilleur utilisation des compétenceset de l’investissement sur System z
� Positioné pour le futur
– Web-based applications
– XML support
Points forts du Datawarehouse sur z