Perfect Patch

1SOA Architects – Roadmap To SOA

2

Perfect Patch - Best Practices

Regine Deleu – Senior Technical Presales Consultant

21 januari 2010

3

Agenda

• Waarom Patchen We

• Hoe Patchen We

• Testen na het Patchen

• Conclusie

• Q&A

4

Agenda

• Waarom Patchen We• CPU• Interne & Wettelijke Richtlijnen• Strategieën & Standaarden

• Hoe Patchen We• Testen na het Patchen • Conclusie• Q&A

5

Critical Patch Update (CPU) van Oktober 2009

16 fixes qua beveiliging – Database• 6 risico's - mogelijke toegang zonder authenticatie

CVSS – Common Vulnerability Scoring System

3 risico’s met CVSS score 10

16 fixes qua beveiliging – Database• 6 risico's - mogelijke toegang zonder authenticatie

CVSS – Common Vulnerability Scoring System

3 risico’s met CVSS score 10

6

Interne & Wettelijke Richtlijnen

Interne Richtlijnen

Wettelijke Richtlijnen– Algemene– Sector gebonden

• SOX, ITIL, CIS, COBIT, enz.

! Deloitte: 45 dagen om aan CPUs te voldoen vanwege SOX richtlijnen! PCI: 1 maand om te voldoen aan CPUs vanwege veiligheidsrisico’s! Code of Connection: Bedrijfsbeleid qua patchen van servers & clients

– Interne & Externe druk - veiligheidsrichtlijnen

Bugfix Patchsets (10.2.0.x, 11.2.0.x, enz)

Interne Richtlijnen

Wettelijke Richtlijnen– Algemene– Sector gebonden

• SOX, ITIL, CIS, COBIT, enz.

! Deloitte: 45 dagen om aan CPUs te voldoen vanwege SOX richtlijnen! PCI: 1 maand om te voldoen aan CPUs vanwege veiligheidsrisico’s! Code of Connection: Bedrijfsbeleid qua patchen van servers & clients

– Interne & Externe druk - veiligheidsrichtlijnen

Bugfix Patchsets (10.2.0.x, 11.2.0.x, enz)

7

Strategieën & Standaarden

Automatisatie betreffende standaarden Best Practice Policy Management

• 370+ out-of-the-box best practices• Aanpassen bestaande strategieën• Eigen specifieke strategieën

Strategieën betreffende• Beveiliging: standaard paswoord, aantal geweigerde log-ins• Configuratie: welke logging, loggingsniveau, deactivatie van logging• Opslagruimte: tablespace beheer via index, plotse groei in data volume

Automatisatie betreffende standaarden Best Practice Policy Management

• 370+ out-of-the-box best practices• Aanpassen bestaande strategieën• Eigen specifieke strategieën

Strategieën betreffende• Beveiliging: standaard paswoord, aantal geweigerde log-ins• Configuratie: welke logging, loggingsniveau, deactivatie van logging• Opslagruimte: tablespace beheer via index, plotse groei in data volume

8

Verzeker uw StandaardenVermijd kwetsbaarheid – opvolging wijzigingen

Alarmen en notificaties –> Report by Exception

Compliance scores & trends –> Eenvoudig Dashboard

Alarmen en notificaties –> Report by Exception

Compliance scores & trends –> Eenvoudig Dashboard

9

Agenda

• Waarom Patchen We• Hoe Patchen We

• Wat is Patching• Levenscyclus • Problemen bij Patchen• Waar Patches uitvoeren• Automatiseren van Patchen• Provisioning• Opvolgen

• Testen na het Patchen • Conclusie• Q&A

10

Wanneer spreken we van een Patch?

• Identificeren Patch

• Downloaden - Metalink

• Deployen - # omgevingen

• Setup & configuratie

• Uitvoeren

• Testen

• Verifiëren

• Identificeren Patch

• Downloaden - Metalink

• Deployen - # omgevingen

• Setup & configuratie

• Uitvoeren

• Testen

• Verifiëren

11

Change management LevenscyclusTestenTesten

Diagnose & Probleem oplossing

Diagnose & Probleem oplossing

WijzigingenaanbrengenWijzigingenaanbrengen

Diagnose & BeheerDiagnose & BeheerPatch Indentificatie & Workarounds

Patch Indentificatie & Workarounds

Setup van de Test OmgevingSetup van de

Test OmgevingProvisionering

van de Productie Omgeving

Provisionering van de Productie

Omgeving

Beheer uw wijzigingen met zekerheidBeheer uw wijzigingen met zekerheid

12

Problemen bij Patchen

Intense manuele arbeid – Hoge kost & Veel tijd

– Meer en meer (virtuele) servers, databases en applicaties– Verschillende omgevingen:

• Development, Test, UAT, Pre-productie, Productie -> Live!– Downloaden en deployen kost tijd

! Bayer: 5 full-time DBA-ers werkten samen in totaal 8000 uren aan Patching

Slechte flexibiliteit bij rollouts

– Risicogevoelige operaties– Ad hoc testen vereist– Regressie testen zijn soms onmogelijk:

– Honderden servers, 3 maandelijkse CPUs

Intense manuele arbeid – Hoge kost & Veel tijd

– Meer en meer (virtuele) servers, databases en applicaties– Verschillende omgevingen:

• Development, Test, UAT, Pre-productie, Productie -> Live!– Downloaden en deployen kost tijd

! Bayer: 5 full-time DBA-ers werkten samen in totaal 8000 uren aan Patching

Slechte flexibiliteit bij rollouts

– Risicogevoelige operaties– Ad hoc testen vereist– Regressie testen zijn soms onmogelijk:

– Honderden servers, 3 maandelijkse CPUs

13

Het is moeilijker dan U denkt!Inventory management: Hou het in de hand!

14

Inventory ManagementConfiguration Management

Inventarisatie en configuratie

– Dashboard & Reporting mogelijkheid om snel accurate informatie te verkrijgen betreft IT activa en richtlijnen

– Single Source of Truthversioning, patch levels, afwijkingen, historiek

Snel beantwoord?

– Welke versie wordt er in uw bedrijf gebruikt?– Hoeveel % van uw databases draaien op Linux?

Inventarisatie en configuratie

– Dashboard & Reporting mogelijkheid om snel accurate informatie te verkrijgen betreft IT activa en richtlijnen

– Single Source of Truthversioning, patch levels, afwijkingen, historiek

Snel beantwoord?

– Welke versie wordt er in uw bedrijf gebruikt?– Hoeveel % van uw databases draaien op Linux?

15

Overzicht & opvolgingWeet Wat U Hebt – Effectief gebruik van uw Activa

16

Critical Patch Advisory

Critical Patch Update (CPU) Advisory

– Nagaan van veiligheidsniveau van CPU– Automatische waarschuwingen– Enkelvoudig web-based console

Waarom is dit nodig?

– Interne & externe auditoren vragen om deze informatie – “Zijn alle relevante veiligheids patches geïnstalleerd?”

– Flexibiliteit bij het prioritiseren van risico gevoelige patches

Critical Patch Update (CPU) Advisory

– Nagaan van veiligheidsniveau van CPU– Automatische waarschuwingen– Enkelvoudig web-based console

Waarom is dit nodig?

– Interne & externe auditoren vragen om deze informatie – “Zijn alle relevante veiligheids patches geïnstalleerd?”

– Flexibiliteit bij het prioritiseren van risico gevoelige patches

17

Critical Patch Advisory

18

Automatiseren Patchen

•Mass Patching Automation – meerdere patches over diverse systemen

•Controle Configuratie & patch conflicten

•Supporteert CPUs / PSUs / Patchsets & 1-offs

•Informatieve rapportering – DB kwetsbaarheid, geïnstalleerde patches

•Mass Patching Automation – meerdere patches over diverse systemen

•Controle Configuratie & patch conflicten

•Supporteert CPUs / PSUs / Patchsets & 1-offs

•Informatieve rapportering – DB kwetsbaarheid, geïnstalleerde patches

•Rolling Upgrade – stoppen, uitvoeren en herstarten van nodes in een golfbeweging

•Pre-requisitie mode controleert de staat van de cluster

•Intelligente orchestrering van SQLs op nodes

•Kritiek pad updates in golf beweging aangepassen

•Supporteert gebundelde Clusterware Patches

•Rolling Upgrade – stoppen, uitvoeren en herstarten van nodes in een golfbeweging

•Pre-requisitie mode controleert de staat van de cluster

•Intelligente orchestrering van SQLs op nodes

•Kritiek pad updates in golf beweging aangepassen

•Supporteert gebundelde Clusterware Patches

•Supporteert OEL, RedHat, SuSE, Solaris, Windows

•Security Advisory voor OEL errata

•Supporteert YUM

•Emergency patching modes

•Supporteert OEL, RedHat, SuSE, Solaris, Windows

•Security Advisory voor OEL errata

•Supporteert YUM

•Emergency patching modes

DB OS

Cluster

19

Real Application Cluster PatchingAll Node Patching

20

Real Application Cluster PatchingRolling Patching

21

Real Application Cluster PatchingMinimum Downtime Patching

22

OS Provisioning

•Pre-boot Execution Environment (PXE)

•Template - gold images

•Automatische setup van netwerk & opslag

•Compleet met Patches & Packages

•Haalt steeds van de YUM repository

•Supporteert fysische & virtuele hosts

•Oracle EL 4, 5

•RHEL 3, 4, 5

•SLES 9 en 10

•Pre-boot Execution Environment (PXE)

•Template - gold images

•Automatische setup van netwerk & opslag

•Compleet met Patches & Packages

•Haalt steeds van de YUM repository

•Supporteert fysische & virtuele hosts

•Oracle EL 4, 5

•RHEL 3, 4, 5

•SLES 9 en 10

23

DB Provisioning

•Supporteert cloning

•RAC en Non-RAC

•Mass deployment – Diverse DB over diverse servers

•Supporteert Gold Images, Reference Systemen, of lokale Stage servers

•Template gebaseerd DB creatie

•DB cloning via RMAN

•Diverse applicaties:

•Test naar Productie

•Productie naar Test

•Cloning van E-Business omgevingen

•Supporteert cloning

•RAC en Non-RAC

•Mass deployment – Diverse DB over diverse servers

•Supporteert Gold Images, Reference Systemen, of lokale Stage servers

•Template gebaseerd DB creatie

•DB cloning via RMAN

•Diverse applicaties:

•Test naar Productie

•Productie naar Test

•Cloning van E-Business omgevingen

24

Tijdsbesparing met ProvisioningDeployment van pre-patched software

Tijd manuele operaties Minuten

Installatie van Clusterware 45

Installatie van ASM 60

Installatie van DB software 45

Creatie van een database 30

Patching van Clusterware 12

Patching van ASM 12

Patching van database 20

25

Succes verhaal - Bayer75% reductie in Patchset Upgrade tijd90% reductie in Patching tijd

2000 Databases, 5 Full-time DBA-ers, 1 uur per patch, 4 maal per jaar2000 Databases, 5 Full-time DBA-ers, 1 uur per patch, 4 maal per jaar

**Er wordt ervan uitgegaan dat DBA FTE $100/uur**Er wordt ervan uitgegaan dat DBA FTE $100/uur

26

Configuration Change Tracking

Historiek Configuratie wijzigingen• Wie, wanneer, wat werd er geïmpacteerd en wat is er gewijzigd?

Rapporteren van wijzigingen

Vergelijk configuraties voor afwijkingen• Baseline• One-to-One• One-to-Many

Welke verschillen tussen Test en Productie

Historiek Configuratie wijzigingen• Wie, wanneer, wat werd er geïmpacteerd en wat is er gewijzigd?

Rapporteren van wijzigingen

Vergelijk configuraties voor afwijkingen• Baseline• One-to-One• One-to-Many

Welke verschillen tussen Test en Productie

27

Extra – Optimale configuratieVerhoog de efficiëntie – View Matches Your Business!

Organiseer uw Activa volgens uw bedrijf

Simpel voorbeeld – Complexe vergelijking

Zoveel mogelijk bedrijfs-overeenkomstige configuraties

Organiseer uw Activa volgens uw bedrijf

Simpel voorbeeld – Complexe vergelijking

Zoveel mogelijk bedrijfs-overeenkomstige configuraties

28

Extra – Beheer Applicatie LevenscyclusVerminder Migratie en Deployment taken

29

Zoek de naald in de hooiberg!Verminder de tijd voor probleem oplossingen

Vind betekenisvolle verschillen

Onmiddellijke provisionering van wijzigingen

Snelle reversies naar vorige versies toe

Vind betekenisvolle verschillen

Onmiddellijke provisionering van wijzigingen

Snelle reversies naar vorige versies toe

30

Automatisering van Repetitieve TakenVerhoog Productiviteit – Automatiseer Risicovolle Manuele Taken

efficiënter ontwikkelen van nieuwe applicatie omgevingen

Volledige provisionering van wijzigingen

Juiste validering van wijzigingen

efficiënter ontwikkelen van nieuwe applicatie omgevingen

Volledige provisionering van wijzigingen

Juiste validering van wijzigingen

31

Weet Waar Uw Resources Zich Bevinden Identificeer de “Hot Spots”

32

Dashboard View – Compliance StatusWeet onmiddellijk waar er problemen zijn

33

Gedetailleerde View Weet onmiddellijk de omvang van problemen

34

Gedetailleerde View Grijp onmiddellijk in!

35

Voordelen - Configuration ManagementVerhoog Uw Productiviteit!

Categorie Waarde van de voordelen met Configuration

Management Pack (uren)

Uren zonder Configuration Management

Pack

% Voordeel

Laag Waar-schijnlijk

Hoog

Bekijk huidige en nieuwe hard- en software. 0.15 0.5 0.83 2.94 83%

Vergelijk systemen tegenover baseline configuraties of Gold Image, om afwijkingen te controleren

0.5 0.98 2.67 2.97 67%

Monitor systemen tegenover baseline configuraties of Gold Image om historische configuraties te controleren

0.5 0.73 1.5 2.21 67%

Zoek hard- en software activa of specifieke settings in uw data center

0.08 0.25 0.5 1.47 83%

Monitor systemen voor compliancies tegenover policies of standaarden

0.33 0.5 0.83 2.94 83%

Verminder tijd nodig om herstellingen uit te voeren gebasseerd op identificatie van Out-of-Band configuratie wijzigingen die downtime veroorzaken

0.17 0.25 0.33 0.76 67%

Verminder downtime wegens geautomatiseerde detectie en migratie van policy overtrerdingen

0.17 0.25 0.33 0.76 67%

Forrester Total Economics ImpactTM StudyForrester Total Economics ImpactTM Study

36

Oracle Configuration ManagementExtreme Controle voorziet een Unieke Business Waarde

Forrester Total Economic ImpactTM StudyForrester Total Economic ImpactTM Study

Voorbeeld van wat een organisatie heeft bereikt met Oracle Configuration Management

•Verhoogde (124% - $4.916.781) Return On Investment ROI**

•20% ($862.500) vermindering van kosten aan servers**

•Besparingen in productiekosten ($2.555.556) door het vermijden van downtime en door een verhoogde beschikbaarheid**

•“Geld terug” periode is 15 maanden**

Voorbeeld van wat een organisatie heeft bereikt met Oracle Configuration Management

•Verhoogde (124% - $4.916.781) Return On Investment ROI**

•20% ($862.500) vermindering van kosten aan servers**

•Besparingen in productiekosten ($2.555.556) door het vermijden van downtime en door een verhoogde beschikbaarheid**

•“Geld terug” periode is 15 maanden**

**Alle cijfers zijn risico-gebonden en gerekend over 3 jaar**Alle cijfers zijn risico-gebonden en gerekend over 3 jaar

37

Be The Rock Star!

38

Integrated Configuration Management

39

De wijzigingen zijn doorgevoerd … hoe zit het met risico's ?

De wijzigingen zijn doorgevoerd … hoe zit het met risico's ?

40

Agenda

• Waarom Patchen We• Hoe Patchen We• Testen na het Patchen

• Levenscyclus• Real Application Testing• Tijdsbesparing• Real Time Monitoring

• Conclusie• Q&A

41

Change management LevenscyclusTestenTesten

Diagnose & Probleem oplossing

Diagnose & Probleem oplossing

WijzigingenaanbrengenWijzigingenaanbrengen

Diagnose & BeheerDiagnose & BeheerPatch Indentificatie & Workarounds

Patch Indentificatie & Workarounds

Setup van de Test OmgevingSetup van de

Test OmgevingProvisionering

van de Productie Omgeving

Provisionering van de Productie

Omgeving

Real Application TestingReal Application Testing

42

Wat is Real Application Testing – RAT ?

Een nieuwe optie 11g

Twee nieuwe featuresDatabase Replay (DB replay)SQL Performance Analyser (SPA)

Automatisatie van TestenVerminder de risico's en de kost van systeem testen.

Een nieuwe optie 11g

Twee nieuwe featuresDatabase Replay (DB replay)SQL Performance Analyser (SPA)

Automatisatie van TestenVerminder de risico's en de kost van systeem testen.

43

Testen vandaag de dagProductie – 1000-tal Real Online users

ProductieProductie

44

Testen vandaag de dagTest – 2-3 testers die 1000 Real Online Users nabootsen

ProductieProductie TestTest

45

Real Application TestingWorkload van 1000 Real Online Users opgenomen

ProductieProductie

46

Real Application Testing Workload van 1000 Real Online Users afspelen

ProductieProductie

47

Real Application Testing Test uw systeem wijzigingen op productie niveau

ProductieProductie

48

Real Application Testing

Analyse & RapporteringAnalyse & Rapportering

•Opnemen van Productie Workload•Opnemen van de volledige Productie Workload met Real-life load, timing en concurrency karakteristieken•Breng de opgenomen workload over naar Test

•Afspelen van Productie Workload in Test•Maak de nodige aanpassingen in Test•Speel de volledige workload met alle productie karakteristieken af in test•Eerbiedig de ‘commit’ volgorde

•Analyseer & Rapporteer•Errors•Data verschillen•Performantie verschillen

•Opnemen van Productie Workload•Opnemen van de volledige Productie Workload met Real-life load, timing en concurrency karakteristieken•Breng de opgenomen workload over naar Test

•Afspelen van Productie Workload in Test•Maak de nodige aanpassingen in Test•Speel de volledige workload met alle productie karakteristieken af in test•Eerbiedig de ‘commit’ volgorde

•Analyseer & Rapporteer•Errors•Data verschillen•Performantie verschillen

49

RAT: Wat wordt er gesupporteerd?

Niet Supporterende Aanpassingen

Niet Supporterende Aanpassingen

Supporterende Aanpassingen

•Database Upgrades, Patches

•Schema, Parameters•RAC nodes, Interconnecties

•OS Platform, OS Upgrades•CPU, Memory

•Opslag•Enz.

Supporterende Aanpassingen

•Database Upgrades, Patches

•Schema, Parameters•RAC nodes, Interconnecties

•OS Platform, OS Upgrades•CPU, Memory

•Opslag•Enz.

Opnemen van Externe Client

systemen

Opnemen van Externe Client

systemen

50

RAT - Een vergelijking e-Business Suite

51

Waarom RAT?

Van:________________

Artificiële Workload

Gedeeltelijke Workload

Maanden van Voorbereiding

Intensieve Manuele Taken

Hoog Risico

Van:________________

Artificiële Workload

Gedeeltelijke Workload

Maanden van Voorbereiding

Intensieve Manuele Taken

Hoog Risico

Tot:________________

Real-life Productie Workload

Complete Workload

Dagen van Voorbereiding

Automatische Taken

Zeer laag Risico

Tot:________________

Real-life Productie Workload

Complete Workload

Dagen van Voorbereiding

Automatische Taken

Zeer laag Risico

52

RAT - Summary Report

53

SPA RapportOnmiddellijke Identificatie van de wijzigingen

54

Voorbeeld SPA RapportAchteruitgang SQL Statement

55

Real-time SQL Monitoring• Probleem: Beheren High-Response-Time SQLs

• Toont aan wat er precies gebeurt tijdens het uitvoeren van een SQL query

• Automatisch nazicht van langdurige lopende SQL queries

• >5 sec CPU of I/O• Alle parallelle statements

• Nazicht bij het uitvoeren van iedere SQL query

• Toont monitoring statistieken• Globaal executie niveau• Planning op operation niveau• Parrallel uitvoer niveau

• Stuurt Tuning Advisor

• Probleem: Beheren High-Response-Time SQLs

• Toont aan wat er precies gebeurt tijdens het uitvoeren van een SQL query

• Automatisch nazicht van langdurige lopende SQL queries

• >5 sec CPU of I/O• Alle parallelle statements

• Nazicht bij het uitvoeren van iedere SQL query

• Toont monitoring statistieken• Globaal executie niveau• Planning op operation niveau• Parrallel uitvoer niveau

• Stuurt Tuning Advisor

56

SQL Tuning AdvisorTwee Nieuwe Categorien van Aanbevelingen

• Analyse van Parallel Uitvoeren• Analyse van Alternatief Plan• Analyse van Parallel Uitvoeren• Analyse van Alternatief Plan

57

Wat zijn nu de voordelen

• Een verlaagd risico:

• Neemt veel risico's weg bij aanpassingen en upgrades• Bredere variatie aan test scenarios met productie workload• Vermindert/Elimineert fouten & performance problemen

• Real Application Testing - herhaaldelijk voordeel bij toekomstige wijzigingen

• Security Patches (Oracle – per kwartaal)• Verder verminderen van het risico

• Wijzigingen aan configuratie• Zowel OS als DB

• Hardware wijzigingen• Enz.

• Een verlaagd risico:

• Neemt veel risico's weg bij aanpassingen en upgrades• Bredere variatie aan test scenarios met productie workload• Vermindert/Elimineert fouten & performance problemen

• Real Application Testing - herhaaldelijk voordeel bij toekomstige wijzigingen

• Security Patches (Oracle – per kwartaal)• Verder verminderen van het risico

• Wijzigingen aan configuratie• Zowel OS als DB

• Hardware wijzigingen• Enz.

58

Wat zijn nu de voordelen

• Kostenverlaging:

• Elimineert de nood aan een manueel test team –periodieke kost• Vermindert de kost & tijd van test tools en creatie van test cases• Eenvoudig te herhalen

• Administratie tijd vermindert

• Het testen van de database ligt in de handen van de DBA.

• Kostenverlaging:

• Elimineert de nood aan een manueel test team –periodieke kost• Vermindert de kost & tijd van test tools en creatie van test cases• Eenvoudig te herhalen

• Administratie tijd vermindert

• Het testen van de database ligt in de handen van de DBA.

59

Wat zijn nu de voordelen

• Kwantificatie:

• Organisaties willen de pros&cons weten van aanpassingen• Hoeveel sneller is 11g voor mijn applicatie?• Wat is de performantie verbetering van deze nieuwe servers?• Als ik DBVault installeer, wat zal dit als gevolg hebben op de performantie?• Hoe zal ons systeem omgaan met SLA’s?

• Normaal heel moeilijk te kwantificeren. Real Application Testing geeft U harde cijfers om investeringen goed te keuren. Zowel op het gebied van tijd als van geld.

•Voorbeeld: Een DBA kan een nodige aanpassing aanbevelen door aan te tonen dat er een significante performantie verbetering optreedt en kan ook alle negatieve effecten van de aanpassing testen. Dit vermindert de kost EN het risico van de aanpassing.

• Kwantificatie:

• Organisaties willen de pros&cons weten van aanpassingen• Hoeveel sneller is 11g voor mijn applicatie?• Wat is de performantie verbetering van deze nieuwe servers?• Als ik DBVault installeer, wat zal dit als gevolg hebben op de performantie?• Hoe zal ons systeem omgaan met SLA’s?

• Normaal heel moeilijk te kwantificeren. Real Application Testing geeft U harde cijfers om investeringen goed te keuren. Zowel op het gebied van tijd als van geld.

•Voorbeeld: Een DBA kan een nodige aanpassing aanbevelen door aan te tonen dat er een significante performantie verbetering optreedt en kan ook alle negatieve effecten van de aanpassing testen. Dit vermindert de kost EN het risico van de aanpassing.

60

Agenda

• Waarom Patchen We• Hoe Patchen We• Testen van Patching• Conclusie• Q&A

61

Conclusie

• Patching is belangrijk voor uw IT omgeving

• Een goed overzicht van wat, waar en waarvoor

• Een beter beheer van aanpassingen

• Verminder risico, kost en kwantificeer de waarde

• Be The Rock Star!

• Patching is belangrijk voor uw IT omgeving

• Een goed overzicht van wat, waar en waarvoor

• Een beter beheer van aanpassingen

• Verminder risico, kost en kwantificeer de waarde

• Be The Rock Star!

62

AQ&