PDV-Systeme GmbH, Bornhardtstr. 3, 38644 Goslar Telefon (05321) 3703-0, Fax (05321) 8924 [email protected], JTLviz Ein neuer Freund

PDV-Systeme GmbH, Bornhardtstr. 3, 38644 Goslar

Telefon (05321) 3703-0, Fax (05321) 8924

[email protected], www.pdv-systeme.de

JTLviz Ein neuer Freund für T4

Martin Vorländer

DECUS IT-Symposium 20062G06

2

IT-Symposium 20062G06

Thema: Performance-Analyse

Wichtige Punkte:

Daten sammeln

Einfaches, erweiterbares Dateiformat

Automatisieren der Datensammlung

Visuelles Darstellen der Daten

3


Daten sammeln

"Diejenigen, die sich nicht an die Geschichte erinnern, sind dazu verdammt, sie zu wiederholen.“

Keine Daten zu haben bedeutet…

keine Historie

keine Vorher-/Nachher-Vergleiche

keine Argumente

immer von vorn zu beginnen

Kein Verlass auf Mittelwerte

Alle Daten sammeln

Immer Daten sammeln

4


Einfaches, erweiterbares Dateiformat

Einfache Verarbeitung

Einfaches Hinzufügen neuer Metriken

Zeitstempel

Idealerweise gleiche Sammelintervalle

Beispiel: CSV (Comma-Separated Values)

5


Automatisieren der Datensammlung

Arbeitszeit ist teuer, Rechnerzeit ist billig

Vermeidet fehlende Daten bei der Analyse von Performance-Problemen

Beispiel: täglich gestarteter Batch-Job

6


Visuelles Darstellen der Daten

Funktioniert gut mit zeitgestempelten Daten

Spart ebenfalls Zeit

Erkennen von Trends

Erkennen von wiederkehrenden Mustern

Erkennen von Veränderungen

Unterstützung bei der Kommunikation von Argumenten

Beispiel: Excel-Diagramme

7


Beispiel: Vorher/Nachher-Vergleich

CPU 0 Idle %

GS14010 CPUs @ 700 MHz

GS12808 CPUs @ 1.15 GHz

Daten aus dem Marvel Performance Proof Point (P3) Projekt der Performance Group

Node(s) : RED DB 8P GS1280 and GREEN DB 10P GS140

[MON.MODES]Cpu 00 Idle(# 1)gfedcb [MON.MODES]Cpu 00 Idle(# 2)gfedcb

11:45:00(3-Mar-2003)

11:30:00(3-Mar-2003)

11:15:00(3-Mar-2003)

11:00:00(3-Mar-2003)

10:45:00(3-Mar-2003)

10:30:00(3-Mar-2003)

10:15:00(3-Mar-2003)

10:00:00(3-Mar-2003)

90

85

80

75

70

65

60

55

50

45

40

35

30

25

20

15

10

5

0

90

85

80

75

70

65

60

55

50

45

40

35

30

25

20

15

10

5

0

8


T4

Entwickelt von der Performance Group bei OpenVMS Engineering

Ursprünglich „Tom’s Terrific Timeline Tool“

Extraktion von Daten aus MONITOR /RECORD nach CSV

Mittlerweile„Total/Tabular Timeline Tracking Tool/Technique“

Rechnerbelastung i.d.R. weniger als 1% CPU

Dateiformat:

TimeLine Collaboration (TLC) Format

9


TLC-Dateiformat

CSV-Format, d.h. Text, durch Kommas getrennt 1. Zeile: Rechnername, optional weitere Infos 2./3. Zeile: Start-Datum / -Zeiten der Datensammlung

optional

4. Zeile: Namen der Metriken Konvention: "[Kollektor]Name", z.B. "[MON.SYST]CPU 0 Idle"

Ab 5. Zeile: Daten 1. Spalte: Zeitstempel

Ende des Sammelintervalls Konvention: Name enthält "Sample Time“

Genau eine Zeile pro Zeitstempel Genau eine Spalte pro Metrik/Wert (evtl. leer)

10


Erweiterbarkeit des TLC-Formats

Zeilenweises Anhängen von Dateien:

+

=

11


Beispiel TLC-Dateiformat

MAX ….. MAX MAX MAX MAX MAX

8-FEB-2006 ….. 8-FEB-2006 8-FEB-2006 8-FEB-2006 8-FEB-2006 8-FEB-2006

00:00 ….. 00:00:00 00:00:00 00:00 00:00 00:00[MON]Sample Time [MON.SYST]

Direct I/O Rate

[MON.SYST] Buffered I/O Rate

…..[NET.EIA0] Sample Time

[NET.EIA0] Pkts Recv/Sec

[NET.EIA0] Pkts Sent/Sec

8-FEB-2006 00:01:00.00 121.72 158.35 ….. 00:01:00.04 149.950 158.800 8-FEB-2006 00:02:00.00 218.57 230.17 ….. 00:02:00.04 103.967 66.767 8-FEB-2006 00:03:00.00 21.05 96.55 ….. 00:03:00.04 23.600 48.550 8-FEB-2006 00:04:00.00 40.35 69.12 ….. 00:04:00.04 80.283 26.283 8-FEB-2006 00:05:00.00 36.17 82.32 ….. 00:05:00.04 204.183 85.650 8-FEB-2006 00:06:00.00 68.45 100.47 ….. 00:06:00.04 144.350 142.983 8-FEB-2006 00:07:00.00 39.05 98.22 ….. 00:07:00.04 50.383 150.317 8-FEB-2006 00:08:00.00 13.60 75.77 ….. 00:08:00.04 4.433 40.167 8-FEB-2006 00:09:00.00 57.83 92.58 ….. 00:09:00.04 68.450 86.717 8-FEB-2006 00:10:00.00 14.53 66.97 ….. 00:10:00.04 100.200 77.133 8-FEB-2006 00:11:00.00 40.27 78.82 ….. 00:11:00.04 36.917 70.383 8-FEB-2006 00:12:00.00 118.17 119.98 ….. 00:12:00.04 100.767 335.917 8-FEB-2006 00:13:00.00 117.40 80.05 ….. 00:13:00.04 41.750 137.967

12


ECP / TDC

Performance Data Collector (TDC)

Infrastruktur für Daten-Kollektoren

Run-Time wird mit OpenVMS V8.2 Alpha und I64 installiert Required SIP (System Integrated Product)

SDK und RT für OpenVMS Alpha V7.3-2 zum Download

Enterprise Capacity Planer

Data Collector lizensiert mit OpenVMS

Setzt ab V5.5 auf TDC auf

Datenspeicherung in Binärformat

Extraktion nach CSV-Datei (kein TLC-Format!)

13


T4 – Die Software

Verzeichnis T4$Sys: Anforderungen:

Account PrcLm ≥ 20 Account TqLm ≥ 100 Account PgFlQuota ≥ 500000 Process Termination Accounting aktiviert

Steuerung durch DCL-Prozeduren Konfiguration per Dialog durch T4$Config.Com Ausführung im Batch durch T4$Collect.Com

V4.0 ab OpenVMS Alpha V7.3 und I64 V8.2 V3.3 für ältere Versionen von OpenVMS Alpha V7 SYS$ETC:T4_Vxx_KIT.EXE (ab OpenVMS V7.3-2)

14


T4 – Die Software (Forts.)

Kollektoren/Extraktoren:

MONITOR /RECORD /ALL+ T4$Mon_Extract Betriebssystem

T4$Lck73_Mon Lock Manager

T4$Xfc_Mon Extended File Cache

T4$Net_Mon Netzwerk-Interfaces

T4$Aclg Accounting Log

Tcp_Mon TCP/IP Services

T4$Fc_Mon FibreChannel-Platten (ab V4.0)

15


T4 – Die Software (Forts.)

Tools:

T4$Aprc

T4$Now

T4$Abort

CsvPng (ab V3.4)

HtmlDoc (ab V4.0)

16


T4$Config

$ @T4$SYS:T4$CONFIG

© Copyright 2002 Compaq Information Technologies Group, L.P.

Executing T4$CONFIG.COM on node MAX - Date/Time is now 7-FEB-2006 11:17:59.52

Collection Start Time [8-FEB-2006 08:00:00.00]:

Collection End Time [8-FEB-2006 20:00:00.00]:

Batch queue name : sys$batch

Network Interface Device (? for list, type RETURN to finish) : EIA0:

Network Interface Device (? for list, type RETURN to finish) :

Sampling Interval (seconds) [60] :

Destination Directory [T4$SYS] : t4$data:

Automatically manage T4 data storage [N] : yes

Number of days to retain raw data [7] :

Number of days to retain intermediate files [3] :

Number of days to retain reduced files [9999] :

Re-Submit data collection job daily [N] : yes

Email address : [email protected]

Job T4$COLLECT (queue SYS$BATCH, entry 80) holding until 8-FEB-2006 07:58

$

17


T4$Collect

Rudimentäres Datei-Management Einteilung nach Roh- / Zwischen- / Langzeit-Daten

Startet die Kollektoren

Am Ende des Sammelintervalls: Optional: Re-Submit für den nächsten Tag

Stoppen der Kollektoren

Extrahieren von MONITOR-Daten mittels T4$Mon_Extract Alle System-Daten außer SCS, Disk, RMS

+ Daten ausgewählter Prozesse

Anhängen von Daten aus anderen Quellen mittels T4$Aprc

Erzeugen von CsvPng-Grafiken ausgewählter Metriken

Optional: Versenden der Daten und Grafiken per Email

18


Durch T4 V4.0 erzeugte Dateien

Verzeichnis T4$Data:

Batch-/Subprozess-Logdateien: T4$COLLECT_nodename.LOG

T4_nodename_start-date_start-time_end-time_SUBP_facility.LOG facility: Mon, Lck7, Xfc, network-device, Tcp, Fcm

Rohdaten: T4_nodename_start-date_start-time_end-time_MON.DAT

T4_nodename_start-date_start-time_end-time_FCM.DAT

TLC-Dateien: T4_nodename_start-date_start-time_end-time_facility.CSV

facility: Lck7, Xfc, NetM_network-device, Tcp, Fcm, Aclg, Disk, Scs, Comp

19


Friends of T4

"upstream": weitere Kollektoren

Spinlocks

ORACLE Classic und Rdb

BEA WebLogic Server

Antwortzeiten / Datendurchsatz von Applikationen

…

"downstream": Verarbeiten von TLC-Dateien

Zusammenfassen

Berechnen neuer Metriken

Visualisieren

…

20


Upstream Friends of T4

Übergebene allgemeine Parameter: Startzeit

Endzeit

Sammelintervall

TLC-Dateiname

Empfehlungen: Einhalten der Intervall-Zeiten - keine Zeit-Drift!

00:01:00.57, 00:02:00.96, 00:03:01.81, 00:04:02.16, …

Geringer Overhead

Flush nach Schreiben jeder Zeile

Zugriff auf Ausgabedatei mit Share=Read

21


TLViz

TLC-Dateien sprengen wegen der Anzahl der Spalten schnell die Fähigkeiten von Excel

Programm zum Visualisieren von TLC-Daten

Überlagern von Kurven(auch aus verschiedenen Intervallen)

Gleitende Mittelwerte

Korrelation von Metriken

Berechnung neuer Metriken

Ursprünglich internes Tool der Performance Group

Geschrieben in Visual Basic

Lauffähig unter Microsoft Windows

22


Beispiel TLViz

23


JTLviz

Pure-Java Re-Implementierung von TLViz Läuft überall, wo SUNs JRE 1.4.2 verfügbar ist:

Win32, Linux, OpenVMS, MacOS, …

Begonnen als Programmierübung zum Lernen von Java Entwickelt mit NetBeans IDE 4.1 unter Windows XP Liest auch ECP/TDC-Dateien Noch keine voll funktionsfähiger Kopie

Kein Ausblenden von Kurven Kein vollständiges Überlagern von Kurven aus verschiedenen

Intervallen Korrelation nur zwischen Metriken einer Datenkollektion Kein Drucken

Hilfe willkommen!

24


Beispiel JTLviz

25


Links

JTLviz Homepagehttp://www.pdv-systeme.de/users/martinv/JTLviz.html

Homepage T4, TLViz, CsvPng, HtmlDochttp://h71000.www7.hp.com/openvms/products/t4/

OpenVMS Technical Journal V3:„TimeLine-Driven Collaboration with T4 and Friends:A Timesaving Approach to OpenVMS Performance”http://h71000.www7.hp.com/openvms/journal/v3/t4.html

OpenVMS Technical Journal V4:„Adding a Friend to T4 and Friends:Incorporating BEA WebLogic Server 8.1 Performance Data”http://h71000.www7.hp.com/openvms/journal/v4/adding_a_friend_to_t4.html

26


Links (Forts.)

ECP Homepagehttp://h71000.www7.hp.com/openvms/products/ecp/

TDC Homepagehttp://h71000.www7.hp.com/openvms/products/tdc/

OpenVMS Technical Journal V5:„Introduction to the Performance Data Collector for OpenVMS (TDC)”http://h71000.www7.hp.com/openvms/journal/v5/intro-to-performance-data-collector.html

27


Links (Forts.)

htmldoc Homepagehttp://www.htmldoc.org/

HP Java2 SDK 1.4.2 for OpenVMS Downloadhttp://h18012.www1.hp.com/java/download/ovms/1.4.2/sdk1.4.2_down.html

NetBeans for OpenVMS Homepagehttp://www.openvms.compaq.com/openvms/products/ips/netbeans/

NetBeans Homepagehttp://www.netbeans.org/

28


Fragen?

Documents

PDV-Systeme GmbH, Bornhardtstr. 3, 38644 Goslar Telefon (05321) 3703-0, Fax (05321) 8924 [email protected], JTLviz Ein neuer Freund