Upload
fester-schied
View
113
Download
4
Embed Size (px)
Citation preview
PDV-Systeme GmbH, Bornhardtstr. 3, 38644 Goslar
Telefon (05321) 3703-0, Fax (05321) 8924
[email protected], www.pdv-systeme.de
JTLviz Ein neuer Freund für T4
Martin Vorländer
DECUS IT-Symposium 20062G06
2
IT-Symposium 20062G06
Thema: Performance-Analyse
Wichtige Punkte:
Daten sammeln
Einfaches, erweiterbares Dateiformat
Automatisieren der Datensammlung
Visuelles Darstellen der Daten
3
IT-Symposium 20062G06
Daten sammeln
"Diejenigen, die sich nicht an die Geschichte erinnern, sind dazu verdammt, sie zu wiederholen.“
Keine Daten zu haben bedeutet…
keine Historie
keine Vorher-/Nachher-Vergleiche
keine Argumente
immer von vorn zu beginnen
Kein Verlass auf Mittelwerte
Alle Daten sammeln
Immer Daten sammeln
4
IT-Symposium 20062G06
Einfaches, erweiterbares Dateiformat
Einfache Verarbeitung
Einfaches Hinzufügen neuer Metriken
Zeitstempel
Idealerweise gleiche Sammelintervalle
Beispiel: CSV (Comma-Separated Values)
5
IT-Symposium 20062G06
Automatisieren der Datensammlung
Arbeitszeit ist teuer, Rechnerzeit ist billig
Vermeidet fehlende Daten bei der Analyse von Performance-Problemen
Beispiel: täglich gestarteter Batch-Job
6
IT-Symposium 20062G06
Visuelles Darstellen der Daten
Funktioniert gut mit zeitgestempelten Daten
Spart ebenfalls Zeit
Erkennen von Trends
Erkennen von wiederkehrenden Mustern
Erkennen von Veränderungen
Unterstützung bei der Kommunikation von Argumenten
Beispiel: Excel-Diagramme
7
IT-Symposium 20062G06
Beispiel: Vorher/Nachher-Vergleich
CPU 0 Idle %
GS14010 CPUs @ 700 MHz
GS12808 CPUs @ 1.15 GHz
Daten aus dem Marvel Performance Proof Point (P3) Projekt der Performance Group
Node(s) : RED DB 8P GS1280 and GREEN DB 10P GS140
[MON.MODES]Cpu 00 Idle(# 1)gfedcb [MON.MODES]Cpu 00 Idle(# 2)gfedcb
11:45:00(3-Mar-2003)
11:30:00(3-Mar-2003)
11:15:00(3-Mar-2003)
11:00:00(3-Mar-2003)
10:45:00(3-Mar-2003)
10:30:00(3-Mar-2003)
10:15:00(3-Mar-2003)
10:00:00(3-Mar-2003)
90
85
80
75
70
65
60
55
50
45
40
35
30
25
20
15
10
5
0
90
85
80
75
70
65
60
55
50
45
40
35
30
25
20
15
10
5
0
8
IT-Symposium 20062G06
T4
Entwickelt von der Performance Group bei OpenVMS Engineering
Ursprünglich „Tom’s Terrific Timeline Tool“
Extraktion von Daten aus MONITOR /RECORD nach CSV
Mittlerweile„Total/Tabular Timeline Tracking Tool/Technique“
Rechnerbelastung i.d.R. weniger als 1% CPU
Dateiformat:
TimeLine Collaboration (TLC) Format
9
IT-Symposium 20062G06
TLC-Dateiformat
CSV-Format, d.h. Text, durch Kommas getrennt 1. Zeile: Rechnername, optional weitere Infos 2./3. Zeile: Start-Datum / -Zeiten der Datensammlung
optional
4. Zeile: Namen der Metriken Konvention: "[Kollektor]Name", z.B. "[MON.SYST]CPU 0 Idle"
Ab 5. Zeile: Daten 1. Spalte: Zeitstempel
Ende des Sammelintervalls Konvention: Name enthält "Sample Time“
Genau eine Zeile pro Zeitstempel Genau eine Spalte pro Metrik/Wert (evtl. leer)
10
IT-Symposium 20062G06
Erweiterbarkeit des TLC-Formats
Zeilenweises Anhängen von Dateien:
+
=
11
IT-Symposium 20062G06
Beispiel TLC-Dateiformat
MAX ….. MAX MAX MAX MAX MAX
8-FEB-2006 ….. 8-FEB-2006 8-FEB-2006 8-FEB-2006 8-FEB-2006 8-FEB-2006
00:00 ….. 00:00:00 00:00:00 00:00 00:00 00:00[MON]Sample Time [MON.SYST]
Direct I/O Rate
[MON.SYST] Buffered I/O Rate
…..[NET.EIA0] Sample Time
[NET.EIA0] Pkts Recv/Sec
[NET.EIA0] Pkts Sent/Sec
8-FEB-2006 00:01:00.00 121.72 158.35 ….. 00:01:00.04 149.950 158.800 8-FEB-2006 00:02:00.00 218.57 230.17 ….. 00:02:00.04 103.967 66.767 8-FEB-2006 00:03:00.00 21.05 96.55 ….. 00:03:00.04 23.600 48.550 8-FEB-2006 00:04:00.00 40.35 69.12 ….. 00:04:00.04 80.283 26.283 8-FEB-2006 00:05:00.00 36.17 82.32 ….. 00:05:00.04 204.183 85.650 8-FEB-2006 00:06:00.00 68.45 100.47 ….. 00:06:00.04 144.350 142.983 8-FEB-2006 00:07:00.00 39.05 98.22 ….. 00:07:00.04 50.383 150.317 8-FEB-2006 00:08:00.00 13.60 75.77 ….. 00:08:00.04 4.433 40.167 8-FEB-2006 00:09:00.00 57.83 92.58 ….. 00:09:00.04 68.450 86.717 8-FEB-2006 00:10:00.00 14.53 66.97 ….. 00:10:00.04 100.200 77.133 8-FEB-2006 00:11:00.00 40.27 78.82 ….. 00:11:00.04 36.917 70.383 8-FEB-2006 00:12:00.00 118.17 119.98 ….. 00:12:00.04 100.767 335.917 8-FEB-2006 00:13:00.00 117.40 80.05 ….. 00:13:00.04 41.750 137.967
12
IT-Symposium 20062G06
ECP / TDC
Performance Data Collector (TDC)
Infrastruktur für Daten-Kollektoren
Run-Time wird mit OpenVMS V8.2 Alpha und I64 installiert Required SIP (System Integrated Product)
SDK und RT für OpenVMS Alpha V7.3-2 zum Download
Enterprise Capacity Planer
Data Collector lizensiert mit OpenVMS
Setzt ab V5.5 auf TDC auf
Datenspeicherung in Binärformat
Extraktion nach CSV-Datei (kein TLC-Format!)
13
IT-Symposium 20062G06
T4 – Die Software
Verzeichnis T4$Sys: Anforderungen:
Account PrcLm ≥ 20 Account TqLm ≥ 100 Account PgFlQuota ≥ 500000 Process Termination Accounting aktiviert
Steuerung durch DCL-Prozeduren Konfiguration per Dialog durch T4$Config.Com Ausführung im Batch durch T4$Collect.Com
V4.0 ab OpenVMS Alpha V7.3 und I64 V8.2 V3.3 für ältere Versionen von OpenVMS Alpha V7 SYS$ETC:T4_Vxx_KIT.EXE (ab OpenVMS V7.3-2)
14
IT-Symposium 20062G06
T4 – Die Software (Forts.)
Kollektoren/Extraktoren:
MONITOR /RECORD /ALL+ T4$Mon_Extract Betriebssystem
T4$Lck73_Mon Lock Manager
T4$Xfc_Mon Extended File Cache
T4$Net_Mon Netzwerk-Interfaces
T4$Aclg Accounting Log
Tcp_Mon TCP/IP Services
T4$Fc_Mon FibreChannel-Platten (ab V4.0)
15
IT-Symposium 20062G06
T4 – Die Software (Forts.)
Tools:
T4$Aprc
T4$Now
T4$Abort
CsvPng (ab V3.4)
HtmlDoc (ab V4.0)
16
IT-Symposium 20062G06
T4$Config
$ @T4$SYS:T4$CONFIG
© Copyright 2002 Compaq Information Technologies Group, L.P.
Executing T4$CONFIG.COM on node MAX - Date/Time is now 7-FEB-2006 11:17:59.52
Collection Start Time [8-FEB-2006 08:00:00.00]:
Collection End Time [8-FEB-2006 20:00:00.00]:
Batch queue name : sys$batch
Network Interface Device (? for list, type RETURN to finish) : EIA0:
Network Interface Device (? for list, type RETURN to finish) :
Sampling Interval (seconds) [60] :
Destination Directory [T4$SYS] : t4$data:
Automatically manage T4 data storage [N] : yes
Number of days to retain raw data [7] :
Number of days to retain intermediate files [3] :
Number of days to retain reduced files [9999] :
Re-Submit data collection job daily [N] : yes
Email address : [email protected]
Job T4$COLLECT (queue SYS$BATCH, entry 80) holding until 8-FEB-2006 07:58
$
17
IT-Symposium 20062G06
T4$Collect
Rudimentäres Datei-Management Einteilung nach Roh- / Zwischen- / Langzeit-Daten
Startet die Kollektoren
Am Ende des Sammelintervalls: Optional: Re-Submit für den nächsten Tag
Stoppen der Kollektoren
Extrahieren von MONITOR-Daten mittels T4$Mon_Extract Alle System-Daten außer SCS, Disk, RMS
+ Daten ausgewählter Prozesse
Anhängen von Daten aus anderen Quellen mittels T4$Aprc
Erzeugen von CsvPng-Grafiken ausgewählter Metriken
Optional: Versenden der Daten und Grafiken per Email
18
IT-Symposium 20062G06
Durch T4 V4.0 erzeugte Dateien
Verzeichnis T4$Data:
Batch-/Subprozess-Logdateien: T4$COLLECT_nodename.LOG
T4_nodename_start-date_start-time_end-time_SUBP_facility.LOG facility: Mon, Lck7, Xfc, network-device, Tcp, Fcm
Rohdaten: T4_nodename_start-date_start-time_end-time_MON.DAT
T4_nodename_start-date_start-time_end-time_FCM.DAT
TLC-Dateien: T4_nodename_start-date_start-time_end-time_facility.CSV
facility: Lck7, Xfc, NetM_network-device, Tcp, Fcm, Aclg, Disk, Scs, Comp
19
IT-Symposium 20062G06
Friends of T4
"upstream": weitere Kollektoren
Spinlocks
ORACLE Classic und Rdb
BEA WebLogic Server
Antwortzeiten / Datendurchsatz von Applikationen
…
"downstream": Verarbeiten von TLC-Dateien
Zusammenfassen
Berechnen neuer Metriken
Visualisieren
…
20
IT-Symposium 20062G06
Upstream Friends of T4
Übergebene allgemeine Parameter: Startzeit
Endzeit
Sammelintervall
TLC-Dateiname
Empfehlungen: Einhalten der Intervall-Zeiten - keine Zeit-Drift!
00:01:00.57, 00:02:00.96, 00:03:01.81, 00:04:02.16, …
Geringer Overhead
Flush nach Schreiben jeder Zeile
Zugriff auf Ausgabedatei mit Share=Read
21
IT-Symposium 20062G06
TLViz
TLC-Dateien sprengen wegen der Anzahl der Spalten schnell die Fähigkeiten von Excel
Programm zum Visualisieren von TLC-Daten
Überlagern von Kurven(auch aus verschiedenen Intervallen)
Gleitende Mittelwerte
Korrelation von Metriken
Berechnung neuer Metriken
Ursprünglich internes Tool der Performance Group
Geschrieben in Visual Basic
Lauffähig unter Microsoft Windows
22
IT-Symposium 20062G06
Beispiel TLViz
23
IT-Symposium 20062G06
JTLviz
Pure-Java Re-Implementierung von TLViz Läuft überall, wo SUNs JRE 1.4.2 verfügbar ist:
Win32, Linux, OpenVMS, MacOS, …
Begonnen als Programmierübung zum Lernen von Java Entwickelt mit NetBeans IDE 4.1 unter Windows XP Liest auch ECP/TDC-Dateien Noch keine voll funktionsfähiger Kopie
Kein Ausblenden von Kurven Kein vollständiges Überlagern von Kurven aus verschiedenen
Intervallen Korrelation nur zwischen Metriken einer Datenkollektion Kein Drucken
Hilfe willkommen!
24
IT-Symposium 20062G06
Beispiel JTLviz
25
IT-Symposium 20062G06
Links
JTLviz Homepagehttp://www.pdv-systeme.de/users/martinv/JTLviz.html
Homepage T4, TLViz, CsvPng, HtmlDochttp://h71000.www7.hp.com/openvms/products/t4/
OpenVMS Technical Journal V3:„TimeLine-Driven Collaboration with T4 and Friends:A Timesaving Approach to OpenVMS Performance”http://h71000.www7.hp.com/openvms/journal/v3/t4.html
OpenVMS Technical Journal V4:„Adding a Friend to T4 and Friends:Incorporating BEA WebLogic Server 8.1 Performance Data”http://h71000.www7.hp.com/openvms/journal/v4/adding_a_friend_to_t4.html
26
IT-Symposium 20062G06
Links (Forts.)
ECP Homepagehttp://h71000.www7.hp.com/openvms/products/ecp/
TDC Homepagehttp://h71000.www7.hp.com/openvms/products/tdc/
OpenVMS Technical Journal V5:„Introduction to the Performance Data Collector for OpenVMS (TDC)”http://h71000.www7.hp.com/openvms/journal/v5/intro-to-performance-data-collector.html
27
IT-Symposium 20062G06
Links (Forts.)
htmldoc Homepagehttp://www.htmldoc.org/
HP Java2 SDK 1.4.2 for OpenVMS Downloadhttp://h18012.www1.hp.com/java/download/ovms/1.4.2/sdk1.4.2_down.html
NetBeans for OpenVMS Homepagehttp://www.openvms.compaq.com/openvms/products/ips/netbeans/
NetBeans Homepagehttp://www.netbeans.org/
28
IT-Symposium 20062G06
Fragen?