View
34
Download
0
Category
Preview:
DESCRIPTION
Intelligens rendszerfelügyelet. Rendszermonitorizás és eseménykezelés fejlesztési támogatása. Kocsis Imre, Micskei Zoltán. Felügyeletre tervezés. Rendszerkomponensek: a rendszerfelügyelet számára általában nem módosíthatóak Black box komponensek felügyelhetősége általában erősen korlátos - PowerPoint PPT Presentation
Citation preview
1Budapesti Műszaki és Gazdaságtudományi EgyetemMéréstechnika és Információs Rendszerek Tanszék
Rendszermonitorizás és eseménykezelés fejlesztési támogatása
Kocsis Imre, Micskei Zoltán
Intelligens rendszerfelügyelet
2
Felügyeletre tervezés Rendszerkomponensek: a rendszerfelügyelet
számára általában nem módosíthatóako Black box komponensek felügyelhetősége általában
erősen korlátoso Felügyelhetőségre tervezés: erős ipari nyomás
• MOF, IBM Autonomic Computing• DevOps
Felügyeletre tervezéshez szükségeso Támogató API-k és platform mechanizmusoko Felügyeleti modell
3
Miért lesz ez nekünk jó? Szokásos szoftver kiadás: Milyen jó lenne:
o Nem csak fut/nem fut látszódna az alkalmazásból
o Hibát jelezné, és automatikusan lehetne beavatkozni
o Alkalmazás jelezné a növekvő terhelést, automatikusan új kiszolgálót rakhatnánk alá
o …Forrás: http://dev2ops.org, What is DevOps?
4
Felügyeletre tervezés - példa (Figyelem: felkészülés a házi feladatra)
Felügyelt SW komponens: whitelisting HTTP proxyo Kliensek internet-hozzáférésének szűréseo Egyszerűsítések: egyszálú, nincs perzisztens HTTP, nincs SSL
Analízis/modellezés: rendszerfelügyeletnek fontoso állapotok,o események,o metrikák és tulajdonságok,o beavatkozási lehetőségek meghatározása.
5
Példa: kezdeti állapotgépFetch whitelist Bind to server port
Wait for request
Process client requestclientRequest
Fetch resource
[whitelist ok]
Forward data
[whitelist deny] / appLayerDeny
A rendszer erőteljesen alulspecifikált; „érdekes” hibák, hosszadalmas
hibakeresés…
6
Példa: hibaesetek specifikálása
Fetch whitelist
[(failed to load) or (format error)]
Bind to server port[load ok]
[failed to bind]
Wait for request
[bind ok]
7
Példa: további hibaesetek
Wait for request
terminate Process client request
clientRequest
[malformed req] / transportLDeny[whitelist deny] / appLayerDeny
Fetch resource
[whitelist ok]
[unsuccessful] / appLayerErrorCode
Forward data
[successful]
[successful] [unsuccessful]
Megfigyelhetőség? Legegyszerűbb: állapotgép-futás
(trace) lépéseinek naplózása
8
Példa: kiegészítés naplózással
Fetch whitelist/ logInit
[(failed to load) or (format error)] / logConfigLoadError
Bind to server port[load ok] / logLoadOk
[failed to bind] / logBindFailure
Wait for request
[bind ok] / logBindOk
9
Példa kiegészítés naplózással
Wait for request
terminate / logCleanTermination
Process client requestclientRequest / logClientRequest
[malformed req] / transportLDeny,logMalformedReq[whitelist deny] / appLayerDeny,logDeniedReq
Fetch resource
[whitelist ok] / logWhitelistOk
[unsuccessful] / appLayerErrorCode,logFetchError
Forward data
[successful] / logFetchOk
[successful] / logFwdOk[unsuccessful] / logFwdFailure
Biztos hogy minden lépés ugyanolyan fontos?
10
Log események kategorizálása - példaKategória LeírásCritical Fatal error or application crash.Error Recoverable error.Warning Noncritical problem.Information Informational message.Verbose Debugging trace.…
(.NET Framework: System.Diagnostics.TraceEventType)
11
Log események kategorizálása - példa logInit logLoadOk logConfigLoadError logBindOk logBindFailure logClientRequest
logMalformedReq logDeniedReq …
InformationInformationCriticalInformationCriticalVerbose (inkább, mint Information)ErrorError
12
Példa: metrikák – funkcionális aspektus Funkció: kiszolgáló folyamat
o Uptime Funkció: kérés-válasz kiszolgáló
o Beérkezett kérések számao Sikeresen kiszolgált kérések száma
Funkció: HTTP proxyo Rosszul formáltság miatt eldobott kérések számao HTTP hibakód miatt nem kiszolgált kérések számao Nem whitelist-be eső kérések aránya
1. Uptime kivételével: valamilyen csúszóablakra nézzük2. Az utolsó metrika: inkább adatbiztonsági aspektus3. A többi egy része is átnyúlik a szolgáltatásbiztonságba
13
Példa: metrikák – teljesítmény-aspektus Kérés-válasz kiszolgáló
o Kliensek felé átlagos kiszolgálási idő (várakozás + végrehajtás)
o Átlagos továbbított adatmennyiség HTTP proxy
o Saját kérések átlagos RTT-je• Megengedett oldalakra lebontva
o Ha cache is: átlagos fogadott adatmennyiség• De akkor be lehet venni a szokásos cache metrikákat is
Ismét csak csúszóablakokra nézve
14
Példa: Futás közbeni állapotFetch whitelist Bind to server port
Wait for request
Process client requestclientRequest
Fetch resource
[whitelist ok]
Forward data
[whitelist deny] / appLayerDeny
2010.03.20.;10:34;100;Information;Binding to port 802010.03.20.;10:34;101;Information;Waiting for request...2010.03.20.;10:35;102;Verbose;Request arrived2010.03.20.;10:35;105;Error;Malformed request
Naplózás
Monitorozás / Lekérdezés
State: ProcessRequestUptime: 00:03:14NumRequests: 15FailedRequest: 0...
15
Felügyeleti akciók - példák Terminálás
o A modell már tartalmazza Whitelist-állomány újratöltése
o Ehhez a modellt is módosítani kellene! Whitelist-modell on-the-fly módosítása
o ~ A főbb nem megengedett, de kért oldalak
listájának lekérése (+ gyakoriság, IP címek, …)
Ugye látszik, hogy bonyolultabb esetben mindezt (pl.) UML-ben ragadtuk volna meg?
16
Példa: hogy állunk most?
17
Integráció a rendszerfelügyelethez? Naplózás: (osztály)könyvtárak
o filterelés és „routing”: konfiguráció, nem kód!o Kulcsrakész integráció platformszintű
mechanizmusokhoz (pl. Event Log, WMI)oMS Enterprise Library, log4j, …
Metrikák lekérdezhetősége, operációko Jellemzően platform támogatás kihasználásao CIM provider készítése (pl. .NET WMI provider)oMa: Java Management Extensions (JMX)
18
Tartalom
Felügyeletre tervezés
Mintapélda: felügyeleti modell elkészítése
Felhasználható technológiákoMS Logging Application Blocko Java Management Extensions (JMX)
19
Microsoft Enterprise LibraryLogging Application Block
20
MS Enterprise Library Patterns & Practices csapat Tipikus feladatokra bevált megoldások gyűjteménye
21
Logging Application Block áttekintése
22
.NET naplózás a Logging Application Blockkal
1. Előszűrés
2. „Forrásokba” helyezés
3. Forrásokhoz rendelt, különböző célokkal rendelkező nyelők
0. Bejegyzéseket emittáló saját kód
4. Nyelőkhöz rendelt formázás
.NET alkalmazás-konfiguráció
(xml)
23
Log bejegyzések létrehozásastatic void Main(string[] args) { LogWriter defaultWriter = → EnterpriseLibraryContainer.Current.GetInstance<LogWriter>(); LogEntry entry = new LogEntry(); entry.EventId = 10; entry.Severity = TraceEventType.Error; entry.Message = "LoggingTest program initialized"; defaultWriter.Write(entry);
Console.WriteLine("Hello logging world"); } Bejegyzés: LogEntry példány vagy
közvetlenül a Write() változatai
24
Bejegyzések emittálása - konfiguráció
Az „alkalmazásblokk” használatba vétele
Beállítások ide kerülnek
25
Enterprise Library Configuration Tool
Grafikus szerkesztő az xml-hez
26
Log források és nyelőkICollection<String> LogEntry.Categories
Egy forráshoz több listener is tartozhat!„SourceLevel” szűrés!
27
DEMO
Log esemény kiíratása Eseménynaplóba
Átkonfigurálás: o naplózás egy szöveges állományba is
Logging Application Block
28
Linkek Microsoft Enterprise Library 5.0 – April 2010http://msdn.microsoft.com/en-us/library/ff632023.aspx Letölthető, teljes dokumentációhttp://entlib.codeplex.com/ Dev Guide: As Easy As Falling Off a Loghttp://msdn.microsoft.com/en-us/library/ff953185%28v=PandP.50%29.aspx
29
Tartalom
Felügyeletre tervezés
Mintapélda: felügyeleti modell elkészítése
Felhasználható technológiákoMS Logging Application Blocko Java Management Extensions (JMX)
30
Modern folyamat-virtuálisgépek felügyelete
.NET
Windows
WMI
Eventing
Logging
Perf. Counters
WinRM platform
31
A Java platform és menedzsmentje
32
JRE felügyeleti támogatás
Java API: platformszintű információk lokális elérésére java.lang.management
33
java.lang.management.ManagementFactory
34
Platform felügyeleti adatok: MXBean-ek
Java platform
Class Loading
Thread
Runtime
Compilation
Operating System
Memória
Memory
Memory Pool-ok
Memory Manager-ek
Garbage Collector-ok
35
Platform felügyeleti adatok: MXBean-ek
Java platform
Class Loading
Thread
Runtime
Compilation
Operating System
Memória
Memory
Memory Pool-ok
Memory Manager-ek
Garbage Collector-ok
Betöltött/kiürített osztályok száma
Szál-statisztikák és –információk (lock-ok, StackTrace, …)
VM adatok, indítási paraméterek, példány név, classpath, …
36
JVM: memória Heap:
o Futásidejű adatterület: osztály-példányok és tömböko Szemétgyűjtés (garbage collection)
Non-Heap (része): method areao Osztályonkénti struktúrák, mint
• Metódus- és konstruktor-kód• Mező és metódus-adatok• (Futásidejű) szimbólumtábla
Memory pool: ezek logikai alegységei, melyeket Memory Manager-ek kezelnek
37
Platform felügyeleti adatok: MXBean-ek
Java platform
Class Loading
Thread
Runtime
Compilation
Operating System
Memória
Memory
Memory Pool-ok
Memory Manager-ek
Garbage Collector-ok
38
Garbage Collection Explicit memória-menedzsment problémái
o „Lógó” referenciák - dangling referencesoMemória-szivárgás - memory leako (Fragmentáció)
• Lásd: különböző malloc variánsok
Megoldás: memória felszabadításának automatikus kezelése
39
Garbage Collection Azon objektumok élők, melyekre létezik referencia
o Amire semmi nem mutat, annak a memóriaterületét kezeljük úgy, mint újra kioszthatót
Gyenge generációs hipotézis (tapasztalati szabály)o A legtöbb allokált objektum rövid ideig élőo Öregebb fiatalabb referenciák: kevéso Egyszerre általában kevés fiatal objektum
Generációs GCo Generációs pool-ok, túlélők „előléptetése”o Generációnként eltérő algoritmusok/gyakoriság
40
Garbage Collection
41
JRE felügyeleti támogatás
-Attach API: másik VM-be (saját) ágens betöltetése (lásd jconsole)- + …
42
Saját alkalmazások felügyelete
Java platform
Class Loading
Thread
Runtime
Compilation
Operating System
Memória
Memory
Memory Pool-ok
Memory Manager-ek
Garbage Collector-ok
Saját webkiszolgáló állapota?
- Jó lenne hasonlóan: objektum írja le az aspektust! Valami registry / broker is kell (inkl. metaadatok)
! Távoli hozzáférés
43
JRE felügyeleti támogatás
- Instrumentációs és (távoli) menedzsment Java API- Deklarációs mechanizmusok
- Szükséges platform-támogatás
javax.management(.*)
44
JMX (Java Management Extensions)
„Kibocsájtó”: Java Community Process (JCP)Megalkotók: Sun, IBM, Apache, BEA, …Verzió: JMX 2.0, JSR255 (2008)Cél: A Java platform és alkalmazások menedzsmentjének szabványosítása, szerver és kliens oldali API-k és elvárt szolgáltatások megadásávalImpl.: J2SE 5.0-tól és J2EE 1.4-től kötelező
45
JMX: alapvető jellemzők Összetett, API-orientált szabvány „Java-ból menedzselünk akár távoli Java-t”
o Legyen egyszerűbb, mint az RMI… (de használhatja)
Metódushívás + get/set távolról
Kell valami menedzsmentobjektum-brókero Lokális Java objektumok „feliratkozása” provider-neko A lokális feliratkozottak távolról lekérdezése
• Hívások kezelése
46
JMX - architektúra
Ugyanazon Java virtuális gép (JVM)
Felügyeleti kliens szint
Ágens szint
Instrumentációs szint
platform MBeanServer további MBeanServer
MBean
MBean
platform Mbean(java.lang.management)
Ágens szolgáltatás
MBean
Connector Server (RMI)
Connector Server
(JMXMP)
Connector Server (Web
Services)
Protocol Adapter
MBean
Connector Server (RMI)
Java felügyeleti alkalmazás
Connector Client (RMI)
Böngésző, SNMP
kliens, ... WS-Management kliens
Ágens szolgáltatás
MBean
47
MBean-ek „Managed Bean”: alapvetően egy Java objektum
o Bean osztály: elnevezési, létrehozási és viselkedési konvenciók
o Szinte akármit reprezentálhat• Platform MBean-ek (MXBean): JVM erőforrások• EE környezetek szolgáltatásai (JDBC, tranzakciókezelés, …)• Saját modell
Instrumentációs szint
MBean
MBean
platform Mbean(java.lang.management)
MBean
48
MBean-ek nevei Az MBean-ekre objektum-referenciánk nincs!
Objektum-név:o Domain név: egyszerű, nem hierarchikus névtérkezeléso + kulcs tulajdonságok rendezetlen halmazao Az „eredeti” típus (Java osztály) nem jelenik meg!o Best practice: „type” és „name” kulcsok
MXBean-ek: szabványos nevek
49
MBean név példák
Catalina:type=Cache,host=localhost,path=/tomcat-docs
Catalina:type=Cache,host=localhost,path=/servlets-examples
Catalina:type=ThreadPool,name=jk-8009
java.lang:type=Runtime
java.util.logging:type=Logging
com.sun.management:type=HotSpotDiagnostic
50
DEMO
Tomcat 7.0.12, default configo http://localhost:8080
MBean-ek:o Serviceo GlobalRequestProcessor
• Page reload
JMX bevezető: példa MBean-ek
51
MBeanServer MBean-eket nyilvántartó „broker” objektum Publikus interfészén:
o Létrehozás/törlésoMBean-ek név és név-minta szerinti kereséseoMBean-ek attribútum- és metódushalmazának
lekérdezéseoMBean attribútumok olvasása és írása, metódusok
hívásao az MBean-ek által létrehozott jelzésekre feliratkozás
Távoli és lokális interfészei különböznek
52
Konnektorok MBeanServer(-ek) lokális elérése: factory
o static MBeanServer ManagementFactory.getPlatformMBeanServer()
Másik JVM-ből?
Ágens szint
platform MBeanServer további MBeanServer
Ágens szolgáltatás
MBean
Connector Server (RMI)
Connector Server
(JMXMP)
Connector Server (Web
Services)
Protocol Adapter
Connector Server (RMI)
Ágens szolgáltatás
MBean
53
KonnektorokFelügyeleti kliens szint
Ágens szint
platform MBeanServer további MBeanServer
Ágens szolgáltatás
MBean
Connector Server (RMI)
Connector Server
(JMXMP)
Connector Server (Web
Services)
Protocol Adapter
Connector Server (RMI)
Java felügyeleti alkalmazás
Connector Client (RMI)
Böngésző, SNMP
kliens, ... WS-Management kliens
Ágens szolgáltatás
MBean
54
DEMO
Távoli/lokális: MBeanServerConnectiono http://java.sun.com/j2se/1.5.0/docs/api/javax/manage
ment/class-use/MBeanServerConnection.html
Lokális: MBeanServero http://java.sun.com/j2se/1.5.0/docs/api/javax/manage
ment/MBeanServer.html
MBeanServer interfészek
55
MBean-ek metaadatai MBeanServer kliens
Descriptor: metaadatok (név/érték párok) – csakúgy, mint
a CIM-nél
56
MBean-ek fejlesztése Egy MBean egy konkrét Java osztály (példánya),
amio Implementálja a saját Mbean interfészét vagyo a DynamicMBean interfészt, illetveo Opcionálisan a NotificationBroadcaster interfészt
Az első opció: „standard” MBeanoMenedzsment interfész: egyszerű szabályok a
struktúrán
57
Standard MBean példa
public interface MyClassMBean {
public int getState();public void setState(int s);public void reset();
}
Az osztálynév: MyClass
Van megfelelő getter/setter: a State attribútum látszani fog
További operáció
58
Standard MBean példapublic class MyClass implements MyClassMBean{
private int state = 0;private String hidden = null;
public void warble(){}
public String getHidden(){return hidden;}public void setHidden(String h){hidden = h;}
public void setState(int s) {state = s;}public int getState() {return state;}
public void reset() {state = 0;}
}
+ a publikus konstruktorok látszanak (az MBeanServer is
példányosíthat)
Rejtett marad
Szintén
59
Standard MBean példa
public static void main(String[] args){
MBeanServer mbs = ManagementFactory.getPlatformMBeanServer();
MyClass m = new MyClass();
try {mbs.registerMBean(m,
new ObjectName("inf.mit.bme.hu:" + "type=MyClass,name=probe"));
[…]
60
Platform MBeanServer: távoli hozzáférés
java -Dcom.sun.management.jmxremote.port=9004 \ -Dcom.sun.management.jmxremote.ssl=false \ -Dcom.sun.management.jmxremote.authenticate=false \ ManagedApp
FIGYELEM: NEM BIZTONSÁGOS!(Lokális hozzáférés máshogy)
61
Standard MBean példa
62
Standard MBean példapublic class Manager {
public static void main(String[] args) {
JMXServiceURL address = null;JMXConnector connector = null;MBeanServerConnection connection = null;
try {address = new JMXServiceURL("service:jmx:rmi:///jndi/rmi://localhost:9004/jmxrmi");} catch (MalformedURLException e) {[…]}
63
Standard MBean példa
try {connector =
JMXConnectorFactory.connect(address);
connection = connector.getMBeanServerConnection();
} catch (IOException e) {e.printStackTrace();System.exit(1);}
64
Standard MBean példa
ObjectName on;
try {on = new
ObjectName("inf.mit.bme.hu:type=MyClass" + ",n ame=probe");
Object attr = connection.getAttribute(on, "State");
System.out.println(attr.toString());} catch (Exception e) {[…]}[…]
65
JDK-támogatás
66
DEMO
JConsole: <JDK6_HOME>\bin\jconsole.exeo Csatlakozás a Java folyamatra (Attach API)o Képességek áttekintéseo Platform MBean-ek!
JVisualVM: <JDK6_HOME>\bin\jvisualvm.exeo Csatlakozás a Java folyamatrao JConsole plugin installálásao Képességek áttekintése
JConsole és JVisualVM
67
További JDK-támogatás „Monitoring”:
o jtopo jpso jstato jstatd
„Troubleshoot”:o jinfoo jmapo jsadebugdo jstack
68
Szkriptelt hozzáférés Programozott megoldások sokszor feleslegesek
o Unix/Linux: bash/ksh/perl/…o Windows: VB, PowerShell, .bat
A Java nyelv ≠ JVM/Java platformo A .NET CLR-re is több nyelv fordítható
JVM-re épülő szkriptnyelvek (fordítás/interpretálás):o Groovyo JRubyo JavaScript JConsole script shell
69
JMX: Ami kimaradt További MBean típusok (nyílt, modell, …)
Értesítési mechanizmusok (notification)
Kötelező ágens-szolgáltatásoko „Dynamic loading”: akár dinamikusan letöltött
osztályok példányosításao Attribútum-érték monitorozás és értesítéso Ütemezett értesítésekoMBean-ek közötti asszociációs szolgáltatás
70
Linkek JMX technology page (Sun):
o http://java.sun.com/javase/technologies/core/mntr-mgmt/javamanagement/
JMX tutorial:o http://java.sun.com/j2se/1.5.0/docs/guide/jmx/tutori
al/tutorialTOC.html A Tutorial-ban az instrumentáció legalapvetőbb
kérdései:o http://java.sun.com/j2se/1.5.0/docs/guide/jmx/tutori
al/essential.html#wp1053098 JMX adatbiztonság-menedzsment
(autentikáció/titkosítás):o http://java.sun.com/javase/6/docs/technotes/guides/
management/agent.html
Recommended