View
29
Download
0
Category
Preview:
Citation preview
© 2013 magellan netzwerke GmbH
| Globaler Überblick
Referent / Redner Benjamin Tiggemann
Folien Chart 2
© 2013 | magellan netzwerke GmbH
Überblick
Agenda
1. Die Herausforderung
2. Was ist Splunk?
3. Die Architektur von Splunk
4. Auszug aus unseren Case Studies
5. Live Demo
6. Neuerungen in Splunk Enterprise Version 6
Folien Chart 3
© 2013 | magellan netzwerke GmbH
Überblick
Die Herausforderung
Folien Chart 4
© 2013 | magellan netzwerke GmbH
Überblick
Anforderungen an die Maschinendatenanalyse in der Zukunft:
BIG DATA
Splunk storage Hadoop or other storage
Data collection and indexing
• Zunehmende maschinelle Erzeugung von Daten
• Laut Berechnungen verdoppelt sich das weltweite Datenvolumen
alle 2 Jahre
• BIG DATA als treibender Faktor für IT-Investitionen
• Auswertung und Korrelation von BIG DATA als Chance zur
Gewinnoptimierung und Serviceverbesserung
Folien Chart 5
© 2013 | magellan netzwerke GmbH
Überblick
einheitliche Anforderungen – untersch.Lösungen
Applikation Management
Datenbank Management
System Management
Network Management
Analytics
Applikationen Datenbanken Server Anwender Web / Cloud
Folien Chart 6
© 2013 | magellan netzwerke GmbH
Überblick
Eine Lösung, die Ihre Daten korreliert!
Applikation Management
Datenbank Management
System Management
Network Management
Analytics
Applikationen Datenbanken Server Network/ Devices
Anwender Web / Cloud
Folien Chart 7
© 2013 | magellan netzwerke GmbH
Überblick
Was ist Splunk?
Folien Chart 8
© 2013 | magellan netzwerke GmbH
Überblick
Sammeln, Verarbeiten und Nutzen Ihrer Maschinen erzeugten
Daten zur Identifizierung von Problemen, Risiken und
Chancen um bessere Entscheidungen für IT und Business
zu treffen.
Splunk’s Mission
Folien Chart 9
© 2013 | magellan netzwerke GmbH
Überblick
Unternehmensdaten Splunk (NASDAQ: SPLK)
Gründung 2004
Firmensitz San Francisco, CA
Mitarbeiter 600 in 12 Ländern
Niederlassun
gen
Nordamerika, EMEA
(London), APAC
(Honkong)
Kunden 4.400++
Anwender 1.000.000 in 75
Ländern
Umsatz $120 Mio. (2012)
Folien Chart 10
© 2013 | magellan netzwerke GmbH
Überblick
Was ist Splunk nun genau?
• Splunk ist eine plattformunabhängige Software
• Splunk ist eine Suchmaschine für jede Art von Maschinendaten
• Splunk wertet ihre Daten automatisch aus und stellt sie grafisch dar
Developer Platform
Report and
analyze
Custom dashboards
Monitor and alert
Ad hoc search
Splunk storage Other Big Data stores
Online
Service
s Web
Service
s
Servers Security GPS
Locatio
n
Storage Desktops
Networks
Packaged
Application
s
Custom
Application
s
Messaging
Telecoms Online
Shopping
Cart
Web
Clickstrea
ms
Databases
Energy
Meters
Call Detail
Records
Smartphones
and Devices
RFID
Folien Chart 11
© 2013 | magellan netzwerke GmbH
Überblick
Die Architektur von Splunk
Folien Chart 12
© 2013 | magellan netzwerke GmbH
Überblick
Collection
Indexing
Search
Core Functions
Access Controls
Stats/ Analytics
Alerts Dashboards Reports
Apps and Solutions
Application Monitoring
SDK User Interface APIs
IT Operations
Security Compliance Business Analytics
Web Intelligence
Architektur und Vorteile von Splunk
• Echtzeit Indizierung der Daten
• Echtzeit Dashboarding
• Echtzeitalarmierung (Email, Script, etc.)
• Multiline Support
• Mandanten Fähigkeit (LDAP, AD)
• Mechanismus zum Auswerten von
Langzeitdaten (Compliance)
• Keine Datenbank
Folien Chart 13
© 2013 | magellan netzwerke GmbH
Überblick
Datenbankbasierte Lösungen
Folien Chart 14
© 2013 | magellan netzwerke GmbH
Überblick
Splunk Lösung: Flat File, Kein Schema
Folien Chart 15
© 2013 | magellan netzwerke GmbH
Überblick
Wie werden die Daten verarbeitet?
…ermöglicht akkurate Suchen und Trends über sämtliche
Daten
Automatisierte Ereignisabgrenzung
Automatisierte Erkennung der Zeitstempel
Folien Chart 16
© 2013 | magellan netzwerke GmbH
Überblick
...ermöglicht Bollean Suchen auf jedem Ausdruck im Originalereignis
Segmentierung & und genaue Indexierung jedes Ausdrucks
Wie werden die Daten verarbeitet?
Folien Chart 17
© 2013 | magellan netzwerke GmbH
Überblick
Wie werden die Daten verarbeitet?
LogEvent
Splunk erkennt automatisch Felder und ordnet den Feldern die Werte zu.
Auf die Felder können via Suche, Funktionen angewendet werden,
die die Daten auswerten und grafisch darstellen
Folien Chart 18
© 2013 | magellan netzwerke GmbH
Überblick
Wie gelangen die Daten in Splunk?
Agent and Agent-less Approach for Flexibility.
18
perf
shell
code
Mounted File Systems \\hostname\mount
syslog TCP/UDP
WMI Event Logs Performance
Active Directory
y
syslog compatible hosts and network devices
Unix, Linux and Windows hosts
Windows hosts Custom apps and scripted API connections
Local File Monitoring log filesconfig files
dumps and trace files
Windows Inputs Event Logs
performance counters registry monitoring
Active Directory monitoring
virtual host
Windows hosts
Scripted Inputs shell scripts custom
parsers batch loading
Agent-less Data Input Splunk Forwarder
Folien Chart 19
© 2013 | magellan netzwerke GmbH
Überblick
Indexing/Search Server
Splunk Forwarders
Universal Forwarder sendet Daten
von entfernten Systemen zum Splunk-
Indexer
Verbraucht minimale Systemressourcen
(1%-2%)
Bietet Caching, Verschlüsselung,
Loadbalancing und Replizierung der Daten
an
Folien Chart 20
© 2013 | magellan netzwerke GmbH
Überblick
Eine Splunk Installation kann eine oder alle Funktionen abbilden…
Indexing and Search Services (Indexer)
Local Management (Deployment Server)
Data Collection and Forwarding (Forwarder)
Bestandteile der Software
Search and Reporting (Search Head)
Folien Chart 21
© 2013 | magellan netzwerke GmbH
Überblick
Lastverteilte Suchen und Indexierung für gewaltige Skalierungen
Forwarder mit Auto Load
Balancing
Search Head
Horizontale Skalierbarkeit
Indexers
Folien Chart 22
© 2013 | magellan netzwerke GmbH
Überblick
Klonen der Daten
Weiterleitung an Data Repository
Aktiv Standby
Datenredundanz
Aufteilung der Suchen auf mehrere Search Heads ebenfalls möglich
Folien Chart 23
© 2013 | magellan netzwerke GmbH
Überblick
High Availability
Folien Chart 24
© 2013 | magellan netzwerke GmbH
Überblick
Lizenzierung
Lizensiert wird das tägliche Logvolumen das Splunk indizieren muss Staffelung von mindestens 500 MB bis zu X Terabyte pro Tag Größter Kunde indiziert aktuell >100 Terabyte pro Tag Lizenzverletzung führt NICHT zum Abschalten des Systems Suchfunktion wird eingeschränkt
Folien Chart 25
© 2013 | magellan netzwerke GmbH
Überblick
Freie Enterprise Test-Version Indexed 500MB/Tag Testlizenz läuft nach 60 Tagen ab Trial Lizenzen über 500MB/Tag können über Partner angefordert werden Wird zur freien Lizenz
Folgende Features sind in der freien Lizenz nicht enthalten User-Rollen und Authentisierung mehrer User Auslagern der Suchfunktion auf dediziertes System (distributed search) Weiterleiten von Daten zu 3rd Party Systemen Konfigurationsverwaltung (deployment server) Zeitgesteuerte Suchen und generelle Alarmierungen
Weitere Lizenzen Enterprise, Forwarder, Trial, kostenpflichtige APPS (über 350 kostenlose Apps in Lizenz enthalten)
Lizenzierung
Folien Chart 26
© 2013 | magellan netzwerke GmbH
Überblick
Problem Investigation
Zentralisiertes Lizenz-Management
Folien Chart 27
© 2013 | magellan netzwerke GmbH
Überblick
“How to get started”
Damit Splunk auch Spaß macht….
Log-Events sind zeitabhängig -> dies setzt eine einheitliche NTP / Zeit-Infrastruktur voraus Planen Sie ausführlich
Welches Datenaufkommen habe ich am Tag? Wie lange möchte ich die Daten vorhalten? 1 Tag? 1 Jahr? Wie viele User arbeiten gleichzeitig mit Splunk?
Folien Chart 28
© 2013 | magellan netzwerke GmbH
Überblick
Referenz Server
• Dual quad-core/6-core machines at ~2.5 GHz
• 16 GB RAM
• For indexers: 4x10K local SAS drives in
RAID 10 (1200+ IOPs) <- most important
• Variations in type of server and level of usage govern number of
machines needed
Wäre ausgelegt für:
100 GB Indexing pro Tag (Indexer)
oder
10 bis 12 gleichzeitigen Suchen (Search head)
Folien Chart 29
© 2013 | magellan netzwerke GmbH
Überblick
Wie viel Speicherplatz wird benötigt?
Das hängt ab von:
•Wie lange möchte ich meine Daten vorhalten?
•Wie groß ist mein tägliches Datenvolumen?
•Splunk komprimiert die eingehenden Daten ca. um 50%
Beispiel:
Ein Kunde möchte seine Firewalldaten (4 GB/Tag) ein Jahr lang
vorhalten
Benötigter Storage* = 4GB * 0,5 * 365d = 730 GB
*ohne Summary-Indexing
Folien Chart 30
© 2013 | magellan netzwerke GmbH
Überblick
“Add Knowledge” Unterstützung Dank App-Technologie
Apps… Helfen dabei die Daten zu “normalisieren” (Bildung von Key Value Pairs) Stellen vordefinierte Suchen, Dashboards, Reports, etc. bereit Bilden Schnittstellen zu anderen Lösungen wie z.B. Hadoop Sind frei und zum größten Teil kostenlos* verfügbar unter http://splunk-base.splunk.com/apps
*außer Splunk for Enterprise Security, PCI Compliance und VMWare
Folien Chart 31
© 2013 | magellan netzwerke GmbH
Überblick
Eigene Apps von Splunk
Splunk for Enterprise Security wurde als beste SIEM App ausgezeichnet. splunkbase.com
QUICK WIN
Folien Chart 32
© 2013 | magellan netzwerke GmbH
Überblick
Über 320 Apps unter
http://splunk-base.splunk.com
Folien Chart 33
© 2013 | magellan netzwerke GmbH
Überblick
Folien Chart 34
© 2013 | magellan netzwerke GmbH
Überblick
Auszug aus unseren Case Studies
Folien Chart 35
© 2013 | magellan netzwerke GmbH
Überblick
case studies by magellan – Splunk im VoIP Umfeld
Versicherungsbranche
Umgebung:
Heterogene VoIP Infrastruktur auf Asteriskbasis
>2000 Endgeräte, diverse Hersteller für Gatekeeper, Mediagateways etc.
Anforderung:
• Call-Nachverfolgung über die gesamte Topologie
• Vereinheitlichen der Rufnummern
• Darstellung des Calls nach Suche durch From oder To-Rufnummern
• Erkennung von Fehlverhalten wie z.B. Verbindungsabbrüchen
Folien Chart 36
© 2013 | magellan netzwerke GmbH
Überblick
case studies by magellan – Splunk im Datacenter Mailhosting
IT-Dienstleister (magellan)
Umgebung:
Redundante Data-Center-Infrastruktur für Hostingservices
Mailhosting-Infrastruktur mit Fortinet Mail-Security, Zertifikon und MS
Exchange, Handling von über 4 Mio. Mails pro Tag
Anforderung:
• Nachverfolgung des Mailflows via From, To, Betreff etc.
• Security-Analyse des Spam- und AV-Aufkommens
• Kapazitätsplanung
• Kundenabrechnung
Folien Chart 37
© 2013 | magellan netzwerke GmbH
Überblick
Internationales Handelsunternehmen
Umgebung:
Mehrere Datacenter mit virt. & phys. Servern, Diverse Betriebssysteme
und Citrix Xenapp
Anforderung:
• Inventarisierung aller aktiven Server „online“ und in Historie
• Überwachung der Citrix-Umgebung, z.B. Anzahl Server, Anzahl
Sessions, Errors etc.
• Inventarisierung des AD, z.B. Anzahl Benutzer, Objekte und deren
Status
• VMWare und Logging, Monitoring
case studies by magellan – Splunk im Datacenter
Folien Chart 38
© 2013 | magellan netzwerke GmbH
Überblick
case studies by magellan – Splunk im Firewall-Umfeld
Führendes Medienunternehmen
Umgebung:
Weltweites Netzwerk zum Austausch von Nachrichten, Videos, etc.
Stellt Kunden Daten bereit, Absicherung des Netzwerks mittels Fortinet
Firewalls
Anforderung:
• Überwachung des Informationsflusses
• Überwachung und Abrechnung der Bandbreitennutzung innerhalb des
Netzwerks
• Erkennung von Sicherheitsvorfällen wie Botnetz-Kommunikation
Tätigkeiten:
Erstellen von Dashboards zur Berechnung des Datenflusses, Korrelation
der Firewall-Logs mit externen Botnetz-Datenbanken
Folien Chart 39
© 2013 | magellan netzwerke GmbH
Überblick
LIVE DEMO
Folien Chart 40
© 2013 | magellan netzwerke GmbH
Überblick
Neuerungen in Splunk Enterprise Version 6
Folien Chart 41
© 2013 | magellan netzwerke GmbH
Überblick
Splunk 6
Engine Platform 1 2 3
Tool
4 4.1 4.2 4.3 5
“Google for the datacenter”
“Engine for machine-generated data”
“Platform for operational intelligence”
Folien Chart 42
© 2013 | magellan netzwerke GmbH
Überblick
Zielsetzungen für Splunk Enterprise 5
Verbesserung und Beschleunigung der Dashboards
und des Reportings
Hochverfügbarkeit mit Standard-Hardware
Anwender Plattform, API, SDK, Big Data Integration
Folien Chart 43
© 2013 | magellan netzwerke GmbH
Überblick
Was nun Wo kann man
Splunk noch
verbessern?
Folien Chart 44
© 2013 | magellan netzwerke GmbH
Überblick
Drive Value Across the Enterprise
Einfachere der
Verwaltung der
Splunk Enterprise
Umgebgung
Schnelle und
einfachere Analyse
und Darstellung von
Maschinendaten für
ein größeres
Userspektrum
“Operational Intelligence” für
Jedermann
Schnellere und
einfachere
Entwicklung
eigener Apps
Folien Chart 45
© 2013 | magellan netzwerke GmbH
Überblick
Powerful Analytics anyone can use
Up to 1000x faster
over Splunk 5
Folien Chart 46
© 2013 | magellan netzwerke GmbH
Überblick
Die drei Key-Features in Splunk 6
Ein neues grafisches Tool ermöglicht das Erstellen von Reports ohne die komplexe Suchsprache
Vereinfacht das Verknüpfen unterschiedlicher Maschinendaten, stellt die Basis für Pivot bereit.
Neuer Datenspeicher, mit vorextrahierten Werten, der die Suchen 1000x beschleunigt…
Pivot
Data Model
Analytics Store
[10/11/121
18:57:04 UTC] 000000b0 bo
ChromeChrome///0123
["http://sho
p.gourmet-shop.
Com/www.
Chrome/258
[ooglebot.com bot.html)"424 0b0
Chrome//00 Chrome5.0.37
5
Folien Chart 47
© 2013 | magellan netzwerke GmbH
Überblick
Easy-to-use Analytics Interface • Pivot
• Das Drag-and-Drop Interface ermöglicht einem “normalen” User das Auswerten von Maschinendaten
• Ermöglicht komplexe Reports ohne die Splunk Suchsprache
• One-Click-Visualisierung für jeden Chart-Typ, dynamische Updates für neue Felder-
POWERFUL
ANALYTICS
Folien Chart 48
© 2013 | magellan netzwerke GmbH
Überblick
Define Relationships in Machine Data
• Data Model • Beschreibt für Pivot wie der
Zugriff und die Darstellung auf die Maschinendaten erfolgt
• Beschreibt die Zusammenhänge zwischen unterschiedlichen Daten
• Regelt auf welche Daten mit Pivot zugegriffen werden darf
• Schafft die Verbindung zwischen structured und unstructured Data
POWERFUL
ANALYTICS
Folien Chart 49
© 2013 | magellan netzwerke GmbH
Überblick
Deliver Analytics up to 1000x Faster
• Analytics Store • Eigener Datenspeicher, der
zusammengefasste Ergebnisse für ein Data Model aus einem normalen Splunk Index zieht
• Ist wie ein Lexikon aufgebaut, speicher keine RAW Daten sondern an welcher Stelle im Index das Feld X auftritt
• Beschleunigt damit das Data Model
POWERFUL
ANALYTICS
Folien Chart 50
© 2013 | magellan netzwerke GmbH
Überblick
• Maps • Integrierte GEO-IP Map die Suchergebnisse in einer Karte darstellt
• Es wird keine online Verbindung für die Kartendarstellung benötigt
• Arbeitet unabhänging vom Google Maps App
• Lässt sich besser intergrieren
Zusätzliche Analyse-Features in Splunk 6
Folien Chart 51
© 2013 | magellan netzwerke GmbH
Überblick
• Predictive Analysis
• Neuer Splunk Suchbefehl “predict”
• Wertet historische Daten aus und bildet eine Baseline, um zukünftige Kapazitäten zu berechnen
• z.B. Berechnung Hardwareanforderungen in Vmware
• Root Cause Analyse um abnormale Pattern zu erkennen (IT Sicherheit)
• Erweiterung des Monitorings wichtiger
System um Ausfälle zu erkennen
bevor sie passieren
Zusätzliche Analyse-Features in Splunk 6
Folien Chart 52
© 2013 | magellan netzwerke GmbH
Überblick
Weitere Features in Splunk 6
Optimiertes User-Interface für besseren Zugriff auf Apss und
Reports
Einführung einer grafischen Oberfläche
zur Administration größerer Splunk-
Umgebungen
Einfachere Integration von Splunk in eigene
Software mittels Standardprogrammier-
sprachen
SIMPLIFIED MANAGEMENT
INTUITIVE USER EXPERIENCE
RICH DEVELOPER ENVIRONMENT
Folien Chart 53
© 2013 | magellan netzwerke GmbH
Überblick
Increased User Productivity
Home Screen
• Neues Menüsystem für schnellere und einfachere Navigation
• Direkte Integration der Apps via Items
• Ermöglicht dem einzelnen User direkten Zugriff auf die für ihn relevanten Daten
(durch “Customizing”)
INTUITIVE USER EXPERIENCE
Folien Chart 54
© 2013 | magellan netzwerke GmbH
Überblick
Redesigned Search and Reporting
Enhanced Search Experience • Erstellen und Speichern von
Suchen und Reports aus einem Interface ohne zwischen Menüpunkten zu wechseln
• Beinhaltet eine vereinfachte Felderkennung
• Kompatibel zu Apps aus Splunk 5
INTUITIVE USER EXPERIENCE
Folien Chart 55
© 2013 | magellan netzwerke GmbH
Überblick
Centralized Cluster Management
Simplified Cluster Management
• Überwacht Splunk’s HA Dienste und stellt deren Status in einem Dashboard dar
• Balanced Daten und “Search workload” wenn eine Node ausfällt
• Stellt automatische App-Verteilung auf alle Indexer bereit
SIMPLIFIED MANAGEMENT
Folien Chart 56
© 2013 | magellan netzwerke GmbH
Überblick
Easier Deployment, Configuration
Forwarder Management • Neue GUI zum Ausrollen und
Überwachen von Konfigurationsdateien
• Status-Tracking von Rollouts neuer Konfigurationsdatien
• Kein editieren der Forwarder-Konfiguration in Textdateien mehr
• Konfiguration der Splunk Forwarder via GUI
SIMPLIFIED MANAGEMENT
Folien Chart 57
© 2013 | magellan netzwerke GmbH
Überblick
Powerful Dashboard Customization
Enhanced Dashboard Editor
• Ermöglicht das Anpassen und erstellen interaktiver Dashboards ohne die Nutzung von Adv. XML
• Ermöglicht einfaches “custom Styling” der Dashboards , z.B. einfügen von Firmenlogos etc.
RICH DEVELOPER ENVIRONMENT
Folien Chart 58
© 2013 | magellan netzwerke GmbH
Überblick
Standards-based Development
Web Framework
• Ermöglicht schnelles und effizientes Erstellen von Apps mit Hilfe bekannter Webtechnologien
• Entwickler können Apps in SimpleXML, JavaScript, Django oder in Kombination erstellen und integrieren
RICH DEVELOPER ENVIRONMENT
REST API
Build Splunk Apps Extend and Integrate
Splunk
Simple XML
JavaScript
Django
Web Framework
Java JavaScript Python
Ruby C# PHP
Data Models
Search Extensibility
Modular Inputs
SDKs
Folien Chart 59
© 2013 | magellan netzwerke GmbH
Überblick
Vereinfachte Nutzung von
Splunk für “Non IT User”
GUI zur Verwaltung der
Splunk-Instanzen
Verbesserung der Useability
SIMPLIFIED MANAGEMENT
INTUITIVE USER EXPERIENCE
RICH DEVELOPER ENVIRONMENT
Neues Framework zur
App Entwicklung mit Standard-Web-Sprachen
POWERFUL ANALYTICS
Zusammengefasst…
Folien Chart 60
© 2013 | magellan netzwerke GmbH
Überblick
FIN
Recommended