Referent / Redner Benjamin Tiggemann...Application Monitoring User Interface APIs SDK IT Operations Security Compliance Business Analytics Web Intelligence Architektur und Vorteile

© 2013 magellan netzwerke GmbH

| Globaler Überblick

Referent / Redner Benjamin Tiggemann

Folien Chart 2

© 2013 | magellan netzwerke GmbH

Überblick

Agenda

1. Die Herausforderung

2. Was ist Splunk?

3. Die Architektur von Splunk

4. Auszug aus unseren Case Studies

5. Live Demo

6. Neuerungen in Splunk Enterprise Version 6

Folien Chart 3


Überblick

Die Herausforderung

Folien Chart 4


Überblick

Anforderungen an die Maschinendatenanalyse in der Zukunft:

BIG DATA

Splunk storage Hadoop or other storage

Data collection and indexing

• Zunehmende maschinelle Erzeugung von Daten

• Laut Berechnungen verdoppelt sich das weltweite Datenvolumen

alle 2 Jahre

• BIG DATA als treibender Faktor für IT-Investitionen

• Auswertung und Korrelation von BIG DATA als Chance zur

Gewinnoptimierung und Serviceverbesserung

Folien Chart 5


Überblick

einheitliche Anforderungen – untersch.Lösungen

Applikation Management

Datenbank Management

System Management

Network Management

Analytics

Applikationen Datenbanken Server Anwender Web / Cloud

Folien Chart 6


Überblick

Eine Lösung, die Ihre Daten korreliert!

Applikation Management

Datenbank Management

System Management

Network Management

Analytics

Applikationen Datenbanken Server Network/ Devices

Anwender Web / Cloud

Folien Chart 7


Überblick

Was ist Splunk?

Folien Chart 8


Überblick

Sammeln, Verarbeiten und Nutzen Ihrer Maschinen erzeugten

Daten zur Identifizierung von Problemen, Risiken und

Chancen um bessere Entscheidungen für IT und Business

zu treffen.

Splunk’s Mission

Folien Chart 9


Überblick

Unternehmensdaten Splunk (NASDAQ: SPLK)

Gründung 2004

Firmensitz San Francisco, CA

Mitarbeiter 600 in 12 Ländern

Niederlassun

gen

Nordamerika, EMEA

(London), APAC

(Honkong)

Kunden 4.400++

Anwender 1.000.000 in 75

Ländern

Umsatz $120 Mio. (2012)

Folien Chart 10


Überblick

Was ist Splunk nun genau?

• Splunk ist eine plattformunabhängige Software

• Splunk ist eine Suchmaschine für jede Art von Maschinendaten

• Splunk wertet ihre Daten automatisch aus und stellt sie grafisch dar

Developer Platform

Report and

analyze

Custom dashboards

Monitor and alert

Ad hoc search

Splunk storage Other Big Data stores

Online

Service

s Web

Service

s

Servers Security GPS

Locatio

n

Storage Desktops

Networks

Packaged

Application

s

Custom

Application

s

Messaging

Telecoms Online

Shopping

Cart

Web

Clickstrea

ms

Databases

Energy

Meters

Call Detail

Records

Smartphones

and Devices

RFID

Folien Chart 11


Überblick

Die Architektur von Splunk

Folien Chart 12


Überblick

Collection

Indexing

Search

Core Functions

Access Controls

Stats/ Analytics

Alerts Dashboards Reports

Apps and Solutions

Application Monitoring

SDK User Interface APIs

IT Operations

Security Compliance Business Analytics

Web Intelligence

Architektur und Vorteile von Splunk

• Echtzeit Indizierung der Daten

• Echtzeit Dashboarding

• Echtzeitalarmierung (Email, Script, etc.)

• Multiline Support

• Mandanten Fähigkeit (LDAP, AD)

• Mechanismus zum Auswerten von

Langzeitdaten (Compliance)

• Keine Datenbank

Folien Chart 13


Überblick

Datenbankbasierte Lösungen

Folien Chart 14


Überblick

Splunk Lösung: Flat File, Kein Schema

Folien Chart 15


Überblick

Wie werden die Daten verarbeitet?

…ermöglicht akkurate Suchen und Trends über sämtliche

Daten

Automatisierte Ereignisabgrenzung

Automatisierte Erkennung der Zeitstempel

Folien Chart 16


Überblick

...ermöglicht Bollean Suchen auf jedem Ausdruck im Originalereignis

Segmentierung & und genaue Indexierung jedes Ausdrucks


Folien Chart 17


Überblick


LogEvent

Splunk erkennt automatisch Felder und ordnet den Feldern die Werte zu.

Auf die Felder können via Suche, Funktionen angewendet werden,

die die Daten auswerten und grafisch darstellen

Folien Chart 18


Überblick

Wie gelangen die Daten in Splunk?

Agent and Agent-less Approach for Flexibility.

18

perf

shell

code

Mounted File Systems \\hostname\mount

syslog TCP/UDP

WMI Event Logs Performance

Active Directory

y

syslog compatible hosts and network devices

Unix, Linux and Windows hosts

Windows hosts Custom apps and scripted API connections

Local File Monitoring log filesconfig files

dumps and trace files

Windows Inputs Event Logs

performance counters registry monitoring

Active Directory monitoring

virtual host

Windows hosts

Scripted Inputs shell scripts custom

parsers batch loading

Agent-less Data Input Splunk Forwarder

Folien Chart 19


Überblick

Indexing/Search Server

Splunk Forwarders

Universal Forwarder sendet Daten

von entfernten Systemen zum Splunk-

Indexer

Verbraucht minimale Systemressourcen

(1%-2%)

Bietet Caching, Verschlüsselung,

Loadbalancing und Replizierung der Daten

an

Folien Chart 20


Überblick

Eine Splunk Installation kann eine oder alle Funktionen abbilden…

Indexing and Search Services (Indexer)

Local Management (Deployment Server)

Data Collection and Forwarding (Forwarder)

Bestandteile der Software

Search and Reporting (Search Head)

Folien Chart 21


Überblick

Lastverteilte Suchen und Indexierung für gewaltige Skalierungen

Forwarder mit Auto Load

Balancing

Search Head

Horizontale Skalierbarkeit

Indexers

Folien Chart 22


Überblick

Klonen der Daten

Weiterleitung an Data Repository

Aktiv Standby

Datenredundanz

Aufteilung der Suchen auf mehrere Search Heads ebenfalls möglich

Folien Chart 23


Überblick

High Availability

Folien Chart 24


Überblick

Lizenzierung

Lizensiert wird das tägliche Logvolumen das Splunk indizieren muss Staffelung von mindestens 500 MB bis zu X Terabyte pro Tag Größter Kunde indiziert aktuell >100 Terabyte pro Tag Lizenzverletzung führt NICHT zum Abschalten des Systems Suchfunktion wird eingeschränkt

Folien Chart 25


Überblick

Freie Enterprise Test-Version Indexed 500MB/Tag Testlizenz läuft nach 60 Tagen ab Trial Lizenzen über 500MB/Tag können über Partner angefordert werden Wird zur freien Lizenz

Folgende Features sind in der freien Lizenz nicht enthalten User-Rollen und Authentisierung mehrer User Auslagern der Suchfunktion auf dediziertes System (distributed search) Weiterleiten von Daten zu 3rd Party Systemen Konfigurationsverwaltung (deployment server) Zeitgesteuerte Suchen und generelle Alarmierungen

Weitere Lizenzen Enterprise, Forwarder, Trial, kostenpflichtige APPS (über 350 kostenlose Apps in Lizenz enthalten)

Lizenzierung

Folien Chart 26


Überblick

Problem Investigation

Zentralisiertes Lizenz-Management

Folien Chart 27


Überblick

“How to get started”

Damit Splunk auch Spaß macht….

Log-Events sind zeitabhängig -> dies setzt eine einheitliche NTP / Zeit-Infrastruktur voraus Planen Sie ausführlich

Welches Datenaufkommen habe ich am Tag? Wie lange möchte ich die Daten vorhalten? 1 Tag? 1 Jahr? Wie viele User arbeiten gleichzeitig mit Splunk?

Folien Chart 28


Überblick

Referenz Server

• Dual quad-core/6-core machines at ~2.5 GHz

• 16 GB RAM

• For indexers: 4x10K local SAS drives in

RAID 10 (1200+ IOPs) <- most important

• Variations in type of server and level of usage govern number of

machines needed

Wäre ausgelegt für:

100 GB Indexing pro Tag (Indexer)

oder

10 bis 12 gleichzeitigen Suchen (Search head)

Folien Chart 29


Überblick

Wie viel Speicherplatz wird benötigt?

Das hängt ab von:

•Wie lange möchte ich meine Daten vorhalten?

•Wie groß ist mein tägliches Datenvolumen?

•Splunk komprimiert die eingehenden Daten ca. um 50%

Beispiel:

Ein Kunde möchte seine Firewalldaten (4 GB/Tag) ein Jahr lang

vorhalten

Benötigter Storage* = 4GB * 0,5 * 365d = 730 GB

*ohne Summary-Indexing

Folien Chart 30


Überblick

“Add Knowledge” Unterstützung Dank App-Technologie

Apps… Helfen dabei die Daten zu “normalisieren” (Bildung von Key Value Pairs) Stellen vordefinierte Suchen, Dashboards, Reports, etc. bereit Bilden Schnittstellen zu anderen Lösungen wie z.B. Hadoop Sind frei und zum größten Teil kostenlos* verfügbar unter http://splunk-base.splunk.com/apps

*außer Splunk for Enterprise Security, PCI Compliance und VMWare

http://splunk-base.splunk.com/apps



Folien Chart 31


Überblick

Eigene Apps von Splunk

Splunk for Enterprise Security wurde als beste SIEM App ausgezeichnet. splunkbase.com

QUICK WIN

Folien Chart 32


Überblick

Über 320 Apps unter

http://splunk-base.splunk.com

Folien Chart 33


Überblick

Folien Chart 34


Überblick

Auszug aus unseren Case Studies

Folien Chart 35


Überblick

case studies by magellan – Splunk im VoIP Umfeld

Versicherungsbranche

Umgebung:

Heterogene VoIP Infrastruktur auf Asteriskbasis

>2000 Endgeräte, diverse Hersteller für Gatekeeper, Mediagateways etc.

Anforderung:

• Call-Nachverfolgung über die gesamte Topologie

• Vereinheitlichen der Rufnummern

• Darstellung des Calls nach Suche durch From oder To-Rufnummern

• Erkennung von Fehlverhalten wie z.B. Verbindungsabbrüchen

Folien Chart 36


Überblick

case studies by magellan – Splunk im Datacenter Mailhosting

IT-Dienstleister (magellan)

Umgebung:

Redundante Data-Center-Infrastruktur für Hostingservices

Mailhosting-Infrastruktur mit Fortinet Mail-Security, Zertifikon und MS

Exchange, Handling von über 4 Mio. Mails pro Tag

Anforderung:

• Nachverfolgung des Mailflows via From, To, Betreff etc.

• Security-Analyse des Spam- und AV-Aufkommens

• Kapazitätsplanung

• Kundenabrechnung

Folien Chart 37


Überblick

Internationales Handelsunternehmen

Umgebung:

Mehrere Datacenter mit virt. & phys. Servern, Diverse Betriebssysteme

und Citrix Xenapp

Anforderung:

• Inventarisierung aller aktiven Server „online“ und in Historie

• Überwachung der Citrix-Umgebung, z.B. Anzahl Server, Anzahl

Sessions, Errors etc.

• Inventarisierung des AD, z.B. Anzahl Benutzer, Objekte und deren

Status

• VMWare und Logging, Monitoring

case studies by magellan – Splunk im Datacenter

Folien Chart 38


Überblick

case studies by magellan – Splunk im Firewall-Umfeld

Führendes Medienunternehmen

Umgebung:

Weltweites Netzwerk zum Austausch von Nachrichten, Videos, etc.

Stellt Kunden Daten bereit, Absicherung des Netzwerks mittels Fortinet

Firewalls

Anforderung:

• Überwachung des Informationsflusses

• Überwachung und Abrechnung der Bandbreitennutzung innerhalb des

Netzwerks

• Erkennung von Sicherheitsvorfällen wie Botnetz-Kommunikation

Tätigkeiten:

Erstellen von Dashboards zur Berechnung des Datenflusses, Korrelation

der Firewall-Logs mit externen Botnetz-Datenbanken

Folien Chart 39


Überblick

LIVE DEMO

Folien Chart 40


Überblick

Neuerungen in Splunk Enterprise Version 6

Folien Chart 41


Überblick

Splunk 6

Engine Platform 1 2 3

Tool

4 4.1 4.2 4.3 5

“Google for the datacenter”

“Engine for machine-generated data”

“Platform for operational intelligence”

Folien Chart 42


Überblick

Zielsetzungen für Splunk Enterprise 5

Verbesserung und Beschleunigung der Dashboards

und des Reportings

Hochverfügbarkeit mit Standard-Hardware

Anwender Plattform, API, SDK, Big Data Integration

Folien Chart 43


Überblick

Was nun Wo kann man

Splunk noch

verbessern?

Folien Chart 44


Überblick

Drive Value Across the Enterprise

Einfachere der

Verwaltung der

Splunk Enterprise

Umgebgung

Schnelle und

einfachere Analyse

und Darstellung von

Maschinendaten für

ein größeres

Userspektrum

“Operational Intelligence” für

Jedermann

Schnellere und

einfachere

Entwicklung

eigener Apps

Folien Chart 45


Überblick

Powerful Analytics anyone can use

Up to 1000x faster

over Splunk 5

Folien Chart 46


Überblick

Die drei Key-Features in Splunk 6

Ein neues grafisches Tool ermöglicht das Erstellen von Reports ohne die komplexe Suchsprache

Vereinfacht das Verknüpfen unterschiedlicher Maschinendaten, stellt die Basis für Pivot bereit.

Neuer Datenspeicher, mit vorextrahierten Werten, der die Suchen 1000x beschleunigt…

Pivot

Data Model

Analytics Store

[10/11/121

18:57:04 UTC] 000000b0 bo

ChromeChrome///0123

["http://sho

p.gourmet-shop.

Com/www.

Chrome/258

[ooglebot.com bot.html)"424 0b0

Chrome//00 Chrome5.0.37

5

Folien Chart 47


Überblick

Easy-to-use Analytics Interface • Pivot

• Das Drag-and-Drop Interface ermöglicht einem “normalen” User das Auswerten von Maschinendaten

• Ermöglicht komplexe Reports ohne die Splunk Suchsprache

• One-Click-Visualisierung für jeden Chart-Typ, dynamische Updates für neue Felder-

POWERFUL

ANALYTICS

Folien Chart 48


Überblick

Define Relationships in Machine Data

• Data Model • Beschreibt für Pivot wie der

Zugriff und die Darstellung auf die Maschinendaten erfolgt

• Beschreibt die Zusammenhänge zwischen unterschiedlichen Daten

• Regelt auf welche Daten mit Pivot zugegriffen werden darf

• Schafft die Verbindung zwischen structured und unstructured Data

POWERFUL

ANALYTICS

Folien Chart 49


Überblick

Deliver Analytics up to 1000x Faster

• Analytics Store • Eigener Datenspeicher, der

zusammengefasste Ergebnisse für ein Data Model aus einem normalen Splunk Index zieht

• Ist wie ein Lexikon aufgebaut, speicher keine RAW Daten sondern an welcher Stelle im Index das Feld X auftritt

• Beschleunigt damit das Data Model

POWERFUL

ANALYTICS

Folien Chart 50


Überblick

• Maps • Integrierte GEO-IP Map die Suchergebnisse in einer Karte darstellt

• Es wird keine online Verbindung für die Kartendarstellung benötigt

• Arbeitet unabhänging vom Google Maps App

• Lässt sich besser intergrieren

Zusätzliche Analyse-Features in Splunk 6

Folien Chart 51


Überblick

• Predictive Analysis

• Neuer Splunk Suchbefehl “predict”

• Wertet historische Daten aus und bildet eine Baseline, um zukünftige Kapazitäten zu berechnen

• z.B. Berechnung Hardwareanforderungen in Vmware

• Root Cause Analyse um abnormale Pattern zu erkennen (IT Sicherheit)

• Erweiterung des Monitorings wichtiger

System um Ausfälle zu erkennen

bevor sie passieren

Zusätzliche Analyse-Features in Splunk 6

Folien Chart 52


Überblick

Weitere Features in Splunk 6

Optimiertes User-Interface für besseren Zugriff auf Apss und

Reports

Einführung einer grafischen Oberfläche

zur Administration größerer Splunk-

Umgebungen

Einfachere Integration von Splunk in eigene

Software mittels Standardprogrammier-

sprachen

SIMPLIFIED MANAGEMENT

INTUITIVE USER EXPERIENCE

RICH DEVELOPER ENVIRONMENT

Folien Chart 53


Überblick

Increased User Productivity

Home Screen

• Neues Menüsystem für schnellere und einfachere Navigation

• Direkte Integration der Apps via Items

• Ermöglicht dem einzelnen User direkten Zugriff auf die für ihn relevanten Daten

(durch “Customizing”)


Folien Chart 54


Überblick

Redesigned Search and Reporting

Enhanced Search Experience • Erstellen und Speichern von

Suchen und Reports aus einem Interface ohne zwischen Menüpunkten zu wechseln

• Beinhaltet eine vereinfachte Felderkennung

• Kompatibel zu Apps aus Splunk 5


Folien Chart 55


Überblick

Centralized Cluster Management

Simplified Cluster Management

• Überwacht Splunk’s HA Dienste und stellt deren Status in einem Dashboard dar

• Balanced Daten und “Search workload” wenn eine Node ausfällt

• Stellt automatische App-Verteilung auf alle Indexer bereit


Folien Chart 56


Überblick

Easier Deployment, Configuration

Forwarder Management • Neue GUI zum Ausrollen und

Überwachen von Konfigurationsdateien

• Status-Tracking von Rollouts neuer Konfigurationsdatien

• Kein editieren der Forwarder-Konfiguration in Textdateien mehr

• Konfiguration der Splunk Forwarder via GUI


Folien Chart 57


Überblick

Powerful Dashboard Customization

Enhanced Dashboard Editor

• Ermöglicht das Anpassen und erstellen interaktiver Dashboards ohne die Nutzung von Adv. XML

• Ermöglicht einfaches “custom Styling” der Dashboards , z.B. einfügen von Firmenlogos etc.


Folien Chart 58


Überblick

Standards-based Development

Web Framework

• Ermöglicht schnelles und effizientes Erstellen von Apps mit Hilfe bekannter Webtechnologien

• Entwickler können Apps in SimpleXML, JavaScript, Django oder in Kombination erstellen und integrieren


REST API

Build Splunk Apps Extend and Integrate

Splunk

Simple XML

JavaScript

Django

Web Framework

Java JavaScript Python

Ruby C# PHP

Data Models

Search Extensibility

Modular Inputs

SDKs

Folien Chart 59


Überblick

Vereinfachte Nutzung von

Splunk für “Non IT User”

GUI zur Verwaltung der

Splunk-Instanzen

Verbesserung der Useability




Neues Framework zur

App Entwicklung mit Standard-Web-Sprachen

POWERFUL ANALYTICS

Zusammengefasst…

Folien Chart 60


Überblick

FIN

Documents

Referent / Redner Benjamin Tiggemann...Application Monitoring User Interface APIs SDK IT Operations Security Compliance Business Analytics Web Intelligence Architektur und Vorteile