T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5 f3 Vs of Big Data Big Data ... Sybase IQ (SAP), Vertica (Hewlett-Packard), 1010data, Exasol, Calpont Analytical Appliance

�

�� www.steria-mummert.de

© Steria Mummert Consulting AG

Big Data - Warum Big nicht immer auch beautiful ist

Hype oder disruptive Innovation?

T1A Vortrag 1: 19. Juni 2012, 10:00-11:30Klaus-Dieter Schulze / Dr. Carsten Dittmar


�

20.06.2012 T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG2

Dieses Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt.

Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen schriftlichen Zustimmung von Steria Mummert Consulting.

Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen und die Einspeicherung und Verarbeitung in elektronischer Form. Eine Weitergabe an Dritte ist nicht gestattet.

Big Data - Warum Big nicht immer auch beautiful ist

Datum:

Perfekte Lösungen mit persönlicher Note

Steria Mummert Consulting AGDerendorfer Allee 33, D-40476 Düsseldorf

Telefon: +49 211 385467-0Fax: +49 211 385467-6510

E-Mail: [email protected]

Team: : Klaus-Dieter SchulzeSenior Executive Manager

Dr. Carsten DittmarSenior Manager

Vorsitzender des Aufsichtsrates: Jürgen SponnagelVorstand: Oliver Nazet (Vors.), Dr. Reinhard Liedl, Dr. Fritz Moser

Gesellschaftssitz: Hamburg - HR B 61 116 Amtsgericht Hamburg - USt-ID-Nr.: DE118671351

Hype oder disruptive Innovation?


�Simples Verständnis von Big Data: Big Data durch das Internet für das Internet?


Einleitung


� Agenda

1. Big Data: Alter Wein in neuen Schläuchen?

2. Wie relevant ist Big Data für Sie wirklich?

3. Das DWH ist tot, es lebe das DWH!

4. Fazit

20.06.2012T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG4


� Kapitel 1

1. Big Data: Alter Wein in neuen Schläuchen?� Verständnis und Einordnung

� Technologien für Big Data



�Big Data – Nur ein neuer Begriff für altbekannte Herausforderungen im BI & DM Umfeld?


Volume

From gigabyte and terabyte to petabyte

and exabyte

Velocity

From hours andminutes to (milli-)

seconds andstreams

Variety

From structureddata to semi- and

unstructureddatat

3 Vs ofBig Data

Big Data beschreibt Technologien, Applikationen und Prozesse für die Sammlung, Speicherung und Verarbeitung von Daten, die die Fähigkeiten der heutigen Business Intelligence (BI) und Data Management (DM) Systeme - angeblich - übertreffen.

Definition und Einordnung


�

20.06.2012 7

Wo genau sind eigentlich die heutigen BI und DM Systeme überfordert?

Mangel an Sponsoren

FehlendeVision/Strategie für BI

Probleme mit derDatenqualität

Keine einheitlichenDefintionen undBezeichnungn

Fehlende Firmenkulturund "politische"

Gegensätze

Fehlende Governancefür BI und

Informationsverwaltung

Zustimmung nach Zahl der BranchenSource: Gartner BI Summit Survey 2008

An welchen Hemmnissen scheitern BI/DM Initiativen in der Praxis?

Mensch und Organisation scheint auch zur Überforderung beizutragen.


T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5.pptm © Steria Mummert Consulting AG


�

20.06.2012 8

Verbreiterung der Datengrundlage durch Big Data




� Welche Technologie ist neu?

What kinds of techniques and tool types is your organization using foradvanced analytics and big data, both today and in three years?


Source: TDWI 2011: Big Data Analytics

Central Enterprise Data Warehouses, OLAP tools, Analytical Data Marts, Real Time Dashboards, etc. gab es auch schon im Zeitalter ‚Small‘ Data

Technologien für Big Data


�Neue analytische Plattformen jenseits klassischer relationaler DBMS


Technologie Beschreibung Produkt/Vendor

Massively parallel processing analytic DB

Zeilenbasierte DBs, die in Cluster-Architektur komplexe Abfragen massiv parallel abarbeiten können

Teradata Active Data Warehouse, Greenplum(EMC), Microsoft Parallel Data Warehouse, Aster Data (Teradata), Kognitio, Dataupia

Columnar DBDaten wird spaltenorientiert mit hoher Komprimierung gespeichert

ParAccel, Infobright, Sand Technology, Sybase IQ (SAP), Vertica (Hewlett-Packard), 1010data, Exasol, Calpont

Analytical ApplianceVorkonfigurierte HW-SW Kombinationen designed für Abfragen und Analytics

Netezza (IBM), Teradata Appliances, Oracle Exadata, Greenplum, Data Computing Appliance (EMC)

Analytical bundlesVordefinierte HW-SW Kombinationen die zertifiziert sind für spezielle Performance Kriterien

IBM SmartAnalytics, Microsoft FastTrack

In-Memory DBDaten und Abfragen werden im Memory abgelegt bzw. ausgeführt

SAP HANA, Cognos TM1(IBM), QlikView, Membase

Distributive, File-basierte Systeme

Zur Speicherung, Indexierung & Abfrage großer Mangen an unstrukturierten und semi-strukturierten Daten

Hadoop (Apache, Cloudera, MapR, IBM, HortonWorks), Apache Hive, Apache Pig

Analytische Services Cloud-basierte analytische Leistungen 1010data, Kognitio

Nicht-Relationale DB Optimierte DB für die Verarbeitung von strukturierten und unstrukturierten Daten

MarkLogic Server, MongoDB, Splunk, Attivio, Endeca, Apache Cassandra, Apache HbaseacheHbase, Marklogik, MongoDB

CEP/streaming enginesSysteme zur Verarbeitung von großen Mengen an diskreten Ereignisse und Anwenden von Konditions-orientierten Regeln

IBM, Tibco, Streambase, Sybase (Aleri), Opalma, Vitria, Informatica



�In der Sinnflut der Daten die relevanten Informationen finden..


Die aktuelle technologiegetriebene Debatte um Big Data klammert die wesentliche Frage nach dem Business Nutzen regelmäßig aus.

� Werden die bestehenden ‚Small Data‘ überhaupt schon hinreichend genutzt?

� ‚Jäger und Sammler Mentalität‘ für Daten oder Orientierung an klarem Business Case?

� Wie relevant ist Big Data für mein Geschäftsmodell wirklich?



� Kapitel 2

2. Wie relevant ist Big Data für Sie wirklich?� Zeitliche Relevanz:

Wann beginnt Big Data für mein Unternehmen?

� Inhaltliche Relevanz:Welche Rahmenbedingungen sind bei Big Data zu berücksichtigen?



� Wann beginnt die Zukunft?

� Through 2015, 15% of enterprises will adapt their informationinfrastructure for extrem data, socially mediated content and newconnected devices [Source: Gartner 2012: Information 2020: Scenario for BI & IM]

� Big Data steckt noch früh im Hype Cycle: Breite Adaption und Produktivität ist erst in einigen Jahren zu erwarten


Gartner Hype Cycle for Emerging Technologies, 2011

Zeitliche Relevanz von Big Data


�Ist die Zeit schon reif für Social Media als etablierten Servicekanal?

� Social Media sind in aller Munde, die gefühlte Allgegenwärtigkeit im privaten Umfeld wird häufig 1:1 auf Business Bereiche projiziert.

� Facebook als Platzhirsch: Zum Teil deutlich weniger als 1 User Post pro Tag über Facebook in unterschiedlichen Branchen


Banken und FinanzvertriebeAnzahl initialer User Posts im Zeitraum 1.1.11-31.12.2011

Im Durchschnitt fielen 2011 nur rund 3 Posts pro Woche und pro Seite an

Source: KEYLENS 2012, Banken & Finanzvertrieb auf Facebook

VersicherungenAnzahl User Kommentare im Zeitraum 1.1.11-31.12.2011

Source: KEYLENS 2012, Versicherungen auf Facebook

Sofern nicht incentiviert (z.B. Gewinn-spiel) geringe Kommentarintensivität auf Unternehmens Posts



� Der Intelligente Zähler auf dem Vormarsch

Mithilfe eines digitalen, fernauslesbaren Messgerätes (Smart Meter) werden Energieverbräuche auch von Privathaushalten permanent ausgelesen.


Bei Big Data gilt in der Regel leider keine lineare Skalierung!

� In Deutschland (derzeit noch keine Verpflichtung zum Ein-satz), sollen bis 2022 80% aller Haushalte mit Smart Meter ausgestattet sein.

� Derzeit werden deutschland-weit Smart Meter mit Fern-auslesung in Pilotprojekten bei Energieversorgern getestet (Z.B. E.ON Bayern hat Pilotprojektes mit 10.000 Haushalten aufgesetzt).


Smart HomeSmart Grid Smart Meter


�Business Case für Big Data umfasst gesamten Prozess der Informationsverarbeitung

Collection Integration Analyze & Filter Decide/Action


Inhaltliche Relevanz von Big Data

� Datenverfügbarkeit an sich ist kein Use Case, sondern die gezielte Verwendung der abgeleiteten Informationen zur Entscheidungsfindung.

We are hungry for knowledge ...

... and drown in Information[John Naisbitt, 1982]

� Im Prozess der Informationsverarbeitung ergeben sich zusätzliche Herausforderungen durch Big Data.


� Wo bezieht man eigentlich „sein“ Big Data?



Im Retail ist insbesondere im B-C Segment die Quellenselektion und -analyse zur Sammlung von Netzinhalten eine zentrale Fragestellung

� Relevanz (Search Engine Optimization, Doorwaypages, Coacking)

� Verlässlichkeit(Fake Blogs, Community based personalization, Collaborative filtering, Guerilla-Marketing, Identitätsdiebstahl)

� Aktualisierungsfrequenz(Community Offenheit, Community Fluktuation)

� Stabilität

� …

• Blogs und Microblogs wie Twitter, Friendfeed, Google Buzz

• Social Networks wie Facebook, Netlog oder LinkedIn

• Foren, insbesondere relevante Fachforen

• Content-Communities wie YouTube oder flickr

• Klassische Onlinemedien und Wikipedia



� Integration von Small Data und Big Data



Die Integration von Big Data mit ‚Small Data‘ kann aus Datenschutz-gesichtspunkten in speziellen Branchen kritisch bewertet werden. Legale Rahmenbedingungen sind noch nicht endgültig definiert.

� Debatte um den Schutz des Social Web vor datenhungrigen Firmen beginnt.

� Reform des Datenschutzrecht s wird gefordert und eine Redu-zierung des Möglichkeitsraums von Aktionen wird erwartet.



� Analyse von Big Data benötigt Kontextbezug



Kontexteinordnung hilft bei Mensch-Maschine Kommunikation zur Filterung /Selektion des richtigen Contents. Bei Big Data muss eine definierte und etablierte Governance die Rolle übernehmen (Organisatorische statt physische Integration).

� Jede Branche hat eigenen Kontext, der in Metadaten angereichert wird.

� Die Festlegung auf denrelevanten, branchen-spezifischen Kontext ist Voraussetzung um ein zielorientierten Filtern und Analysieren zu erlauben.



� Auf der Suche nach dem Business Case



Agilität und Realtime Fähigkeit von Geschäftsprozessen bildet die Herausforderung bei vielen Big Data Anwendungsszenarios. Die Qualität der Entscheidung steigt nicht unbedingt durch die Quantität der Daten.

� Logistikprozesse versus realtime Stock Analysis

� Responce-Verhalten in Sozialen Netzwerken

� Informationsüberlastung aus ‚Small Data‘ ist jetzt schon Realität

� Hadoop ist Batch orientiert


Höher – schneller – weiter ?


� Kapitel 3

3. Das DWH ist tot, es lebe das DWH!� Zur Zukunft des Patienten DWH

� Neue Paradigmen erfordern neue Lösungen

� Analytical Ecosystem of the Future



�


Ist die herkömmliche Theorie noch gültig?

Patient DWH

Trotz reifer Technologien und hoher Investitionen, sind in der Regel die Versprechungen der Theorie nicht realisiert worden.

Smart Data ist noch nicht besiegt, da kommt Big Data gerade recht!

�Single Point of Truth

�Hub & Spoke Architektur

�Transparenz über Daten und deren Verarbeitung

�Hoher Standardisierungsgrad

�Redundanzfreiheit und physische Integration

�Definierte und umgesetzte BI-Strategie

�Strategischer Architekturausbau

�Hohes Engagement des Fachbereichs

�Zentral gepflegte Business Rules

�Effiziente spezialisierte BI Organsiation

�Informationssilos und heterogene Architekturen

�Unkontrolliertes Wachstum von Spread-Marts

�Schlechte Datenqualität

�Inkonsistente Semantik

�Hohe Komplexität und Intransparenz

�Projektgetriebenes Vorgehen

�Individuelle Datenintegration

�Hohe manuelle Analyseaufwendungen

�Technologie-getriebene Projekte

�Keine projektübergreifende Governance

Theorie Realität


�


Auch Gartner kündigt den radikalen Wechsel an

>33% of BI functionality will be consumed via handheld devices

>50% of information management professionals will not report to the CIO

>33% of BI functionality will be consumed via handheld devices

>50% of information management professionals will not report to the CIO 2013

85% of currently deployed data warehouses will not scale appropriately to meet new information volume and complexity demands85% of currently deployed data warehouses will not scale appropriately to meet new information volume and complexity demands2014

15% of enterprises will adapt their information infrastructure for extreme data, socially mediated content and new connected devices

60% of business analytics purchasing decisions will be controlled by business line

15% of enterprises will adapt their information infrastructure for extreme data, socially mediated content and new connected devices

60% of business analytics purchasing decisions will be controlled by business line2015

25% of traditional DW/OLTP systems .will be replaced by column-store in-memory DBMS using storage-class memory

20% of CIOs will lose their jobs for failing to implement regulations & compliance demands

25% of traditional DW/OLTP systems .will be replaced by column-store in-memory DBMS using storage-class memory

20% of CIOs will lose their jobs for failing to implement regulations & compliance demands2016

Patient DWH


�


Etablierte Denkmuster stehen auf dem Prüfstand

Paradigmenwechsel

AnalyticalEcosystem

of thefuture

Dezentral

Logische Integration

Use Case & Service

Orientierung

Technische Heteroge-

nität

Prozessuale Standardi-

sierung

Flexibilität


�

20.06.2012 25

Zielbild zum Analytical Ecosystem of the future

Analytical Ecosystem of the future



� Die logische Architektur wird nicht einfacher


Analytical Ecosystem of the future

Business Layer


� Kapitel 4

4. Fazit



� Big Data stellt eine echte Herausforderung dar

Die Big Data Parabel ist eingängig, daher wächst die Zahl der (Nach-)Fragen.Interesse


Fazit

Use Case vor Technik

Die Suche nach Big Data Use Cases hat gerade erst begonnen, Qualität und Nutzen von Analyseergebnissen ist oft nicht absehbar.

MitarbeiterDie richtige Mischung aus Data Scientists, Power User & Data Analyst mit Know-How in den spezifischen Geschäftsprozessen und den analytischen Tools/Plattformen ist entscheidend.

Paradigmen Traditionelle zentralistische Ansätze geraten zunehmend in die Kritik. Auch Big Data zeigt den Bedarf zum Paradigmenwechsel.

Analytical Ecosystem

Neue Ansätze verarbeiten u.a. große Mengen poly-strukturierter Daten und stellen diese unterschiedlichen Nutzerkategorien über unterschiedliche analytische Plattformen bereit.

�


© Steria Mummert Consulting AG

Vielen Dank für Ihre Aufmerksamkeit!

© Steria

Klaus-Dieter Schulze / Dr. Carsten Dittmar

[email protected] / [email protected]

Business Intelligence SolutionsSteria Mummert Consulting AG

Documents

T1A - Big Data - Warum BIG nicht immer beautiful ist - v1.5 f3 Vs of Big Data Big Data ... Sybase IQ (SAP), Vertica (Hewlett-Packard), 1010data, Exasol, Calpont Analytical Appliance