28
itm.net BigData in der Cloud und die letzte Meile 17.11.2016, AWS Innovation Lab München Der Weg von der Idee zum Business Value Wolfgang Baudendistel, [email protected] Joachim Rosskopf, [email protected]

17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

BigData in der Cloud und die letzte Meile

17.11.2016, AWS Innovation Lab München

Der Weg von der Idee zum Business Value

Wolfgang Baudendistel, [email protected]

Joachim Rosskopf, [email protected]

Page 2: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline
Page 3: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

› Optimierung von IT-Landschaften

› Entwurf von System- und Softwarearchitekturen

› Einführung von Methoden und Unterstützung des IT-Managements

IT-ARCHITECTURE AND TOOLS

› Softwareentwicklung mit ausgeprägter Web- bis SAP-Kompetenz

› Daten- und Prozesssicht

› Verteilte Software-Systeme

NEW TECHNOLOGY IMPLEMENTATION

› Cloudifizierung von IT-Organisationen

› Aufbau und Betrieb von Hybrid-Landschaften

› Automatisierung

CLOUD TRANSFORMATION

Page 4: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

IMPLEMENTIERUNG & BETRIEB

TECHNOLOGIE, PLATFORM- & PROZESSDEFINITION

CLOUD ONBOARDING

CLOUD WORKSHOPS„HOW TO DO CLOUD“

Page 5: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net Keine vollständige Darstelklung aller ITM Kunden.06.06.2016

Page 6: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

BEISPIEL: VERNETZTER, INTELLIGENTER

SAUGROBOTER

IDEEN FÜR DIGITALE WERTSTRÖME:

› Kundenintimität und besseres

Produkterlebnis durch Sensordaten

› Software Updates und Apps als zusätzliche

Revenue Streams (z.B. Heimüberwachung)

› Smart Replenishment von

Verbrauchsmaterialien

Page 7: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

Beispiel: Postbote liefert Verbrauchsmaterial bevor es benötigt wird.

Fragestellung: Ist diese Service-/Produktinnovation so umsetzbar und steigert sie den Business Value?

Page 8: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

CUSTOMER CUSTOMER

USE

• C/T: 2,5h• 5 Cycles

MAINTAIN

• C/T: 0,5h• 2 Cycles

REPLENISH

• C/T: 2,5h

ORDER

PRODUCTION

WEB-SHOP

APP

E-CommerceA

PRODUKT-LEBENSZYKLUS

Page 9: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

CUSTOMER CUSTOMER

IOTBIG

DATA

ORDER

PRODUCTION

WEB-SHOP

APP

E-CommerceA

USE

• C/T: 2,5h• 5 Cycles

MAINTAIN

• C/T: 0,5h• 2 Cycles

REPLENISH

• C/T: 2,5hPRODUKT-LEBENSZYKLUS

Page 10: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

CUSTOMER CUSTOMER

CONSUMABLES

IOTBIG

DATAPRODUCT

DEVELOPMENT

ORDER

PRODUCTION

WEB-SHOP

APP

PRODUCT EXPERIENCE

APP

SMART REPLENISH-

MENT

APP

E-CommerceA

Digitalisierte ProdukteB

USE

• C/T: 2,5h• 5 Cycles

MAINTAIN

• C/T: 0,5h• 2 Cycles

REPLENISH

• C/T: 2,5hPRODUKT-LEBENSZYKLUS

Page 11: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

ERSTE INDUSTRIELLLE REVOLUTION

1784

Erster Mechanischer WebstuhlEinführung von Wasser- und Dampfkraftbetriebenen Fabriken.

ZWEITE INDUSTRIELLE REVOLUTION

1923

Erste FließbandproduktionEinführung von elektrisch betriebenenProduktionsanlagen und arbeitsteiligeFließbandproduktion.

TECHNOLOGIE ORGANISATION

DRITTE INDUSTRIELLE REVOLUTION

1969

Erste ProgrammierbareLogikschaltungenIT und Steuer- bzw. Regeltechnik hältEinzug in die Produktion.

VIERTE INDUSTRIELLE REVOLUTION

2014

Cyber-Physische-SystemeEinführung von intelligenten Maschinen, eingebetteten Sensoren, kollaberativeTechnologien und vernetzte Prozesse.

time

TECHNOLOGIE ORGANISATION

Kooperation und Vernetzung sind das Wesen und die treibende Kraft hinter Digitalisierung und IoT. Es geht weniger um ausgefeilte Technik, sondern mehr um intelligente Rekombination und Integration von Daten und Prozessen.

IoT und Digitalisierung bedeutet mehr als Sensoren, Aktuatoren und Automatisierungstechnik.

Page 12: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

IDEEN-FINDUNG

DATEN EXPLORATION

BUSINESS HACKING

VIABLE PRODUCT

INTEGRATION

BUSINESS VALUE

IDEENFINDUNGLÖSUNGS-

ENTWICKLUNG

BETRIEB

SCHAFFEN VON AKTIONÄRSWERT

Das Prozessmodell zur Erstellung einer Big Data Lösung besteht aus den drei Phasen Ideenfindung, Lösungsentwicklung und Aktionärswert.

Die Phasen werden iterativ durchlaufen.

1 2 3

ANWENDUNGS-ENTWICKLUNG

NEUE IDEEN

Page 13: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

IDEEN-FINDUNG

DATEN EXPLORATION

BUSINESS HACKING

VIABLE PRODUCT

INTEGRATION

BUSINESS VALUE

IDEENFINDUNGLÖSUNGS-

ENTWICKLUNG

BETRIEB

SCHAFFEN VON AKTIONÄRSWERT

Das Prozessmodell zur Erstellung einer Big Data Lösung besteht aus den drei Phasen Ideenfindung, Lösungsentwicklung und Aktionärswert.

Die Phasen werden iterativ durchlaufen.

1 2 3

ANWENDUNGS-ENTWICKLUNG

NEUE IDEEN

Page 14: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

Wie eine erfolgreiche Exploration im Business Hacking aussieht - Daten verstehen und Korrelationen finden.

17.11.2016

Es gilt Hypothesen und Experimente zu gefundenen Fragestellungen aufzustellen:

In der Explorationsphase sollen Daten Unternehmensvertikalen einbezogen und untersucht werden.

IDEENFINDUNG1

Page 15: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

Der neue Typus der Daten-Applikation erfordert eine neue Herangehensweise. Erfolgreiches Business Hacking bedingt agile und kurze Feedback-Zyklen.

17.11.2016

Hypothese und Lösungsidee

Datenaufbereitung & Datenauswertung

Modellentwicklung & Hypothesen-validierung

Lösungs-entwicklung

Effiziente Erstellung von Lösungen in engen, agilen Feedback-Loops.

IDEENFINDUNGLÖSUNGS-

ENTWICKLUNG1 2

Kreative und explorative Aktivitäten: Es ist vorab nicht immer klar ob, wie und mit welchem Aufwand ein Problem zu lösen ist. Deshalb heißt es auch „Data-Science“.

Page 16: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

IDEEN-FINDUNG

DATEN EXPLORATION

BUSINESS HACKING

VIABLE PRODUCT

INTEGRATION

BUSINESS VALUE

IDEENFINDUNGLÖSUNGS-

ENTWICKLUNG

BETRIEB

SCHAFFEN VON AKTIONÄRSWERT

Das Prozessmodell zur Erstellung einer Big Data Lösung besteht aus den drei Phasen Ideenfindung, Lösungsentwicklung und Aktionärswert.

Die Phasen werden iterativ durchlaufen.

1 2 3

ANWENDUNGS-ENTWICKLUNG

NEUE IDEEN

Page 17: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

Für Daten-Anwendungen gelten dieselben Spielregeln wie für klassische Enterprise Applikationen. Der Betrieb ist aber ungleich komplexer (Sculley, 2014) - Nur eine effektiv betreibbare Lösung schafft Aktionärswert.

17.11.2016

Aufbau & Betrieb von Daten- und

Systemarchitektur

Neue Ideen

IDEENFINDUNG1

› Der IT Betrieb braucht profundes Verständnis der Fachlichkeit: „BizOps“

Modell-entwicklung & Hypothesen-validierung

Integration in bestehende Prozesse

LÖSUNGS-ENTWICKLUNG2 SCHAFFEN VON

AKTIONÄRSWERT3

BUSINESS VALUEz.B. strategische

Unterstützung von Data Roadmaps

› Statistik und Machine-Learning machen Anwendungen dynamischer. Dadurch wachsen Anforderungen an Monitoring und Kontrolle.

Page 18: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

Nach einer kreativen Anfangsphase startet ein schaffender Prozess hin zur praxisrelevanten und –tauglichen Anwendung: Die Aktivitäten gehen über einen PoC hinaus.

VIABLE PRODUCT (Lösung)

ERGEBNISSE

› Demands (Skill, Technologie)

› Enterprise Architektur

› Domänen Baustein(e)

› Evolutionäres Wissen

Es geht um Entwicklung einer konkreten BigData Anwendung unter Hebung vorhandener Potentiale.

EINFLUSSFAKTOREN

› Variabilität der Anforderungen

› Vorhandene Bausteine nutzen

› Umsetzung mit Skills im Unternehmen

› Entwicklungsgeschwindigkeit

Page 19: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

IDEEN-FINDUNG

DATEN EXPLORATION

BUSINESS HACKING

VIABLE PRODUCT

INTEGRATION

BUSINESS VALUE

IDEENFINDUNGLÖSUNGS-

ENTWICKLUNG

BETRIEB

SCHAFFEN VON AKTIONÄRSWERT

Das Prozessmodell zur Erstellung einer Big Data Lösung besteht aus den drei Phasen Ideenfindung, Lösungsentwicklung und Aktionärswert.

Die Phasen werden iterativ durchlaufen.

1 2 3

ANWENDUNGS-ENTWICKLUNG

NEUE IDEEN

Page 20: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

Wie ist ein ROI zu erreichen?

Denkweise ausgerichtet an Wertströmen, geschäftlichen

Herausforderungen, Trends und Kundenerwartung.

Neue Ideen = potenzielle Produkt-/Prozessinnovationen

Prozessketten bis zu Ende denken und in die Tat umsetzen

Iterationen konsequent durchlaufen

Bereitstellung von passenden Ressourcen, Tools und Skills

17.11.2016

go

Page 21: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

IoT CLIENT

CLOUD SERVICE PROVIDERON PREMISE ITAWS

M2M

IoT CLOUD

ANALYTICAL LAYER

BUSINESS LAYER

INTEGRATION LAYER

APPLICATION LANDSCAPE

AUTH. REPOSITORY

ACTIVE DIRECTORY

IAM

IDENTITY

B2C WEBSHOP

B2B WEBSHOP

EMPLOYEE WEBSHOP

ERP

WARRANTY HANDLING

E-COMMERCE LANDSCAPE

PDBSTORAGE LAYER

INFRASTRUCTURE LAYER

WEB APP

EMBEDDEDCODE

HWSMART PHONE

EMBEDDEDCODEGATEWAY /

HUB

HW

APPANDROID / IOS

BLUETOOTH LE GPSBROADBAND 4GWIFI

ELASTIC STACK APACHE SPARKMS REPORTING

SERVICES

COMPUTING SERVICES

NETWORK SERVICESCONTAINER

SERVICES

IOT DEVICE SHADOW

S3 FILE STORAGE SERVICE

NOSQL SERVICES

IOT BUSINESS RULESSIMPLE WORKFLOW

(SWF)CUSTOM LAMBDA

SERVICES

EMBEDDED CLIENTGATEWAY CLIENTSMART CLIENTWEB CLIENT

IFTTT

NEST

HUE

API GATEWAY /3RD PARTY

AMAZON ALEXA

COGNITIVE LAYER IBM WATSONAMAZON MACHINE

LEARNINGMACHINE LEARNING

STUDIOGOOGLE API

Page 22: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

GUTE EIGNUNG DER CLOUD FÜR BIG DATA UND IOT:

› Insbesondere am Anfang von IoT-/Big Data-Bestrebungen

› Prüfung der langfristigen Eignung an konkreten Anforderungen

› Ermöglicht Konzentration auf Funktionalität, nicht auf Infrastruktur und Betrieb

› Ermöglicht schnelle, iterative Entwicklung

17.11.2016

› Datengetriebene Geschäftsmodelle sind Eckpfeiler der Unternehmensstrategie von Amazon

› Konsequente Serviceorientierung seit 15 Jahren

› Services von AWS sind Erfahrungen und Ergebnisse von Amazon, die als Produkt vermarktet werden

go

Page 23: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

› Architektur von AWS als sinnvolle Ausgangsbasis für eigene Entwicklungen

› Beispiel: IAM als sinnvolle Ausgansbasis für Data-Governance

› Kurze Anlaufphase durch serverlose, dienstbasierte Infrastruktur

› Geringe Reibungsfläche und niedrige Investition bei iterativer Entwicklung

› Kosteneffiziente Langzeitarchivierung von Daten

› Skalierbare und global verfügbare on-demand Dienste und Infrastruktur

17.11.2016

go

Page 24: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

DATEN

METADATEN

GOVERNANCE

ARCHITEKTUR

PLATTFORM

ALGORITHMEN

TECHNOLOGIEN

WORKLOADS

PROZESSE

AGILITÄT

INNOVATION

BETRIEB

AWS bietet im Service Portfolio verschiedene Bausteine zum Aufbau von Big Data Lösungen. Die fachlichen Ausgestaltungen liegen jedoch beim AWS Kunden.

Page 25: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

DATEN

17.11.2016

PLATTFORM PROZESSE

AWS bietet im Service Portfolio verschiedene Bausteine zum Aufbau von Big Data Lösungen. Die fachlichen Ausgestaltungen liegen jedoch beim AWS Kunden.

CloudTrail IAM

Glacier S3

DynamoDB RDS Redshift

Elasticsearch Kinesis AWS Data Pipeline

EBS EC2 ECS LAMBDA

EMR MACHINE LEARNING

SQS SWF

AWS IOT

CLOUDWATCH AWSCONFIG

AWSOPSWORKS

AWS CODECOMMIT

AWS CODEDEPLOY

AWS CODEPIPELINE

Page 26: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

› Geräteregistrierung

› Empfang vom Gerät

› Dashboarding Kibana

› Prediction:

– Training des ML Modells

– Prediction mit AWS ML

› Alarm mit CloudWatch

NodeMCU

Simulation & PC

Simulation & PC

Simulation & PC

API GW &

LambdaDevice

GatewayCEP (Rules

Engine)

AWS IoT

AWS Services

Search & Visu. (Elasticsearch)

Prediction(AWS ML)

Alarming(CloudWatch)

Page 27: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net17.11.2016

JOACHIM [email protected]

WOLFGANG [email protected]

› JETZT IM ANSCHLUSS: GET TOGETHER

Page 28: 17.11.2016, AWS Innovation Lab München BigData in der Cloud …aws-de-media.s3.amazonaws.com/images/_Munich_Loft_Slides/... · 2016-12-05 · Elasticsearch Kinesis AWS Data Pipeline

itm.net

BigData in der Cloud und die letzte Meile

17.11.2016, AWS Innovation Lab München

Der Weg von der Idee zum Business Value

Wolfgang Baudendistel, [email protected]

Joachim Rosskopf, [email protected]