BIG GEOSPATIAL DATA
STEFAN VIENKEN, ESRI DEUTSCHLAND
THOMAS PASCHKE, ESRI DEUTSCHLAND
THILO STECKEL, CLAAS E-SYSTEMS
28.02.2018, B ITKOM BIG DATA SUMMIT
• Der räumliche Aspekt in Big Data und dem Internet der Dinge
• Technischer und funktionaler Überblick
• Praxisbeispiel: CLAAS
• Ausblick
AGENDA: BIG GEOSPATIAL DATA
EINFÜHRUNG: BIG GEOSPATIAL DATA
Real-Time & Big DataMassenhaft dynamische Daten (Velocity, Volume, Variaty)
Generiert von Sensoren
in hoher Frequenz
Verschiedenste
Datenquellen
Riesiges Datenvolumen
Gemeinsamkeit: Raumbezug!
RIESIGE DATENMENGEN
Verfügbare Datenvolumen werden immer größer
80% aller Daten verfügen über einen Ortsbezug
Der Anteil wird weiter steigen:
• Mobile Devices
• Datenströme mit Ortsbezug
• Ortsbezogene Feeds etc.
• Auch: unstrukturierte Daten
Datenanalyse ohne Berücksichtigung des Ortsbezugs zeichnet nur ein unvollständiges Bild
…wie „Autofahren mit totem Winkel“
Mo
bile
De
vic
es
Ge
o-T
ag
ge
d D
ata
Str
ea
ms
Lo
ca
tio
n A
wa
re F
ee
ds
GEOANALYTICS: FROM NOISE TO INTELLIGENCE
Bekommen Sie Einblicke in raum-zeitliche Muster
PUNKTE AUF FLÄCHEN ODER IN RAUM/ZEIT-WÜRFEL
Beispiel: Aggregation in Raum und Zeit
USE CASE: HAFEN
Aufgabe: Spüre potentielle Gefahrenpunkte auf, an denen Schiffe auf Grund laufen könnten!
• Schiffsbewegungen aufzeichnen
• Tiefgang aufzeichnen (d)
• Verschneidung mit Tiefe des Hafenbeckens (D)
• Visualisierung des Delta ()
• Wo klein: Ausbaggern!
ERGEBNIS: HELLE PUNKTE = GEFAHR, AUF GRUND ZU LAUFEN
Legende:
USE CASE: NEW YORK CITY ZUR RUSH HOUR
Aufgabe: Aufspüren von Hot Spots als Planungsgrundlage neuer Busrouten
• 170 Millionen Taxifahrten von 2013(Open Data)
• Mit Zeitstempel (Abfahrt / Ankunft)
• Visualisierung direkt aus Hadoop
FILTER + HOTSPOT
„Ausreißer“ als Zielort:World Financial Center Terminal
Korrespondierende Startpunkte Eine neue Haltestelle wird im West Village eingerichtet
BEISPIEL: DAS SMARTPHONE ALS SENSOR
• Pay how you drive
• Kaskoversicherung nach Fahrverhalten
• Smart Marketing
• Wer hat sich wann wo wie lang im Laden aufgehalten?
• Angebote per Push
• Telekommunikationsüberwachung (TKÜ)
• Tracking
• # SMS / WhatsApp-Posts
• uvm.
Durchschnittl. Niederschlag
Durchschnittstemperatur
Höhenmodell
Bodenbedeckung
Solarpotential in 30m-Auflösung
Raster Analytics:
9 Min
suitability model
BIG RASTER DATA: POTENTIAL VON PHOTOVOLTAIK-ANLAGEN
MAYA-STÄDTE ENTDECKEN: LIDAR-TECHNOLOGIE
Bildquelle: https://news.nationalgeographic.com/2018/02/maya-laser-lidar-guatemala-pacunam/
GEOINFORMATIONEN AUS UNSTRUKTURIERTEN DATENEXTRAHIEREN
Quelle: http://www.clearterra.com/locatext-software/
KONFORTABLER ZUGRIFF: ÜBER DESKTOP- ODER WEB-APPLIKATIONEN
FRONTEND: DASHBOARD IN DER GEO-PLATTFORM
Explorative, visuelle räumliche Datenanalyse
Einfach, intuitiv, dynamisch, ad-hoc
Zugriff auf unterschiedlichste Datenquellen
Verknüpfte Charts und KartenVereint räumliche und tabellarische Datenanalyse
TECHNISCHER UND FUNKTIONALER ÜBERBLICK
BIG GEOSPATIAL DATA PROZESSIEUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG
Plattform UI &
Anwendungen
Stream
Prozessierung
Verteilter
Datenspeicher
Big DataIoT
Batch
Prozessierung
BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG
Plattform UI &
Anwendungen
Stream
Prozessierung
Verteilter
Datenspeicher
Big DataIoT
Batch
Prozessierung
• Integration verschiedener Datenquellen
• Konnektoren für verschiedene Datenformate
• Einheitliches, eventbasiertes Format
• Skalierbar und Robust
• Verteilte Architektur
• Leistungsfähige Prozessierung & Filterung
• Räumliche Analysen gegen Geometrien im Arbeitsspeicher
• Verteilung und Visualisierung der Daten
• Datenbank oder externe Anwendungen
• Visualisierung mit möglichst geringer Verzögerung
Inp
uts
Ou
tpu
ts
Analyse Service
GeoEvent ServerBeispiel: Konvoy Trennung
BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORM
KOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG
Plattform UI &
Anwendungen
Stream
Prozessierung
Verteilter
Datenspeicher
Big DataIoT
Batch
Prozessierung
• Raumzeitliche Analyse
• Analysetools berücksichtigen beide Dimensionen
• Aggregation & Muster Erkennung
• Verteilt auf mehrere Server
• Framework für paralleles Prozessieren
• Anbindung externer Datenquellen
• Analyse auf existierenden Enterprise Daten
• Programmatische Steuerung über API
• Skripte für Batch Analyse Prozesse
• Wiederholende Tasks
BATCH PROZESSIERUNGDATEN ZUSAMMENFASSEN
• Punkte aggregierenAggregations Methoden
Räumlich & zeitlich, in Zellen:
Räumlich & zeitlich, in Polygone:
Räumlich, in Polygone:
Räumlich, in Zellen:
BATCH PROZESSIERUNGDATEN ZUSAMMENFASSEN
• Features verbinden
• Verbindet Features von zwei Layern miteinander auf Basis von räumlichen, zeitlichen und attributiven
Zusammenhängen.
Verteilter
Datenspeicher
• Verteilter Datenspeicher
• Replizierte Datenhaltung
• Nicht-relationale
Datenbank
• Bessere Performance
• Räumliche, zeitliche &
attributive Indizierung
• Schnelle Abfrage
• On-the-fly Aggregation
• Definierbarer Wechsel zwischen
aggregierter und individueller
Feature Ansicht
DATENSPEICHERUNGOPTIMIERT ZUM SPEICHERN UND ABFRAGEN GROßER, RÄUMLICHER DATENMEN GEN
BIG GEOSPATIAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM - & BATCH PROZESSIERUNG SOWIE SPEICHERUNG
• Integration von Echtzeit Daten
aus verschiedenen Quellen
• Stream Analyse von Events
während des Empfangens
• Speicherung von Events in einem verteilten
Datenspeicher für große Datenmengen
• Batch Analyse der gespeicherten Daten
• Visualisierung von Echtzeit-
und gespeicherten Daten
• Aggregiert
• Einzelne Features
• Benachrichtigungen beim Eintreten
definierter Ereignisse
Plattform UI &
Anwendungen
Stream
Prozessierung
Visualisieren
Verteilter
Datenspeicher
BenachrichtungenServices
Speichern
Empfangen
Analysieren
Batch
Prozessierung
Analysieren
Web DeviceDesktop
USE CASE: CLAAS
ANWENDUNGSFALLEINFÜHRUNG – RAUMBEZUG IN DER LANDWIRTSCHAFT
ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1A
Schritt 1A:
Preprocessing
Input Datenpunkte:
GPS-Position + Zeitstempel
Sensordaten
ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1A
Schritt 1A:
Preprocessing
Input Datenpunkte:
GPS-Position + Zeitstempel
Sensordaten
ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 1B
Schritt 1B:
Preprocessing
Filtern:
Nicht relevante Punkte entfernen
Straßenfahrten, Wendemanöver,
Nullwerte
ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 2
Schritt 2:
Rekonstruktion der Fahrspuren
“Reconstruct Tracks” Tool
ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 3
Schritt 3:
Gruppieren
Fahrspuren nach Feldeinheiten gruppieren
ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 3
Schritt 3:
Gruppieren
Fahrspuren nach Feldeinheiten gruppieren
ANWENDUNGSFALLAUTOMATISIERTE ERMITTLUNG VON FELDGRENZEN – SCHRITT 4
Schritt 4:
Grenzlinien erzeugen
Erzeugung von Polygonen durch
Erweiterung der Fahrspuren um
maschinenspezifische Arbeitsbreite
AUSBLICK
Ermöglicht die on-the-fly Aggregation auf Basis von eigenen Polygonen
PROJEKT POLYEIGENER POLYGON INDEX FÜR DEN DATENSPEICHER
polygonstate
polygoncounty
polygon aggregation (based on a county polygon index)polygon aggregation (based on a state polygon index)
BIG GEOSPATIOAL DATA PROZESSIERUNGSPLATTFORMKOMPONENTEN ZUR STREAM- & BATCH PROZESSIERUNG SOWIE SPEICHERUNG
Plattform UI &
Anwendungen
Stream
Prozessierung
Verteilter
Datenspeicher
Big DataIoT
Batch
Prozessierung
6 75 9 1082 3 4
1
VORSCHAUNEUE INFRASTRUKTUR FÜR BIG DATA PLATTFORM
Plattform UI &
Anwendungen
storage
visualization
Stream
ProzessierungBatch
Prozessierung
Verteilter
Speicher
Neue
Skalierbare
IoT
Lösung?
ARCGIS FOR IOTSKALIERT DURCH MICROSERVICES
Plattform UI &
Anwendungen
storage
visualization
ArcGIS
for IoT
project Trinitypowered by
ARCGIS FOR IOTBRINGING GEOSPATIOAN INSIGHTS TO YOUR
on Amazon
on Azure
other
DesktopWeb Device
Internet of your Things
sources hubs real-time analytics spatiotemporal archive batch analytics
massive real-time & big data analysis
ArcGIS for IoT
880 cores, 3TB memory, 50TB storage
Apps
ARCGIS FOR IOT NEUE INFRASTRUKTUR FÜR BIG DATA PLATTFORM
Sensoren
DesktopWeb Device
massive real-time & big data analysis
spatiotemporal
archive
real-time
batch
sources
hubs
ArcGIS for IoT
• Verwaltete “Cloud”
Infrastruktur
• Verteilte Microservices
• Real-Time und Big Data
Analysen in neuen
Dimensionen möglich:
• Visualisierung, Wiedergabe & Exploration von großen Datenmengen
• Schnelle (Nutzung von in Memory Cache), geplante (sich wiederholende) Analysen auf den gespeicherten Events
• Ziel: Verfügbar als SaaS in
AGOL (in ~ 1 - 2 Jahren)
Esri Deutschland GmbH Kranzberg
Niederlassung Hamburg
Niederlassung Leipzig
Niederlassung Berlin
Niederlassung Hannover
Niederlassung Münster
Niederlassung Bonn
Niederlassung Köln
Esri Schweiz AG Zürich
Niederlassung Nyon
An 10 Standorten vertreiben die Esri Deutschland GmbH und die Esri Schweiz AG als Distributoren die
Produkte von Esri Inc. und unterstützen Anwender umfassend: von Consulting und Implementierung bis
hin zu Schulungen und Support – seit 1979 mit dem ganzen Erfahrungsreichtum von 300 Mitarbeitern in
Deutschland und der Schweiz.
ESRI IN DEUTSCHLAND UND DER SCHWEIZ
DAS UNTERNEHMEN