Presentatie GIN-Zuid 13 september 2016 te Eindhoven

Erik van der Zee (VU/Geodan)

Drs. Erik van der Zee◦ Fysisch Geograaf en Bedrijfseconoom

◦ Senior Consultant GIS en Geo IT bij Geodan

◦ VU PhD Kandidaat “Added value of Location in Smart Cities”

◦ E-mail Erik.van.der.Zee@geodan.nl

◦ Twitter @erikvanderzee

Wat is Big Data

Voorbeelden (Spatial) Big Data

IoT & Smart Cities

Big Data Opslag

Big Data Analyse

Big Data en Artificial Intelligence (AI)

Big Data toepassing in Nederland (voorbeelden)

Big Data “Kwesties” (privacy & standaarden)

Tot slot

Wat is Big Data

IBM “Any data that cannot be captured, managed, and/or processed using traditional data management components and techniques”

Gartner “High-Volume, high-Velocity and high-Variety information that demands innovative forms of information processing for enhanced insight and decision making”

Steeds meer data creators (mensen + smart things “IoT”) Steeds meer content soorten (gestructureerd en ongestructureerd) Steeds meer variabelen (“phenomena”) Steeds meer delen via social networks (data duplicatie) Steeds meer bewaren (data, logfiles, “omdat het kan”) Steeds meer data combineren (“data met data” bvb output GIS analyse) Steeds meer voorspellen (extrapoleren, model output, scenario’s)

Steeds hogere resoluties Ruimtelijke resolutie XYZ

Tijd(sinterval) resolutie van snapshots (“pictures”) naar continue meting, streams of data (“movies”)

Meetspectrum (“banden”) van Multi-spectral naar Hyper-spectral (“data cubes”) Denk bvb Foto’s/Video’s maar ook aan AHN1, AHN2, AHN3, …

Steeds meer digitale data

Steeds meer ongestructureerde data

Vrijwel alle Big Data heeft een locatie aspect◦ Direct Lat,Long of x,y,(z) coördinaten via Locatie Sensor

(GPS)

◦ Indirect Join met ruimtelijke objecten bvb BAG of BGT objecten

Voorbeelden Spatial Big Data

EU Copernicus programma

Sentinel Satellites (open remote sensing data)

3.000 TB/year (~8 TB/day) raw data

Zeer hoge resolutie images die grote gebieden afdekken

http://www.gigapan.com/galleries/11203/gigapans/152220 (demo)

DARPA’s big eye: ARGUS-IS 1.8-Gigapixel camera for air surveillance◦ Clear images of objects as small as 15 centimeters from

an altitude of six kilometers◦ One gigapixel is equal to 1,000 megapixels. For

comparison: Modern professional digital cameras have a resolution of about 20 megapixels

1.000.000TB per day…

City Wide Video Surveillance… http://youtu.be/6VkKeM-OK6g?t=8m6s

Selfdriving Cars / Drones (laserscanners)

1 Gigabyte every second = 2 Petabyte data per auto per jaar…

Google Tango

Georeferenced Social Media Content

Voorbeeld http://onemilliontweetmap.com

Internet of Things &

Smart Cities

Things…

Smart Internet Connected devices Thing

+Micro computer (Arduino / Raspberry Pi / MEMS)

+ Sensors en Actuators

+ Internet connection

+ Digital identity (avatar + interactie mogelijkheden via API)

= “Smart” Thing

Héél veel Smart Things = “Internet of Things”

Héél veel Smart Things = Héél veel Data… (spatial big data)

+ + + +Thing Computer

Sensor(s) and/or

Actuator(s)

InternetConnection

Digital Identity

(“avatar”)

=Smart Thing

Facebook of Things…

* US Billion = NL Miljard ** US Trillion = NL Biljoen = 1000 Miljard

* ** * **

SensingAnalysis andPrediction

Act(uat)ingraw events meaningful

events

Waarnemen

(data creatie)

Aansturen / notificeren /

routeren van objecten en

subjecten

Beschikbaarstelling

Open sensor data

Beschikbaarstelling

Analyses

Beschikbaarstelling

Acties

Sensing Analysis Act(uat)ing

Event processing

Complex Event Processing (CEP)(meerdere sensor streams)

“Temp. > 30°C”

“Wind < 5km/u”

“Temp. > 30°C” AND “Wind < 5km/u”

Alarmmelding “Smog risico”(“meaningful event”)

“Temp. > 30°C”

Alleen overgangen meten

Big Data Storage

Big Data Analysis Tools

“Traditional” BI tools (Tableau / Qlik etc.)

Big IT providers MS Azure / IBM / Amazon

Palantir

Synerscope (NL - Helvoirt)

Hadoop Ecosystem of Tools

Big Data Analysis

Analyse van Verleden (historische data) Heden(real-time data) en Toekomst (model output)

Gestructureerde data vs Ongestructureerde data

Steeds meer informatie uit ongestructureerde data door slimme algoritmes (tekst / gezicht / object herkenning, ...) “convert to structured”

Visualisatie hoort ook bij analyse “een kaart meer zegt dan 1000 woorden” Voor Big Data nieuwe visualisaties, bvb “event

tunnels”, dynamische spider diagrammen (grafen) (zie bvb www.d3js.org)

Big Data & Artificial Intelligence…

(deep learning)

Virtual Personal Assistants Siri, Google Now, Cortana, etc. Gedrag van virtuele spelers in Video Games Self Driving (smart) Cars Purchase Prediction (bvb welke boodschappen je nodig

hebt o.b.v. koelkast inhoud en agenda;"morgen feestje voor x people")

Fraud Detection (monitoren mogelijk misbruik creditcards) Online Customer Support (chat bots) News Generation (automatisch schrijven van teksten) Security Surveillance (monitoring of 1000s of cameras) Music and Movie Recommendation Services Smart Home Management (based on behavior patterns) Computer Aided Diagnostics and Advice (medical, law)

Gebruik van Big Data

(Voorbeelden uit Nederland)

Handhaving luchtkwaliteitsnormen

Efficiëntere routeringen

Minder uitstoot Nox/fijnstof

Vermindering uitstoot door efficiënter parkeren (minder rondjes rijden Minder NOx uitstoot)

Handhaving geluidsnormen

Clean-up (cars) Event start

End of

event

Landelijke meetnetten (GW/OW/Meteo)

Water Management en Modellering

Sensing – Analysis – Acting (sluizen)

3D modellen bomen o.b.v. AHN2/3 point clouds + satellietbeelden

Boomspecificaties afleiden (stam- en kruinhoogte, stam- en kruinbreedte, boom type etc.)

Exacte aantallen + type bomen in NL

Nationaal Datawarehouse Wegverkeergegevens (NDW) Dynamisch verkeersmanagement bijsturen

verkeersstromen bij files en overschrijding van normen (geluid/luchtkwaliteit) in bepaald gebied

Airquality Egg (www.airqualityegg.com)

SmartCitizen Kit (www.smartcitizen.me)

Big Data Kwesties

Privacy en Security (wetgeving|hacking)

Standaarden (interoperability)

Visie en Strategie (beleid)

Architectuur (systeem integratie)

Kennis en Vaardigheden (opleiding)

Gesloten vs Open data (Eigendom)

Beheer (data kwantiteit en kwaliteit)

Verzameling van data vaak gekoppeld aan publieke taken gezondheidsgegevens, verkeersdoorstroming. Vaak ook bijproduct (telecom gegevens)

Niet alle data mogen zo maar verzameld, bewerkt en verspreid worden

Rekening houden met Privacy, (Staats)veiligheid, Doelbinding, Bewaartermijnen, en Intellectueel Eigendom

Wet en regelgeving loopt vaak achter de feiten aan

Smart Things hebben vendor specifieke datamodellen + API protocols + applicaties (“een app

voor ieder thing…”)

Standaarden zijn er inmiddels wel… maar worden niet gebruikt

◦ Awareness ontbreekt bij gemeenten

◦ Vendor Lock-in (gaan voor de snelle oplossing)

Lastig om een overall (city scale) geïntegreerd beeld te krijgen

Sensor data delen met buurgemeenten

API1 API2 API3 API…

Syst.Vendor1

Syst.Vendor2

Syst.Vendor3

Syst.Vendor

Sensor Data 1

Sensor Data 2

Sensor Data 3

Sensor Data …

App 1 App 2 App 3 App …

Energy Water Transport Environment

API1

Syst.Vendor1

Sensor Data 1

App 1

API2

Syst.Vendor2

Sensor Data 2

App 2

API3

Syst.Vendor3

Sensor Data 3

App 3

API…

Syst.Vendor

Sensor Data …

App …

OGC SWE / Sensor Things

Standaarden

◦ Bieden standaard datamodel en API

beschrijvingen voor Smart Things

◦ Integratie informatie afkomstig van

verschillende vendors

◦ Interoperability tussen systemen in

/ tussen Smart Cities mogelijk

Smart City Interoperability

API1 API2 API3 API…

Syst.Vendor1

Syst.Vendor2

Syst.Vendor3

Syst.Vendor

Sensor Data 1

Sensor Data 2

Sensor Data 3

Sensor Data …

Smart City Informatie

model (IMSC)

Real-Time Datamodel Transformation

Smart City SensorThings

API

Smart City SDKs

Smart City A Smart City B

Standaard APIs

Standaard APIs

City Applicaties

API1

Syst.Vendor1

Sensor Data 1

API2

Syst.Vendor2

Sensor Data 2

API3

Syst.Vendor3

Sensor Data 3

API…

Syst.Vendor

Sensor Data …

Data standaarden (semantiek)

Uitwisselingsstandaarden◦ OGC SensorThings API / Datamodel

Tot Slot

5D = 3D (XYZ) + Tijd + “Levels of Detail” (Schaalniveaus)◦ Nederland volledig 3D gefotografeerd / gefilmd / gelaserscand

◦ Continue bijhouding 3D model via drones /self-driving cars

◦ Gecombineerd met real-time (sensor) data van smart things

◦ Op verschillende schaal (aggregatie) niveaus

Now THATs Big…

Vragen?

Drs. Erik van der Zee

T +31 (0)20 5711 311M +31 (0) 6 1009 9691E erik.van.der.zee@geodan.nlI www.geodan.nlT @erikvanderzee

President Kennedylaan 11079MB AmsterdamThe Netherlands