52
Kan maskinlæring og geografiske data gi bedre innsikt i en verden i endring? Inge Anundskås Geodata AS

Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

  • Upload
    others

  • View
    1

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Kan maskinlæring og

geografiske data gi bedre

innsikt i en verden i endring?

Inge Anundskås

Geodata AS

Page 2: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel
Page 3: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Kilde: NRK

Page 4: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Kilde: Dagsavisen

Page 5: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Rieperbreen på Svalbard, kilde NRK

Page 6: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Vit hvor du er

Vit hvor du skal

Page 7: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Arealressurskartlegging

CORINE Land Cover FKB Arealressurskart

1:5000 (AR5)

Page 8: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Arealressurskartlegging

CORINE Land Cover FKB Arealressurskart

1:5000 (AR5)

Page 9: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Arealressurskartlegging

CORINE Land Cover FKB Arealressurskart

1:5000 (AR5)

Page 10: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Kan Deep Learning

effektivisere produksjon av

arealressurskart?

Page 11: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Deep Learning brukes overalt

Autonome

kjøretøy

Chatbots og talegjenkjenningMobilkamera

Prediktivt vedlikeholdNetthandel og personlig

markedsføring

Meningsanalyser

Prediksjon av

kriminalitet

Aksjehandel

Ansiktsgjenkjenning

Medisinsk bildebehandling

Go

Bildeanalyser med satellitt- og flyfoto

Sikkerhet og beredskap

Page 12: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Deep Learning: Bruksområder for Computer Vision

Bildeklassifikasjon Objektdeteksjon Instans segmenteringSemantisk segmentering

Page 13: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Kilde: Stanford University -

http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture11.pdf

Page 14: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Skog

Myr

Page 15: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel
Page 16: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

1

2

3

Lage treningsdata

Trene og verifisere modell

Kjøre modell

Page 17: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Kilde: ESA

1

Sentinel 2

• Siden 2015

• 5 dager

gjentaksintervall

• 13 spektrale

bånd

• 10, 20 og 60m

oppløsning

Page 18: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Bounding Boxes

Labelled Pixels+

GIS featureklasser / klassifisert raster Bildedata

1

Page 19: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Github Tensorflow Models -

https://github.com/tensorflow/models

DeepLabv3+ – Open Source arkitektur

fra Google2

Page 20: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Trening av modellen

Trening på Amazon Instance (p2.xlarge)

- 1 dedikert GPU med 12 GB minne

- 4 CPUs og 61 GB minne

Trening på lokal maskin

- Dedikert GPU med 4 GB minne (Nvidia Quadro P2000)

- Intel Xeon CPU med 6 kjerner og 32GB minne

Kan følge «loss» med Tensorboard

- tensorboard --logdir=path/to/log-directory

training_number_of_steps = 30000

base_learning_rate = 0.001

batch_size = 4

…….

Anbefaler Git Bash for

Windows miljøer

2

Page 21: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

• Export Training Data For Deep Learning (Enhanced)

• Lager bildefliser (chips) og metadata som er kompatible med flere

populære maskinlæringsrammeverk

• Detect Objects Using Deep Learning

• Classify Pixels Using Deep Learning

• Non Maximum Suppression

• Verktøy for å filtrere dupliserte deteksjoner basert på en

nøyaktighetsterksel

• Mulighet til å benytte datamaskinens GPU til prosessering og

analyse.

Nye geoprosesseringsverktøy for Deep Learning3

Page 22: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

DEMO

Page 23: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Ca 87% nøyaktig gjengivelse av AR5 med Deep

Learning

Deep

LearningAR 5

Page 24: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Dårlig treff på kategorien samferdsel grunnet dårlig

oppløsning på Sentinel 2 data (10m)

Deep

LearningAR 5

Page 25: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Deep learning på flyfoto fra Norge i Bilder gir gode

resultater for samferdsel

Deep

LearningAR 5

Page 26: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Kategorien åpen fastmark inkluderer mange ulike

typer arealbruk

Deep

LearningAR 5

Page 27: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Eksempelet viser at både et grustak og en golfbane

kategoriseres som åpen fastmark i AR5.

Norge i

BilderAR 5

Page 28: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

I dette eksemplet kan det se ut som Deep Learning

gjør en feil, sammenliknet med AR5

Deep

LearningAR 5

Page 29: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Men her tar AR5 feil og viser hvorfor hyppig

oppdatering av arealressurskartet er viktig

Norge i

BilderAR 5

Page 30: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

• Ca 90% nøyaktighet om samferdsel

og bebyggelse slås sammen

• Sentinel 2 passerer samme område

hvert 5. døgn og har dermed et stort

potensiale for endringsdeteksjon

• Nye metoder åpner for nye

bruksområder og ny innsikt

Oppsummering

Page 31: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Andre eksempler av Deep Learning-

integrasjon med GIS

Page 32: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Gjenkjenning (og kvantifisering) av folkemengder fra

webkamera i avgangshallen på OSL

Page 33: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Fordeling av reisende i terminalbygget basert på

Deep Learning av webkamerabilder

Page 34: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Alternative plasseringer av hjertestartere i terminalen

Page 35: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Gangnettverk for terminalen

Page 36: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Optimal utplassering av hjertestartere basert på

tetthet av reisende og gangnettverk

Page 37: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Visualisering av passasjertetthet over tid

Page 38: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Identifikasjon av kjøretøy i veikamera fra Statens

Vegvesen

Page 39: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Gjenkjenning av sprekker i veidekket (Video)

Page 40: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Visualisering av data om sprekker i veidekket

Page 41: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Gjenkjenning av biler i dronefoto (video)

Page 42: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Klassifisering av ‘Gravbarhet’ i

havbunn ut fra dybdedata med

Deep Learning.

Input

ML modell i ArcGIS Pro

Output featureklasse

Klassifiseres i

kategoriene:

1: «myk»

2: hard (fjell)

Page 43: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

High Resolution Land CoverUsing Deep Learning to achieve 1-meter resolution land cover at scale

Page 44: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

manually created a high-resolution land cover map for precision conservation of the Chesapeake watershed

100kmi2Area of watershed to map

2TBFile size of imagery to classify

18monthsTime to create map

By the time the land cover map was completed in December 2016, it was already out of date, and an update would be time-intensive and costly.

Page 45: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Land Classification Model

Convolutional

Network

Architecture

23 layer U-Net

Test ImagesLabeled

Training

Images

Chesapeake

Conservancy

Dataset

Land

Classification

Model

Land Cover Map

Working Platform: GeoAI Virtual Machine

Dataset: 120k mi2 of imagery at 1-meter resolution,

split in half geographically into train and test sets

Algorithm Results

91%Average land

classification accuracy

16xFaster than Chesapeake

Conservancy’s previous

methods

Page 46: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

High Resolution Land Classification

using CNTK Convolutional Neural Networks

Page 47: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

3D Reconstruction from LIDARDetect Buildings, Roof Type, Height, and More!

Page 48: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Complex Roof Types

Page 49: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Export Training Data for Deep Learning (18,200 Samples)

https://medium.com/geoai/reconstructing-3d-buildings-from-aerial-lidar-with-ai-details-6a81cb3079c0

Page 50: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Takk for meg!

Inge Anundskås

Geodata AS

Page 51: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Nyttige lenker og ressurser!

• Jeremy Jordan – Data Science Blog - https://www.jeremyjordan.me/data-science/

• Machine Learning is Fun! Intro blog - https://medium.com/@ageitgey/machine-learning-is-fun-

80ea3ec3c471

• MIT Deep Learning Courses - https://deeplearning.mit.edu/

• Stanford Machine Learning Courses - https://see.stanford.edu/course/cs229

• Google Machine Learning Crash-course - https://developers.google.com/machine-

learning/crash-course/ml-intro

• TensorFlow Resources - https://www.tensorflow.org/resources/models-datasets

Page 52: Kan maskinlæring og geografiske data gi bedre innsikt i en ...Deep Learning brukes overalt Autonome kjøretøy Chatbots og talegjenkjenning Mobilkamera Prediktivt vedlikehold Netthandel

Nyttige lenker og ressurser!

• Esri GeoAI Blog- https://medium.com/geoai -- High Resolution Land Cover post er et godt

utgangspunkt for å komme i gang!

• Deep Learning with ArcGIS StoryMap- https://www.esri.com/arcgis-blog/products/arcgis-

pro/imagery/deep-learning-in-arcgis-story-map/

• Deep Learning i ArcGIS Pro- https://pro.arcgis.com/en/pro-app/help/analysis/image-analyst/deep-

learning-in-arcgis-pro.htm

• Deep Learning Module Python API for ArcGIS- https://esri.github.io/arcgis-python-

api/apidoc/html/arcgis.learn.html

• Foredrag om GeoAI fra DevSummit 2018- https://www.youtube.com/watch?v=Of6goqNXKo4

• Esri Deep Learning Raster Functions GitHub- https://github.com/Esri/raster-deep-learning

• Esri Object Detection eksempel GitHub - https://github.com/Qberto/ML_ObjectDetection_CAFO