Near-real time monitoring of habitat change using a neural network and
MODIS data: the PARASID approach
Louis Reymondin, Andy Jarvis, Jerry Touval
Tabla de contenidos Metodología Detalles de implementación Análisis de Colombia
Por departamentos Por áreas protegidas
Conclusión
Metodología
Enfoque Conceptual
Enfoque Conceptual La intensidad del verde de la vegetación es una función dependiente
de las precipitaciones de lluvia, del sitio y de las alteración Sitio = tipo de vegetación, características del suelo Alteración = cambios antropogénicas, en positivo y negativo
La intensidad del verde de la vegetación sigue un ciclo dependiente de factores climáticos como lluvia y temperatura...
Enfoque Conceptual Idea básica
Las actividades humanas cambian el ciclo de la intensidad del verde de la vegetación.
Vamos a crear un modelo capaz de predecir la evolución de la intensidad del verde de la vegetación, basándose en las medidas de verde anteriores (variables de sitio) y medidas climáticas actuales (lluvia, temperatura…) para detectar cambios significativos.
Bolivia 1984 Bolivia 2002
Enfoque Conceptual NDVI
Normalized Difference Vegetation Index Resolución de 250m Frecuencia de las medidas de 16 días
TRMM Tropical Rainfall Measuring Mission Resolución de 28km Frecuencia de las medidas de 3 horas
Serie de tiempo de un año de medidas NDVI por un píxel
0
0.2
0.4
0.6
0.8
1
1.2
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
Tiempo
ND
VI
NDVI
Enfoque Conceptual
tiempo
Imagen NDVI al tiempo t
Para cada píxel de una imagen NDVI, extractamos un vector
de medidas
Metodología
Los modelos
Metodología – Los modelos Predicciones
Bayesian Neural Network (BNN)
Entrenamiento y aproximación del ruido Scaled Conjugate Gradient (SCG) Bayesian evidence function Gaussian noise
Selección de las entradas del modelo Automatic relevance determination (ARD)
Metodología – Los modelos Entradas
Las 5 medidas NDVI anterior al tiempo T Desde T-1 hasta T-5
1 entrada hecha de la suma de 16 días de medidas TRMM Desde T hasta T-15
Salidas La predicción de la medida NDVI al tiempo T
Metodología – Los modelos
NDVIt
Precipitación (t)
Temperatura (t)
…
…
w0
w1
w2
NDVI(t-1)
NDVI(t-2)
NDVI(t-n)
wp1
wp2
wp3
wo1
wo2
wo3
La estructura de la red neuronal.
α0
αc
αh
),( σtNDVIN
Metodología – Detección de cambios Para detectar los cambios, las redes neuronales bayesian nos
dan tres indicadores El valor predicho La desviación estándar de las predicciones del modelo sobre la
función real. El nivel de ruido (Gaussian) de la medida del satélite
El primer indicador nos permite detectar los cambios El segundo y tercero nos permite medir qué tan seguros
estamos de que la medida del satélite es anormal.
Metodología – Detección de cambios
Metodología – Detección de cambios Procedimiento de detección básico
NDVI Pasado
TRMM
…
NDVI Actual
Diferencia con la predicción
Esta en el intervalo de confianza ?
Cambio
Normal
No
Si
Metodología – Detección de cambios
Evolución del NDVI
4500
5000
5500
6000
6500
7000
7500
8000
8500
9000
1 2 3 4 5 6 7 8 9
Time
ND
VI
Medidas
Predicciónes
Interval max
Interval min
Cambio
0 1NDVI
pm(x)
Metodología – Detección de cambios
tvmβ
1+mβ
1−
tmp ,
Distribución de probabilidad calculada con la desviación estándar y la predicción del modelo
Ruido en las medidas aproximado por el modelo
Metodología
Data-mining
Metodología
Colombia con una resolución de 250m representa
Un mapa de 5822 por 8046 píxeles 21’843’310 valores NDVI en una mapa 502’396’130 valores NDVI a analizar por año
Datos con mucho ruido, muchas nubes
Metodología – Limpiar los datos Elimina todas las variaciones a corto plazo (< 3 meses) Ajuste iterativo de curvas limpias usando
Los datos de cualidad de MODIS Análisis de Fourier Ajuste de mínimos cuadrados con valores de alta calidad
Metodología Qué pasaría si queríamos entrenar diez
modelos por píxel ?
200 años de calculaciones
30 maquinas tendrían•240 procesadores•~1 TB de RAM
Nuestra solución : procesar un clustering !
X 10Actualmente tenemos 3 maquinas de procesamientoCada maquina tiene
•8 procesadores•32 GB de RAM
Metodología – El clustering Usamos el algoritmo K-Means modificado para ser
distribuido en muchos computadores Cantidad de clusters : 10 Duración del proceso : 6 horas 1 máquina con 8 procesadores
De cada uno de los clusters seleccionamos aleatoriamente 1000 pixeles con los cuales entrenamos 10 modelos. Duración del proceso : 1 hora 1 máquina con 8 procesadores
Reducimos el tiempo de calculación a 7 horas
Metodología
Detalles de la implementación
Detalles de la implementación Las máquinas de procesamiento
Servidor DELL 2 quadricores 8 procesadores 32 GB de RAM Conectados por una red a 1 Gb/s
Detalles de la implementación Implementación en Java
339 objetos 46 packages
Estructura de trabajo distribuido especialmente desarrollada para el proyecto con la tecnología RMI de Java
Detalles de la implementación La estructura básica del trabajado distribuido se
presenta de la maneja siguiente
Resumen de la metodología
Medidas del pasado Limpiar Clustering
Selección aleatoria de píxeles para
el entrenamiento
Entrenamiento de los modelos
Nuevas medidas
Proceso de detección
Mapas de las probabilidades
de cambio
Limpiar
Mapas de los cambios
detectados
Reglas
Resumen de la metodología Limpieza
O(n) Clustering
O(n^1/2) Entrenamientos de los modelos
O(m*k*i) Detecciones
O(n*m) Con
n : Número de pixeles m : Número de modelos por cluster k : Número de clusters i : El Número de puntos para entrenar los modelos
Finalmente la complejidad es polinómica
Resumen de la metodología
Metodología – El software
Metodología – El software
Metodología – Conclusión Tenemos una metodología eficiente usando
tecnologías bio-inspirada y estadísticas Bayesian Nuestra metodología es flexible y toda la creación de
modelos es automática. Nos permite
Ser flexible a los datos con mucho ruidos Manejar una grande cantidad de datos Ser rápidos en la implementación en nuevas partes del
mundo.
Resultados – Colombia
Departamentos y Áreas protegidas
Colombia
Proporción de pixeles rechazados 23.07%
Tasa de cambio 0.2%
Cumulative detections in hectares
0
50000
100000
150000
200000
250000
300000
01.0
1.20
04
01.0
4.2
004
01.0
7.20
04
01.1
0.2
004
01.0
1.20
05
01.0
4.2
005
01.
07.2
005
01.1
0.2
005
01.
01.2
006
01.0
4.20
06
01.
07.2
006
01.1
0.20
06
01.
01.2
007
01.0
4.20
07
01.0
7.2
007
01.1
0.20
07
01.0
1.2
008
01.0
4.20
08
01.0
7.2
008
01.1
0.20
08
01.0
1.2
009
01.
04.2
009
Time
Hec
tare
s
detections
Verde : Áreas rechazadas por las nubesAzul : Áreas protegidasRojo : Cambios detectados
Colombia
Verde : Áreas rechazadas por las nubesAzul : Áreas protegidas Rojo : Cambios detectados
Estadísticas de procesamiento Para Colombia completa
Un servidor Dell 16 [GB] of RAM 8 procesador Intel Xeon X5365, 3 [GHz]
Limpieza Limpieza de 214fechas 2 horas
Clustering 6 Clusters Desde 2000 hasta 2003 4 horas
Entrenamiento de los modelos 3 Modelos por clusters 2000 pixeles para el entrenamiento 5000 pixeles para la validación 3 horas
Detecciones desde 2004 hasta 2009 120 fechas de detecciones 6 horas
Total Solo 15 horas de procesamiento desde los datos brutos 60 GB usado
Análisis - Departamentos
Efecto de las nubes
Pixeles rechazados por departamentos
0102030405060708090
100
CHOCÓ
QUINDÍO
NARIÑO
VALLE D
EL CAUCA
CORDOBA
RISARALDA
CAUCA
HUILA
CUNDINAM
ARCA
TOLIM
A
ANTIOQUIA
ATLANTIC
O
BOYACÁ
GUAJIRA
CALDAS
Colombia
NORTE D
E SANTANDER
MAGDALE
NA
BOLIVAR
PUTUMAYO
ARAUCA
SANTANDER
SUCRE
META
CAQUETÁ
CESAR
CASANARE
AMAZONAS
VICHADA
GUAINÍA
VAUPÉS
GUAVIARE
Departamentos
% d
e p
ixe
les
re
ch
aza
do
s
Departamentos
Hectáreas con cambios
Hectareás con cambios por departamentos
05000
1000015000200002500030000350004000045000
SANTANDER
CAQUETÁ
BOLIVAR
META
ANTIOQUIA
GUAJIRA
CESAR
MAGDALE
NA
GUAVIARE
SUCRE
VICHADA
CASANARE
GUAINÍA
CORDOBA
CAUCA
PUTUMAYO
NORTE D
E SANTANDER
AMAZONAS
ARAUCA
TOLIM
A
CALDAS
BOYACÁ
CUNDINAM
ARCA
VALLE D
EL CAUCA
NARIÑO
VAUPÉS
RISARALDA
ATLANTIC
O
CHOCÓ
HUILA
QUINDÍO
Departamentos
Hec
táre
as
Departamentos
Colombia - Santander Proporción de pixeles rechazados
10.25% Tasa de cambio
1.13%
Cumulative detections in hectares
0
5000
10000
15000
20000
25000
30000
35000
40000
45000
01.0
1.20
04
01.0
4.20
04
01.0
7.20
04
01.1
0.20
04
01.0
1.20
05
01.0
4.20
05
01.0
7.20
05
01.1
0.20
05
01.0
1.20
06
01.0
4.20
06
01.0
7.20
06
01.1
0.20
06
01.0
1.20
07
01.0
4.20
07
01.0
7.20
07
01.1
0.20
07
01.0
1.20
08
01.0
4.20
08
01.0
7.20
08
01.1
0.20
08
01.0
1.20
09
01.0
4.20
09
Time
Hec
tare
s
detections
Colombia - Bolivar Proporción de pixeles rechazados
13.66% Tasa de cambio
1.3%
Cumulative detections in hectares
05000
1000015000200002500030000350004000045000
01.0
1.20
04
01.0
3.20
04
01.0
5.20
04
01.0
7.20
04
01.0
9.20
04
01.1
1.20
04
01.0
1.20
05
01.0
3.20
05
01.0
5.20
05
01.0
7.20
05
01.0
9.20
05
01.1
1.20
05
01.0
1.20
06
01.0
3.20
06
01.0
5.20
06
01.0
7.20
06
01.0
9.20
06
01.1
1.20
06
01.0
1.20
07
01.0
3.20
07
01.0
5.20
07
01.0
7.20
07
01.0
9.20
07
01.1
1.20
07
01.0
1.20
08
01.0
3.20
08
01.0
5.20
08
01.0
7.20
08
01.0
9.20
08
01.1
1.20
08
01.0
1.20
09
01.0
3.20
09
01.0
5.20
09Time
Hec
tare
s
detections
Análisis Santander y Bolivar
Landsat 2004 Landsat 2009
Análisis Santander y Bolivar
Landsat 2004 Landsat 2009
Análisis Santander y Bolivar
Eventos de deforestación en Santander
Imagen de google earth En rojo las detecciones
En rosado las áreas rechazadas por las nubes
Análisis Santander y Bolivar Inundaciones de gran tamaño
Muchas detecciones en estas área son debidas a las inundaciones
Una grande cuantidad de detecciones son eventos de deforestación también
Colombia - Caquetá
Cumulative detections in hectares
05000
1000015000200002500030000350004000045000
01.0
1.20
04
01.0
5.20
04
01.0
9.20
04
01.0
1.20
05
01.0
5.20
05
01.0
9.20
05
01.0
1.20
06
01.0
5.20
06
01.0
9.20
06
01.0
1.20
07
01.0
5.20
07
01.0
9.20
07
01.0
1.20
08
01.0
5.20
08
01.0
9.20
08
01.0
1.20
09
01.0
5.20
09
Time
Hec
tare
s
detections
Proporción de pixeles rechazados 6.95%
Tasa de cambio 0.38%
Colombia - Meta
Proporción de pixeles rechazados 8.82%
Tasa de cambio 0.25%
Cumulative detections in hectares
0
5000
10000
15000
20000
25000
30000
01.0
1.20
04
01.0
5.20
04
01.0
9.20
04
01.0
1.20
05
01.0
5.20
05
01.0
9.20
05
01.0
1.20
06
01.0
5.20
06
01.0
9.20
06
01.0
1.20
07
01.0
5.20
07
01.0
9.20
07
01.0
1.20
08
01.0
5.20
08
01.0
9.20
08
01.0
1.20
09
01.0
5.20
09
Time
Hec
tare
s
detections
Análisis Caquetá – Meta
Landsat 2004 Landsat 2009
Análisis Caquetá – Meta El área al rededor del río caquetá es el nicho
donde la mayoría de las detecciones de deforestación ocurren.
Áreas protegidas
Efecto de las nubesRojo
Área protegida demasiada nublada para el análisis
Verde Área protegida que se puede
analizar
28% de la superficie total protegida es demasiado nublada
Efecto de las nubes
31 áreas protegidas sobre 54 analizadas, 57.4%
Áreas protegidas con mas de 60% de pixeles rechazados
0
1020
30
4050
60
70
8090
100
Isla
de la
Cor
ota
Otun
Quimba
ya
Corales
del
Rosar
io y d
e San
Ber
nard
o
Tayro
na
Los F
lamen
cos
Cueva d
e los G
uách
aros
Galera
s
Filo d
el Tall
o
Isla
de S
alam
anca
Los N
evad
os
Alto F
ragu
a - I
ndi W
asi
Chingaz
a
Puracé
Sanqu
ianga
Nevado
del H
uila
Sumap
az
Las H
ermosa
sUtri
a
Tatam
á
El Coc
uy
Ensena
da d
e Utrí
a
Farall
ones
de
Cali
Las O
rquíde
as
Paramillo
Mun
chiqu
eTam
á
Darién
El Tam
á
Áreas protegidas
% d
e p
ixel
es r
ech
azad
os
Áreas protegidas
Efecto de las nubes
23 áreas protegidas sobre 54 analizadas, 42.6%
Áreas protegidas con menos de 60% de pixeles rechazados
0
10
20
30
40
50
60
70
80
90
100
Cordille
ra d
e los P
icach
os
Ciéna
ga G
rand
e de S
anta
Mar
ta
Guane
nta
Alto R
ío F
once
Perijá
Cofán B
ermejo
El Cor
chal
- El M
ono
Hernan
dez
Sierra
Nev
ada d
e San
ta M
arta
Catatum
bo-B
arí
Sierra
de l
a Mac
arena
Cahuina
rí
La P
aya
El Tup
arro
Puinaw
ai
Los E
stora
ques
Los C
olora
dos
Aguar
o-Guar
iquito
De Igua
que
Tiniga
Amac
ayacu
Nukak
Rio P
ure
Chiribiqu
ete
Áreas protegidas
% d
e p
ixel
es r
ech
azad
os
Área protegida
Efecto de las nubes - Conclusión 31 de las 54 áreas protegidas (57.4%) son
muy nubladas
Pero solo 28% de la superficie total protegida es nublada
Análisis de los cambios
Aproximadamente 7000 hectáreas detectadas por el periodo 2004 y 2009 en áreas protegidas
Hectareás con cambios por áeras protegidas
0200400600800
100012001400160018002000
Sierra
de l
a Mac
arena
Tiniga
Ciéna
ga G
rand
e de S
anta
Mar
ta
Puinaw
ai
Mac
uira
Nukak
Cordille
ra d
e los P
icach
os
Cahuina
rí
La P
aya
El Tam
á
El Tup
arro
Catatum
bo-B
arí
Chiribiqu
ete
Paramillo
Mun
chiqu
e
Rio P
ure
Farall
ones
de
Cali
Sierra
Nev
ada d
e San
ta M
arta
Amac
ayacu
Cofán B
ermejo
Tamá
El Cor
chal
- El M
ono
Hernan
dez
Áreas protegidas
He
ctá
rea
Áeras protegidas
Análisis – Sierra de la Macarena
Cumulative detections in hectares
0
200
400
600
800
1000
1200
1400
1600
1800
2000
01.0
1.20
04
01.0
5.20
04
01.0
9.20
04
01.0
1.20
05
01.0
5.20
05
01.0
9.20
05
01.0
1.20
06
01.0
5.20
06
01.0
9.20
06
01.0
1.20
07
01.0
5.20
07
01.0
9.20
07
01.0
1.20
08
01.0
5.20
08
01.0
9.20
08
01.0
1.20
09
01.0
5.20
09
Time
Hec
tare
s
Série1
1762.5 hectáreas deforestadas entro 2004 y 20090.24% del área total deforestada en 5 años6.25% de pixeles con demasiadas nubes
El NDVI muestra claramente un evento de deforestación
Análisis –Tinigua1312.5 hectáreas deforestadas entro 2004 y 20090.5% del área total deforestada en 5 años0.0% de pixeles con demasiadas nubes
El NDVI muestra claramente un evento de deforestación
Cumulative detections in hectares
0
200
400
600
800
1000
1200
1400
01.0
1.20
04
01.0
5.20
04
01.0
9.20
04
01.0
1.20
05
01.0
5.20
05
01.0
9.20
05
01.0
1.20
06
01.0
5.20
06
01.0
9.20
06
01.0
1.20
07
01.0
5.20
07
01.0
9.20
07
01.0
1.20
08
01.0
5.20
08
01.0
9.20
08
01.0
1.20
09
01.0
5.20
09
Time
Hec
tare
s
Série1
Análisis En esta imagen la resolución espacial
esta cambiada para mostrar las áreas con una tasa de deforestación alta.
Se puede observar un arco de deforestación en rojo en el área del río Caquetá
La deforestación actual amenaza las áreas Los Picachos Tinigua Macarena
Y se extiende en dirección de las áreas Nukak Chiribiquete
Análisis Ciénaga Grande de Santa Marta
1069 hectáreas reforestados entro 2004 y 20093.34% del área total deforestado en 5 años56.83% de pixeles con demasiadas nubes
Cumulative detections in hectares
0
200
400
600
800
1000
1200
01.0
1.20
04
01.0
5.20
04
01.0
9.20
04
01.0
1.20
05
01.0
5.20
05
01.0
9.20
05
01.0
1.20
06
01.0
5.20
06
01.0
9.20
06
01.0
1.20
07
01.0
5.20
07
01.0
9.20
07
01.0
1.20
08
01.0
5.20
08
01.0
9.20
08
01.0
1.20
09
01.0
5.20
09
Time
Hec
tare
s
Série1
El NDVI muestra claramente un evento de reforestación
Análisis Ciénaga Grande de Santa Marta
Histórico de Google Earth 2004 Histórico de Google Earth 2009
Conclusión
Análisis – Conclusión El modelo parece bien adaptado para detectar
eventos de deforestación en Colombia
Estimación representativa de la situación real Probablemente subestimada Un píxel se estima cambiado solamente si tiene 95% de
probabilidades tres veces consecutivas
Todavía unos problemas Para cada uno tenemos proposiciones de investigación
Análisis – Conclusión Las áreas con alta taza de nubes
Actualmente usamos el composit de 16 días de la NASA Proponemos usar los datos MODIS diarios para crear
nuestros propios composit Con este método esperemos tener una cobertura de 100%
de la superficie del país.
Subestimación de la taza de deforestación Usar datos de campo para validar y calibrar los modelos
Análisis – Conclusión Las inundaciones
El agua tiene una reflectancia fácil de reconocer Usar las otras bandas de MODIS para detectar pixeles con
agua
La reforestación Observando los errores de los modelos (si el modelo esta
mas alto o mas bajo que las medidas del satélites) podemos discriminar las detecciones debidas a reforestación y a deforestación
El futuro, cooperación con el IDEAM Uso de datos diarios de MODIS para reducir incertidumbre por
nubosidad, y lograr una medición 100% del territorio nacional
Corrida detallada de Colombia, con mayor profundidad de análisis: PARASID-Colombia
Validación de resultados con estudios detallados de LANDSAT, ASTER etc. en sitios previamente identificados por PARASID
Implementar sistema en tierra de confirmación de eventos
Análisis detallados de patrones de perdida de hábitat a nivel nacional, y producción de Policy Brief
Capacitación, y entrega de modelos a instituciones nacionales
GRACIAS!
Recommended