Presentación de PowerPointblog.uclm.es/diegopedregal/files/2018/05/diapositivas.pdf · Estimación óptima de parámetros desconocidos (hiper-parametros): •Máxima Verosimilitud

Diego J. PedregalUNIVERSIDAD DE CASTILLA-LA MANCHA

ESCUELA TÉCNICA SUPERIOR INGENIEROS INDUSTRIALES (CIUDAD REAL)

[email protected]

Universidad Complutense de Madrid18 de Mayo de 2018

Inteligencia predictiva a través de modelos de Espacio de los Estados y

otras consideraciones

Esquema:

• Inteligencia predictiva a través de modelos de Espacio de los Estados

• Otras consideraciones: Investigación, Big Data, etc.

Modelos de Espacio de los Estados (I) 2

Inteligencia predictiva a través de modelos de Espacio de los Estados


• El Modelo EE general (flexible):


• Forma muy general, aplicable a:– Modelos con parámetros cambiantes.

– Modelos con heterocedasticidad.

– Modelos en tiempo continuo.

– Series con diferentes períodos de muestreo.

– Agregación temporal.

– Algunas familias de modelos no lineales.

– Modelos no - Gaussianos

– ...

ttttttt

ttttttt

vCuDxHz

wEuxx

:nObservació de Ecuación

: Estadosde Ecuación 1



ttttttt

ttttttt

vCuDxHz

wEuxx



• Cuatro características del modelo:– Dos sistemas de ecuaciones.

– Todos los elementos que aparecen son matrices o vectores (negrita).

– Todo tiene subíndices de tiempo.

– La ecuación de transición es dinámica, la de observación estática.



ttttttt

ttttttt

vCuDxHz

wEuxx


: Estadosde Ecuación 1 tw

tv

vhE

Nh

Nv

ttt

tt

tt

ruidos de scovarianza de matriz '

; 1 sobservable ruidos de vector :

; 1 ruidos de vector :

wvS

R0v

Q0w

P. e

stocá

stic

a

1 salidas o outputs deVector :

1 entradas o inputs deVector :

m

k

t

t

z

u

Info

rmac

ión

tu

tu

tz

1 : NtxVector de estados:

tx1tx

tx



ttttttt

ttttttt

vCuDxHz

wEuxx



vhE

Nh

Nv

ttt

tt

tt

ruidos de scovarianza de matriz '

; 1 sobservable ruidos de vector :

; 1 ruidos de vector :

wvS

R0v

Q0w

P. e

stocá

stic

aM

. del

sis

tem

a

: : :

: : :

: : :

vhhhvv

hmkmNm

vNkNNN

ttt

ttt

ttt

SRQ

CDH

Ε

t t tΕ

tH tD tC

tQ

tR

tS

– Ejemplo 1: AR(1)


tttvzz

1

tt

ttt

xz

wxx 1

ttttttt

ttttttt

vCuDxHz

wEuxx

1

– Ejemplo 2: ARMA(1, 1)

11

ttttvvzz

ttt

ttt

vxz

vxx 1

• Dos cuestiones fundamentales:

– 1. Estimación óptima de estados:

• Filtro de Kalman (KF):

• Algoritmo de Suavizado de Intervalo Fijo (FIS):

– 2. Estimación óptima de parámetros desconocidos (hiper-parametros):

• Máxima Verosimilitud en el dominio del tiempo, utilizando el Filtro de Kalman.

• Otras posibilidades.




• Filtro de Kalman (KF):– Ecuaciones de predicción:

» Predicción óptima para el vector de estados

» Predicción óptima para su matriz de covarianzas

– Ecuaciones de adaptación:

» Estimación óptima del vector de estados.

» Estimación óptima de su matriz de covarianzas

– Innovaciones y su matriz de varianzas y covarianzas.

– Observaciones ausentes y predicción.

– Inicialización, intervenciones de varianza y optimalidad.

• Algoritmo de Suavizado de Intervalo Fijo (FIS):– Estimación óptima del vector de estados.

– Estimación óptima de su matriz de covarianzas.




• Filtro de Kalman (KF; con S=0):– Ecuaciones de predicción:

– Ecuaciones de adaptación:


T

tt

T

ttt

ttttt

EQEPP

uΓxx

ttt

t

11|

11|

ˆˆ

ˆˆ

1|

1

1|1|

1

1|1|

1|

1|

ˆˆˆˆ

ˆˆˆˆ

ˆˆ

ˆˆ

tttt

T

tttttt

tt

T

tttttt

T

ttt

T

ttttt

tttttt

PHFHPPP

vFHPxx

CRCHPHF

DuxHzv



• Algoritmo de Suavizado de Intervalo Fijo (FIS):


tt

T

tttttt

Ntt

T

ttt

T

tt

Nt

T

tttttt

T

tt

tttttttNt

tttttNt

HFHPΦΦΦ

0SΦSΦHFHS

0ssΦxHzFHs

PSPPP

sPxx

1

1|

1

1

1|

1

1

1|11|1||

11|1|

ˆ

th wi

h witˆ

ˆˆˆˆ

ˆˆˆ


– 2. Estimación óptima de parámetros desconocidos (hiper-parametros):

• Máxima Verosimilitud en el dominio del tiempo, utilizando el Filtro de Kalman.


• Otras posibilidades.

T

tttt

T

tt

mTL

1

1

1ˆˆ'ˆ

2

1ˆln

2

12ln

2ln vFvF

T

ttt

T

ttttt

tttttt

CRCHPHF

DuxHzv

1|

1|

ˆˆ

ˆˆ

Ejemplo 1: Nivel medio cambiante en el tiempo.

Modelos de Espacio de los Estados (II) 14

ttttt vwB

vTz

1

1

ttttttt

ttttttt

vCuDxHz

wEuxx

1

ttt

ttt

vxz

wxx

1

111

por MV estimadas y QR

Ejemplo 2: Caso anterior Multivariante.

ttt

ttt

vxz

wxx 111

por MV estimadas diagonales no y QR

Ejemplo 3: Filtro de Hodrick-Prescott (IRW).


ttttt vw

BvTz

21

1

ttttttt

ttttttt

vCuDxHz

wEuxx

1

ttt

t

tt

vz

wx

x

x

x

x01

1

0

10

11

2

1

12

1

1600var

var

Q

R

w

v

t

t

Ejemplo 4: HP Multivariante.

ttt

t

tt

vx0Iz

wI

0

x

x

I0

II

x

x

2

1

12

1


Ejemplo 5: Local Linear Trend (LLT).


ttt vTz

ttttttt

ttttttt

vCuDxHz

wEuxx

1

ttt

ttt

vz

w

w

x

x

x

x

x01

10

01

10

11

2

1

2

1

12

1

2

22

21

0

0

RQ

– Ejemplo 6: Componentes NO Observables.


ttttt vSCTz

ttttttt

ttttttt

vCuDxHz

wEuxx

1

q

qQS

w

w

S

S

S

S

tt

ttt

0

0 ;01

10

01

'cossen

sencos

' 2

1

1

x

• Modelo de Estacionalidad (o ciclo):

• Modelo completo:

ttt

ttt

vz

w

w

w

S

S

D

T

S

S

D

T

x

0

0

0

0

0101

10

01

1

0

'cossen

sencos

10

11

'2

1

0

1

– Ejemplo 7: Dynamic Harmonic Regression


ttttt vSCTz

ttttttt

ttttttt

vCuDxHz

wEuxx

1

q

qQttS

w

w

a

a

a

a

tt

ttt

0

0 ;sincos

10

01

'10

01

'

11

2

1

1

x



ttt

ttt

vttz

w

w

w

a

a

D

T

a

a

D

T

x

0

0

0

0

11

2

1

0

1

sincos01

10

01

1

0

'10

01

10

11

'

Ejemplo 8: Regresión lineal


ttt vz '' :1 Versión X

ttt vz βX

tttt

ttt

vz

X

w1 :2 Versión

• Si Q= 0 el Filtro de Kalman proporciona la estimación recursiva del sistema (útil cuando existen observaciones ausentes).

• Si Q> 0 se puede realizar la estimación de una regresión lineal con parámetros cambiantes en el tiempo.

ttttttt

ttttttt

vCuDxHz

wEuxx

1



tttt vzzz 2211

ttttt

tt

vzzz

w

w

x21

10

01

:4 Versión

tt

t

tt

z

vx

x

x

x

x01

0

1

0

1

:1 Versión2

1

2

1

12

1

ttt

t

tt

vz

vx

x

x

x

x01

0

1

:2 Versión2

1

2

1

2

1

12

1

ttttttt

ttttttt

vCuDxHz

wEuxx

1

Versión 3: 𝑧𝑡 = 𝜙1 𝜙2𝑧𝑡−1𝑧𝑡−2

+ 𝑣𝑡



tttt vzzz 2211

ttttt

tt

vzzz

w

w

x21

10

01

:4 Versión

• En todos los casos, excepto en las versiones 3 y 4 se pueden estimar los coeficientes sin problemas de valores ausentes.

• Si Q= 0 el Filtro de Kalman proporciona la estimación recursiva del sistema.

• Si Q> 0 se puede realizar la estimación del modelo con parámetros cambiantes en el tiempo.

ttttttt

ttttttt

vCuDxHz

wEuxx

1

Versión 3: 𝑧𝑡 = 𝜙1 𝜙2𝑧𝑡−1𝑧𝑡−2

+ 𝑣𝑡

– Ejemplo 10: ARMA(1, 1).


11 tttt vvzz

ttt

ttt

vxz

vxx 1 :2 Versión

tt

t

tt

z

vx

x

x

x

x01

1

1

00 :1 Versión2

1

12

1

ttttttt

ttttttt

vCuDxHz

wEuxx

1

– Ejemplo 11: VARMA(p, p).


ptpttptptt vΘvΘvzφzφz 1111

ttt

t

pp

pp

t

p

p

t

vx000Iz

v

Θφ

Θφ

Θφ

Θφ

x

000φ

I00φ

0I0φ

00Iφ

x

11

22

11

1

2

1

1

ttttttt

ttttttt

vCuDxHz

wEuxx

1

– Ejemplo 12: MCNO Multivariantes.


ttttt vSCTz

ttttttt

ttttttt

vCuDxHz

wEuxx

1

ttt

ttt

vx0I0Iz

w

w

w

I0

0I0

0I

0

S

S

D

T

II

II0

0I0

II

S

S

D

T

2

1

0

1'cossen

sencos

'


Ejemplo 13: Ciclos modulados.


ttttt vSCTz

ttttttt

ttttttt

vCuDxHz

wEuxx

1

q

qQttS

w

w

S

S

S

S

tt

ttt

0

0 ;sincos

10

01

'cossen

sencos

'

11

2

1

00

00

1

x



ttt

ttt

vttz

w

w

w

S

S

D

T

S

S

D

T

x

0

0

0

0

11

2

1

0

00

00

1

sincos01

10

01

1

0

'cossen

sencos

10

11

'

– Ejemplo 14: Función de transferencia


ttt vuB

BwBwz

1

221

ttt

t

tt

vz

uw

w

x

x

x

x

x01

00

1

2

1

2

1

12

1

122111 tttttt vvuwuwzz

ttttttt

ttttttt

vCuDxHz

wEuxx

1

– Ejemplo 15: Concatenación de sistemas.Función de transferencia con ruido


ttt vB

BBu

B

BwBwz

11

221

221

ttt

tt

tt

vz

vuw

w

x

x

x

x

x

x

x

x

x

0

0

0101

0

0

0

0

0

1

00

1

2

1

2

1

4

3

2

1

2

1

14

3

2

1

ttttttt

ttttttt

vCuDxHz

wEuxx

1

– Ejemplo 16: Modelo TAR.


01

01

2,2

22

2

2

1

2,1

21

2

1

1

tt

tt

tzvBB

zvBBz

ttttttt

ttttttt

vCuDxHz

wEuxx

1

0

0

2,2

2

12

1

2

1

2,1

2

11

2

1

1

tt

t

t

t

tt

t

t

t

zvz

zz

zvz

zz

– Ejemplo 17: Agregación temporal.


Supongamos una variable observada a espacios de tiempo irregular.

Desde el punto de vista de la agregación temporal, las variables pueden ser de dos tipos:

1. Stock: las observaciones son estáticas.

2. Flujo: las observaciones son “dinámicas”, una

observación anual equivale a la suma (o el

promedio) de todos los meses; una

observación trimestral equivale a la suma

de los tres trimestres; etc.

La agregación temporal de variables stock es interpolación.


t

t

t

t

t

t

t

t

t

x

z0Iz

w

v

I0

HI

x

z

Φ0

HΦ0

x

z

1

1

resto elen ,1

dato el existe cuando ,0 tCt

t

t

t

t

t

t

tt

t

t C

x

z0Iz

w

v

I0

HI

x

z

Φ0

HΦI

x

z

1

1

– Ejemplo 17: Agregación temporal.

Variables flujo:

tttt

tttt

vCHxz

wExx

1

• SSpace:

– Toolbox de series temporales que implementa un modelo EE con alto grado de flexibilidad.

– Villegas, M.A., Pedregal, D.J. (2018), SSpace: A toolbox for State Space modelling, Journal of Statistical Software, in press.

– https://bitbucket.org/predilab/sspace-matlab/

La librería SSpace de MATLAB 31

https://bitbucket.org/predilab/sspace-matlab/

• Otros programas relacionados:

– E4: Terceiro et al., www.ucm.es/info/icae/e4

– CAPTAIN: Young, PC et al.,ww.es.lancs.ac.uk/cres/captain

– Ox Metrics: www.oxmetrics.net

– Ssfpack for Ox: www.ssfpack,com

– STAMP: www.stamp-software.com

– BATS: www.stat.duke.edu/~mw/bats.html

– SEATS y TRAMO: www.bde.es/servicio/software/econom.html

– ... 32Introducción

• Cuatro pasos para la modelización SS:

1. Escribir en un papel el modelo y su forma de espacio de los estados.

2. Crear una función que traduzca el modelo en código MATLAB.

3. Estimar los parámetros desconocidos del modelo.

4. Correr el Filtro de Kalman y/o FIS para obtener estimación óptima de estados y sus covarianzas.


1. Escribir en un papel el modelo y su forma de espacio de los estados


ttt

ttt

vxz

wxx

1

111

ttttttt

ttttttt

vCuDxHz

wEuxx

1

2. Crear una función MATLAB que represente el modelo:


ttt

ttt

vxz

wxx

1

111

ttttttt

ttttttt

vCuDxHz

wEuxx

1

3. Estimar los parámetros desconocidos del

modelo :


4. Correr el Filtro de Kalman y/o FIS para obtener

estimación óptima de estados y sus covarianzas


Ejemplo agregación temporal:


Ejemplo agregación temporal:


Otras consideraciones (opiniones desordenadas)

40

41

Relación entre inteligencia artificial, Machine learning y Deep learning

Imagen tomada de http://www.devacademy.es

http://www.devacademy.es/

• Big Data y tecnología causa transformación profunda de la sociedad y la economía:– Trabajo hecho por robots.

– 2 de cada 3 operaciones en Bolsa las hacen robots.

– Coches autónomos.

– Facebook te conoce mejor que tu madre y que tú mismo. Delegar decisiones. Google también.

– Ejemplo de marketing analytics.

– Tecnología blockchain (seguridad en redes con información compartida).

42

– Programación por reinforcement learning de una máquina capaz de aprender a jugar al ajedrez en 72 horas. (Lai, 2017,

Giraffe: Using Deep Reinforcement Learning to Play Chess)

– AlphaGo Zero es el mejor jugador de GO, entrenado en días (Gibney, E. (2017). Self-taught AI is Best Yet at Strategy Game Go:

Artificial-Intelligence Program, AlphaGo Zero Trained in Just Days, Without Any Human Input, Nature, International Weekly Journal of Science , Oct., 2017)

– Google ha lanzado auriculares con traductor simultáneo en 40 idiomas.

– Amazon Go (https://www.cnet.com/pictures/photos-inside-amazon-go-

store-no-cashiers-seattle/).

43

https://www.cnet.com/pictures/photos-inside-amazon-go-store-no-cashiers-seattle/

• ¿Transforma el Big Data la forma de hacer ciencia económica?

– Una parte ya se hace así, puesto que Big Data incluye la estadística clásica. Modelos de panel, factoriales, etc.

– Sí, porque se pueden analizar problemas nuevos por la abundancia y detalle de la información o de formas nuevas.

• Anécdota de función de demanda clásica.

• Demanda intermitente.

• Demanda jerárquica.

• Estudiar implicaciones de la revolución digital.

• Etc.44

• ¿Transforma el Big Data la forma de hacer ciencia económica?

– Punto filosófico: gente friki que se sale de moldes, muy eficiente, informal, y cambian la forma de publicar resultados…

– Competiciones.

– Software libre.

– WEB 3.0.

– Necesario estar despiertos a innovaciones y ser flexibles. Formación y adaptación constante. Aprender Big Data.

45

• ¿Significa que Big Data va a mejorar los resultados de la Economía como disciplina?

– Optimistas (u oportunistas) dicen que SÍ. Hay muchos papers de predicción que así lo dicen.

– Serias dudas: Un problema puede ser difícil por dos razones, al menos:

• Técnicamente difícil pero con estructura bien definida que detectar. Detección de imágenes, lenguaje, etc.

https://www.youtube.com/watch?v=z8RVC7VmY8k

• Técnicamente difícil y además con una estructura muy laxa (economía).


https://www.youtube.com/watch?v=z8RVC7VmY8k

Documents

Presentación de PowerPointblog.uclm.es/diegopedregal/files/2018/05/diapositivas.pdf · Estimación óptima de parámetros desconocidos (hiper-parametros): •Máxima Verosimilitud