LaboratoriodeSeñalesyDinámicasnoLineales ...pes2012.wdfiles.com/local--files/clases/clase1.pdf · IntroducciónVariable AleatoriaVector aleatorioProcesos AleatoriosEstimación Contenidos

Procesamiento estadístico de señales

Gastón Schlotthauer

[email protected]

Laboratorio de Señales y Dinámicas no Lineales – Facultad de IngenieríaUniversidad Nacional de Entre Ríos

http://pes2012.wikidot.com

2012

http://pes2012.wikidot.com

Introducción Variable Aleatoria Vector aleatorio Procesos Aleatorios Estimación

Contenidos

1 Introducción

2 Vector aleatorio

3 Procesos Aleatorios

4 Estimación

Gastón Schlotthauer FI-UNER - Bioingeniería 2012 2 / 58

Contenidos

1 Introducción

2 Vector aleatorio

4 Estimación

ContenidosTema 1 Introducción. Vectores aleatorios. Señales aleatorias a tiempodiscreto. Matrices de correlación y covarianza. Esperanza ymomentos.

Tema 2 Diagonalización. SVD. Blanqueo. PCA. Ejemplos yaplicaciones.

Tema 3 Filtros óptimos. Filtro de coincidencias. Aplicación a ECG.Filtros de Wiener. Principio de ortogonalidad. Formulaciones entiempo y en frecuencia. Aplicación a reducción de ruido en habla

ContenidosTema 4 Filtros adaptativos. Filtro de máxima pendiente. AlgoritmosLMS, RLS. Variantes.

Tema 5 Filtro de Kalman.

Tema 6 Algoritmos de proyección en subespacios. Reducción de ruidocon SVD. Descomposición en autovalores (EVD).

ContenidosTema 7 Métodos de estimación espectral : Métodos no paramétricos.Métodos paramétricos. Métodos de alta resolución basado ensubespacios. Método de Pisarenko. Método MUSIC.

Tema 8 Análisis de componentes independientes (ICA).Restricciones. Ejemplos.

Tema 9 Descomposición Empírica en Modos (EMD). Transformadade Hilbert-Huang. Algoritmos asistidos por ruido.

Introducción

Norbert Wiener1894 - 1964

Señales determinísticasLa señal o serie temporal puede expresarse mediante una fórmulamatemática explícita. (Salida de una fuente, oscilador, generador deseñales).

Señales portadoras de información

Aleatorias(?) El grado de predictibilidad está determinado por ladependencia entre observaciones consecutivas. El caso máximo dealeatoriedad ocurre cuando cada muestra es independiente de todas lasotras (ruido blanco).

Algunas aplicacionesDetección de señales en ruido. Ej. tonos puros, detección de QRS.Seguimiento de trayectoria de objetivos (tracking). Ej. radar, sonar,robótica.Modelización de sistemas. Ej. síntesis del habla.Estimación espectral.Separación (ciega) de fuentes. Ej. EEG, ECG materno - fetal, cocktailparty.Descomposición en modos AM - FM.

Definiciones

Variable Aleatoria (VA)

Una variable aleatoria X es una regla para asignar a cada salida ζ de unexperimento S un número x = X(ζ).

VVAA independientes e idénticamente distribuidas (iid)

Si X1, X2, · · · , XN son variables aleatorias mutuamente independientes ycada variable aleatoria tiene la misma distribución de probabilidades, sedice que son iid.

Definiciones

VVAA independientes e idénticamente distribuidas (iid)

Si X1, X2, · · · , XN son variables aleatorias mutuamente independientes ycada variable aleatoria tiene la misma distribución de probabilidades, sedice que son iid.

Repaso

Función de distribución acumulada (cdf)

FX (x)def= Pr {X ≤ x}

Función densidad de probabilidades (pdf)

fX (x)def=

dFX (x)

dx

Momentos de una VA

Media y varianza

mX = E {X}def=

∫ ∞−∞

xfX (x)dx

varXdef= σ2

X= E

{[X −mX ]

2}

Momento central de orden n

γ(n)X

def= E {[X −mX ]

n} =∫ ∞−∞

(x−mX )n fX (x)dx

Variables Aleatorias

Coeficiente de asimetría, oblicuidad (skewness)

Skew def= E

{[X −mXσX

]3}=

1

σ3X

γ(3)X

Si vale cero, la función densidad es simétrica alrededor de su valor medio.Si es positivo, la “cola” tiende a la derecha, si es negativa tiende a laizquierda.

Variables Aleatorias

Coeficiente de asimetría, oblicuidad (skewness)

Skew def= E

{[X −mXσX

]3}=

1

σ3X

γ(3)X

Si vale cero, la función densidad es simétrica alrededor de su valor medio.Si es positivo, la “cola” tiende a la derecha, si es negativa tiende a laizquierda.

0 5 10 15 20 25 300

0.05

0.1

0.15

0.2

x

p(x)

Skewness: 1Skewness: -1Skewness: 0

Variable Aleatoria

Curtosis (apuntamiento o concentración central)

Curtosis def= E

{[X −mXσX

]4}− 3 = 1

σ4X

γ(4)X− 3

Suele llamarse exceso de curtosis. Si es positiva, la función densidad tieneun pico más pronunciado que una normal. Si la curtosis es negativa, lafunción densidad es más aplanada que una normal.

Variable Aleatoria

Curtosis (apuntamiento o concentración central)

Curtosis def= E

{[X −mXσX

]4}− 3 = 1

σ4X

γ(4)X− 3

Suele llamarse exceso de curtosis. Si es positiva, la función densidad tieneun pico más pronunciado que una normal. Si la curtosis es negativa, lafunción densidad es más aplanada que una normal.

-10 -8 -6 -4 -2 0 2 4 6 8 100

0.1

0.2

0.3

0.4

0.5

0.6

0.7

x

p(x)

Kurtosis: 0Kurtosis: 3Kurtosis:-1.2

Contenidos

1 Introducción

2 Vector aleatorio

4 Estimación

Definiciones

Vector aleatorioUn vector aleatorio real XXX se define como:

XXX =

X1X2...XN

con X1, X2, . . . , XN variables aleatorias reales.

Vectores aleatorios

DefiniciónUn vector aleatorio complejo XXX con componentes Xk = Xrk + Xik sedefine como:

XXX = XrXrXr + XiXiXi

donde XrXrXr y XiXiXi son los vectores aleatorios reales

XrXrXr =

Xr1Xr2...

XrN

;XiXiXi =Xi1Xi2...

XiN

Vectores aleatorios

Representación de una serie temporal como vector aleatorio

x[n] serietemporaldefinida para0 ≤ n ≤ N − 1.

x =

x[0]x[1]...

x[N − 1]

Recordar que X es la función variable aleatoria y x es un valor numéricoque toma X.

Caracterización de vectores aleatorios

Función distribución multivariadaSea x un valor específico del vector aleatorio:

x =

x1x2...xN

La probabilidad del evento XXX ≤ x, que se define como:

XXX ≤ x : X1 ≤ x1, X2 ≤ x2, . . . , XN ≤ xN ,

es función de x y se conoce como la función distribución (multivariada)para el vector aleatorio XXX.

FXXX (x)def= Pr [XXX ≤ x]

Caracterización de vectores aleatorios

Función densidad multivariadaLa función densidad se define como la derivada de la función distribucióncon respecto a todos los componentes del vector:

fX (x) =∂

∂X1

∂

∂X2· · · ∂

∂XNFX (x)

Ejemplo: función densidad gaussiana multivariadaPara un vector aleatorio real x, esta función densidad tiene la siguienteforma:

fX (x) =1

(2π)N/2 |CX |1/2

e12(x−mX)

TC

X−1(x−mX).

donde N es la dimensión del vector aleatorio, mX es la media y CX lamatriz de autocovarianza.

Contenidos

1 Introducción

2 Vector aleatorio

4 Estimación

Procesos Aleatorios

Proceso aleatorio o proceso estocástico

Un proceso estocástico X(t) es una regla para asignar a cada ζ unafunción X(t, ζ).Un proceso estocástico es una familia de funciones del tiempo quedependen también del parámetro ζ. El dominio de ζ es el conjunto detodas las salidas del experimento y el dominio de t es un conjunto denúmeros R ∈ R.

Procesos Aleatorios

Tipos de procesos aleatorios

Si R es el eje real, entonces X(t) es un proceso de tiempo continuo.

Si R es el conjunto de enteros se trata de un proceso de tiempo discreto.En este caso indicaremos el proceso como X[n], con n ∈ Z.

Un proceso aleatorio es un proceso de estados discretos si sus valores soncontables. De otra forma es un proceso de estados continuos.

Procesos Aleatorios

Momentos de un proceso aleatorio

Serie de medias

mX [n] = E {X[n]} .

Serie de varianzas

σ2X

[n] = E{

(X[n]−mX [n])2}.

0 5 10 15 20 25 30-4

-2

0

2

4x 1

[n]

0 5 10 15 20 25 30-4

-2

0

2

4

x 2[n

]

0 5 10 15 20 25 30-4

-2

0

2

4

x 3[n

]

n

0 5 10 15 20 25 30-4

-2

0

2

4x 1

[n]

0 5 10 15 20 25 30-4

-2

0

2

4

x 2[n

]

0 5 10 15 20 25 30-4

-2

0

2

4

x 3[n

]

n

Correlación y covarianza de un proceso aleatorio

Serie de correlación

rX [n1, n2] = E {X[n1]X∗[n2]}

Serie de covarianza

cX [n1, n2] = E {(X[n1]−mX [n1]) (X[n2]−mX [n2])∗}

= E {X[n1]X∗[n2]} − E {X[n1]}E {X∗[n2]}= rX [n1, n2]−mX [n1]m

∗X

[n2]

rX [n1, n2] = E {X[n1]X∗[n2]}

Serie de covarianza

∗X

[n2]

rX [n1, n2] = E {X[n1]X∗[n2]}

Serie de covarianza

∗X

[n2]

Procesos estacionariosUn proceso aleatorio se dice que es estacionario en sentido estricto si ladistribución de probabilidades no depende del tiempo.

Proceso aleatorio débilmente estacionarioUn proceso aleatorio es estacionario en sentido amplio (WSS) odébilmente estacionario si su valor medio mX [n] no depende del tiempo yla autocovarianza (autocorrelación) cX [n1, n2] (rX [n1, n2]) dependesolamente de la separación temporal entre muestras k = |n2 − n1|.

mX [n] = mX , −∞ < n

Proceso aleatorio débilmente estacionarioUn proceso aleatorio es estacionario en sentido amplio (WSS) odébilmente estacionario si su valor medio mX [n] no depende del tiempo yla autocovarianza (autocorrelación) cX [n1, n2] (rX [n1, n2]) dependesolamente de la separación temporal entre muestras k = |n2 − n1|.

mX [n] = mX , −∞ < n

Procesos ergódicos¿Es posible estimar estadísticos a partir de promedios temporales?No podemos estimar mX si E {X[n]} depende de n.

Si X[n] es WSS y:

MX =1

2N + 1

N∑n=−N

x[n],

observamos que MX es una VA. Si ĺımN→∞

MX = mX , X[n] es ergódico en

la media.

Si X[n] es WSS y:

MX =1

2N + 1

N∑n=−N

x[n],

la media.

Si X[n] es WSS y:

MX =1

2N + 1

N∑n=−N

x[n],

la media.

0 5 10 15 20 25 30-4

-2

0

2

4x 1

[n]

0 5 10 15 20 25 30-4

-2

0

2

4

x 2[n

]

0 5 10 15 20 25 30-4

-2

0

2

4

x 3[n

]

n

0 5 10 15 20 25 30-4

-2

0

2

4x 1

[n]

0 5 10 15 20 25 30-4

-2

0

2

4

x 2[n

]

0 5 10 15 20 25 30-4

-2

0

2

4

x 3[n

]

n

EjemploSupongamos que la variable aleatoria Y tiene media mY y:

X[n] = Y, mX = E {X[n]} = E {Y } = mY

Sin embargo, cada realización del proceso X[n] tendrá un promediotemporal diferente de mY . X[n] NO es ergódico en la media.

X[n] = Y, mX = E {X[n]} = E {Y } = mY

Procesos ergódicos

Si ĺımk→∞

rX [k] = 0 puede demostrarse que el proceso aleatorio X[n] es

ergódico en la autocorrelación, o ergódico de segundo orden.En este caso podemos estimar las series de autocovarianza y deautocorrelación con una sola realización.

Esperanza y momentos - caso vectorial

Esperanza

Sea XXX un vector aleatorio y ψX(XXX) una cantidad deducida de él. Laesperanza de ψX se escribe E {ψX (XXX)} y se define por la operación:

E {ψX (XXX)} =∞∫−∞

ψX (x) fX (x)dx

El primer momento o media de un vector aleatorio XXX se define por:

mX = E {XXX}def=

∫ ∞−∞

xfX (x)dx.

Matriz de CorrelaciónLa matriz de correlación RX representa el conjunto completo demomentos de segundo orden del vector aleatorio, y se define mediante:

RX = E{XXXXXXH

}.

Esta matriz tiene la forma:

RX =

E {X1X∗1} E {X1X∗2} · · · E

{X1X

∗N

}E {X2X∗1} E {X2X∗2} · · · E

{X2X

∗N

}...

......

E {XNX∗1} E {XNX∗2} · · · E{XNX

∗N

}

¿Qué espera que ocurra con RX en caso de un WSS? RX Toeplitz!

RX = E{XXXXXXH

}.

RX =

E {X1X∗1} E {X1X∗2} · · · E

{X1X

∗N

}E {X2X∗1} E {X2X∗2} · · · E

{X2X

∗N

}...

......

E {XNX∗1} E {XNX∗2} · · · E{XNX

∗N

}

RX = E{XXXXXXH

}.

RX =

E {X1X∗1} E {X1X∗2} · · · E

{X1X

∗N

}E {X2X∗1} E {X2X∗2} · · · E

{X2X

∗N

}...

......

E {XNX∗1} E {XNX∗2} · · · E{XNX

∗N

}

Matriz de CovarianzaLa matriz de covarianza CX es el conjunto completo de momentoscentrales de segundo orden del vector aleatorio, y se define mediante:

CX = E{

(XXX −mX)(XXX −mX)H}.

PropiedadesTanto la matriz de correlación como la de covarianza tienen simetríaHermitiana:

RX = RXH ; CX = CX

H .

Ambas matrices son semidefinidas positivas:

aHRXa ≥ 0; aHCXa ≥ 0.

para cualquier vector complejo a. En la mayoría de los casos reales lamatriz de correlación es estrictamente definida positiva.Relación entre RX y CX :

RX = CX + mXmXH .

Esperanza conjunta: correlación y covarianza cruzada

Si una cantidad ψXYXYXY

depende de dos vectores aleatorios XXX e YYY , suesperanza se define como:

E{ψXYXYXY

(x,y)} =∫ ∞−∞

∫ ∞−∞

ψXY(x,y)fXY(x,y)dydx.

Se define la matriz de correlación cruzada RXY :

RXY = E{XXXYYY H

}y la matriz de covarianza cruzada:

CXY = E{

(XXX −mX)(YYY −mY)H}

E{ψXYXYXY

(x,y)} =∫ ∞−∞

∫ ∞−∞

RXY = E{XXXYYY H

CXY = E{

E{ψXYXYXY

(x,y)} =∫ ∞−∞

∫ ∞−∞

RXY = E{XXXYYY H

CXY = E{

Se dice que dos vectores aleatorios XXX e YYY no están correlacionados si:

RXY = E{XXXYYY H

}= E {XXX}E

{YYY H

}= mXmY

H .

Esto es equivalente a decir que dos vectores aleatorios no estáncorrelacionados si:

CXY = E{

= 0.

Se dice que dos vectores aleatorios son ortogonales si:

RXY = E{XYXYXY H

}= 0.

(El uso de la terminología no correlacionado cuando la covarianza cruzada es cero esdesafortunada, pero convencional.)

RXY = E{XXXYYY H

}= E {XXX}E

{YYY H

}= mXmY

H .

CXY = E{

= 0.

RXY = E{XYXYXY H

}= 0.

RXY = E{XXXYYY H

}= E {XXX}E

{YYY H

}= mXmY

H .

CXY = E{

= 0.

RXY = E{XYXYXY H

}= 0.

Contenidos

1 Introducción

2 Vector aleatorio

4 Estimación

Estimación a partir de las muestras

HistogramaK es el número total demuestras, Kx es el númerode muestras en el intervalox

Si f(x) y ψ(x) varían poco sobre cada intervalo, la esperanza puedeaproximarse como:

E{ψ (x)} '∑∀x

ψ (x) fX (x) ∆x '1

K

∑∀x

ψ (x)Kx.

En la última suma, si en cada intervalo x < X ≤ x + ∆x suponemos quepara todas las muestras x(k), k = 1, . . . ,K que caen en este intervaloψ(x(i)) ' ψ (x), podemos escribir:

E{ψ(x)} ' 1K

K∑k=1

ψ(x(k)

).

Si f(x) y ψ(x) varían poco sobre cada intervalo, la esperanza puedeaproximarse como:

E{ψ (x)} '∑∀x

ψ (x) fX (x) ∆x '1

K

∑∀x

ψ (x)Kx.

En la última suma, si en cada intervalo x < X ≤ x + ∆x suponemos quepara todas las muestras x(k), k = 1, . . . ,K que caen en este intervaloψ(x(i)) ' ψ (x), podemos escribir:

E{ψ(x)} ' 1K

K∑k=1

ψ(x(k)

).

La estimación de la esperanza de una cantidad que involucra dos vectoresaleatorios, a partir de las muestras x(1), x(2), . . . ,x(K) yy(1), y(2), . . . ,y(K) toma la forma:

E {ψ(x,y)} ' 1K

K∑k=1

ψ(x(k),y(k)

).

Ejemplo

x(1) =

[10

], x(2) =

[−2

1

], x(3) =

[2−2

], x(4) =

[02

].

Una estimación de la media puede calcularse como:

m̂ =1

K

K∑k=1

x(k) =1

4

{[10

]+

[−2

1

]+

[2−2

]+

[02

]}=

[1414

].

EjercicioEncuentre una estimación de la matriz de correlación

R̂X =1K

K∑k=1

x(k)(x(k)

)T.

Matriz de datos

Para estimar la matriz de correlación de una manera más conveniente,definamos la matriz de datos:

X =

← x(1)H →← x(2)H →

...← x(K)H →

(X tiene K filas y N columnas si tenemos K vectores de dimensión N).

Ahora podemos escribir más convenientemente la ecuación para estimar lamatriz de correlación:

R̂X =1

KXHX

Matriz de datos

Para estimar la matriz de correlación de una manera más conveniente,definamos la matriz de datos:

X =

← x(1)H →← x(2)H →

...← x(K)H →

Ahora podemos escribir más convenientemente la ecuación para estimar lamatriz de correlación:

R̂X =1

KXHX

Matriz de datos

Volviendo al ejemplo anterior:

X =

1 0−2 1

2 −20 2

La matriz de correlación estimada se calcula:

R̂X =1

4

[1 −2 2 00 1 −2 2

]1 0−2 1

2 −20 2

= 14[

9 −6−6 9

]

Matriz de datos

Volviendo al ejemplo anterior:

X =

1 0−2 1

2 −20 2

La matriz de correlación estimada se calcula:

R̂X =1

4

[1 −2 2 00 1 −2 2

]1 0−2 1

2 −20 2

= 14[

9 −6−6 9

]

Estimación de la serie de autocorrelación

En el caso ergódico, podemos estimar la función de autocorrelación apartir de una realización del proceso aleatorio:

r̂X [k] =1

N − k

N−1−k∑n=0