Reconocimiento de Formas en Data Mining Prof: Héctor Allende El clasificador de mínimo error (Bayes) se puede expresar en términos de funciones discriminantes:

Reconocimiento de Formas en Data Mining Prof: Héctor Allende

• El clasificador de mínimo error (Bayes) se puede expresar en términos de funciones discriminantes:

Forma general de las funciones discriminantes asumiendo f.d.p. normales

)9()log())|(log()( iii wXpXg

),,()|( Si iii NwXp

)10(log||log2

12log

2)()(

2

1)( 1

iiiiT

ii

dXXXg

3. Funciones discriminantes para la f.d.p normal.3. Funciones discriminantes para la f.d.p normal.


• Casos particulares:

- Caso 1. i = 2 I (Clasificador . Lineal)

- Caso 2. i = ( Clasificador Lineal)

- Caso 3. i arbitrarias ( Clasificador Cuadrático)



3.1 Clasificadores lineales

3.1.1 Caso 1: i = 2 I

• Variables estadísticamente independientes (no correlacionadas) y todas tienen la misma varianza, 2(Homocedasticas)

• Las matrices de covarianza son diagonales con valor 2

i = Diagonal(2 ,,,2)




Clasificador lineal con i = 2 I


• Simplificaciones de las funciones discriminantes.

- En este caso Sustituyendo en (10):

- Considerando que || || es la norma Euclídiana

])1(,,,)1[(y || 2212 Diagonalid

i

)11()log()()(2

1)(

2 iiT

ii XXXg

)()(|||| 2i

Tii XXX

)12()log(2

||||)(

2

2

ii

i

XXg



- Si i son iguales, no son significativas para :

Alternativamente,

Regla de mínima distancia Euclídiana

),(min),( si )( 2

,...,2,1

2iE

JicEc XXwXd

)(Xgi

)13(||||)( 2ii XXg

)()(|||| ),( 22i

TiiiE XXXX



• Funciones discriminantes lineales:

• Superficies de decisión:

donde:


)log(22

1)(

2 iiTi

Ti

Ti XXXXg

)log(2

1

1

)(

20

2

0

iiTii

ii

iT

ii

w

WwXWXg

)()( XgXg ji

0)( 000 XXWwXWwXW Tj

Tji

Ti

jiW )(log

||||)(

2

2

21

0 jiji

ji j

iX



Front. de dec. Para un clasificador de mín. distancia


3.1.2 Caso 2: i =

• Las variables no son estadísticamente independientes (correlacionadas) y las varianzas individuales son diferentes.

• Geométricamente: patrones distribuidos en agrupamientos hiperelipsoidales de igual tamaño y forma. Cada agrupamiento centrado en su media correspondiente, i


Clasif. Lineal con i= (120,12)



Clasif. Lineal con i= (12=0,12)


• Simplificación de las funciones discriminantes.

• Si i son iguales, no son significativas para :

Alternativamente,

Regla de mínima distancia Mahalanobis.


)14()log()()(2

1)( 1

iiT

ii XXXg

)(Xgi

)15()()()( 1i

Tii XXXg

),(min),( si )( 2

,...,2,1

2iM

JicMc XXwXd

)(|||| ),( 12ii

TiiM XXX


• Funciones discriminantes lineales:

• Superficies de decisión.


)log( )(

121

0

1

0ii

Tii

iii

Tii w

WwXWXg

)()(

)(log)(

)(

0)(12

10

1

0

jiT

ji

ji

ji

jii

i j

i

X

W

XXW


3.2 Clasificadores cuadráticos

3.2.1 Caso 3: i arbitrarias

• Fronteras de decisión expresadas como una función cuadrática (círculos, elipses, parábolas, hipérbolas).

• Este es el caso más general (i arbitrarias ), del cual se derivan

como casos particulares los dos estudiados anteriormente.

i = 2 I

i =




Clasificadores Cuadráticos


• Simplificación de las funciones discriminantes.

• Si i son iguales, no son significativas para :

• Funciones discriminantes cuadráticas:

donde:


)16(log||log2

1)()(

2

1)( 1

iiiiT

ii XXXg

)17(||log2

1)()(

2

1)( 1

iiiT

ii XXXg

)(Xg i

0)( iT

iiT

i wXWXWXXg

iiiii WW 1121 y

iiiTiiw log||log- 2

1i

121

0



Fronteras de decisión (en dos dimensiones)


• Motivación: ¿Porqué no usar el caso i arbitrarias siempre?

Rpta: Dimensión del espacio de parámetros

1. Considerar los costes computacionales de calcular:

Caso 3:

Caso 2:

Caso1:

4. Diseño de clasificadores de mínima distancia4. Diseño de clasificadores de mínima distancia

iiiiT

ii XXXg log||log2

1)()(

2

1)( 1

iiiT

ii XXXg log)()(2

1)( 1

)log()()(2

1)(

2 iiT

ii XXXg


2. Estabilidad de los estimadores

(Representatividad ; sesgo,variancia, eficiencia robustez)

• Etapas:

1. Análisis del conjunto de aprendizaje.

( Consistencia Número de prototipos )

2. Aprendizaje.

( Estimación de Parámetros)

3. Clasificación.

( Regla de decisión)



4.1. Diseño de clasificadores.

1. Análisis del conjunto de aprendizaje.

Estudiar y sacar conclusiones sobre los conjuntos de aprendizaje: test de normalidad, comprobación de la suficiencia del número de muestras de entrenamiento para estimaciones y estudio de la estructura y propiedades estadísticas estadísticas de las clases.

En resumen: Decidir el clasificador (casos 1,2 ó 3).



2. Aprendizaje.

Estimación de los parámetros de cada clase

1.- Caso 1 : Estimar i (i = 1,2, ..., J) y 2

2.- Si acaso 2 ó 3, Estimar i y i para (i = 1,2, ..., J)

Si i = Calcular =

3. Clasificación.

Calcular para i=1,2,...,J (según el caso)


J

iii

1

)(Xg i

JiXgXgcXd ic ,...,2,1 ),()( si )(



4.2. Clasificadores de mínima distancia.

Casos particulares de los clasificadores estudiados como los casos 1 y 2 cuando no se consideran las probabilidades a priori (todas son iguales)

1. Distancia Euclídea:

- Variables estadísticamente independientes- Variables igualmente escaladas en todas las direcciones 2= cte

2. Distancia de Mahalanobis:

- Variables correlacionadas.- Variables escaladas de forma diferente (2 distinto)

)()()( iT

ii XXXg

)()()( 1i

Tii XXXg



4.2.1 Clasif. de mínima distancia Euclídea.

Cálculo de la distancia Euclídiana


4. Diseño de clasificadores. Clasif. de mín. distancia4. Diseño de clasificadores. Clasif. de mín. distancia

)()()()(),( 222

2211BABABABABA T

xxxxE

• Regla óptima de clasificación

donde

Clasificador de mínima distancia Euclídiana

),(),( si )( 2

,...,2,1

2iE

JicEc XminXwXd

)()(||||),( 22i

TiiiE XXXX



• Estamos “resumiendo” una clase por su valor medio: toda la información de interés de una clase (para la clasificación) está concentrada en su media

Un clasificador Euclídiana para tres clases



• Derivación de funciones discriminantes lineales para el clasificador de mínima distancia Euclídiana

Ti

Ti

Ti

TiiE XXXXXX 2)()(),(2

}2{min),(min,...,2,1

2

,...,2,1i

Ti

Ti

JiiE

JiXX

}2

1{max

,...,2,1i

Ti

Ti

JiX



Expresado en forma de funciones discriminantes:

De manera aún más compacta:

i

Tii

iii

Tii

Ti

Tii w

WwXWXXg

21

002

1)(

1,,...,,

,,...,,)(

21

21

21

dT

iTiiii

TiT

iiXXXX

WXWXg d



Demostración:

1

...,,...,,)(2

1

21

21

d

iTiiii

Tii

X

X

X

XWXgd

iTi

X

iTiiii

Ti

d

21

21,,...,,

21


4.2.2 Clasif. de mínima distancia de Mahalanobis.

• Distancia de Mahalanobis.

• Regla óptima de clasificación:

donde

Clasificador de mínima distancia Euclídiana


)()(),( 12i

TiiM XXX

),(min),( si )( 2

,...,2,1

2iM

JicMc XXwXd

)()(),( 12i

TiiM XXX



Dist. de Mahalanobis frente a dist. Euclídiana



Dist. de Mahalanobis frente a dist. Euclídiana(2)


5. El problema de la estimación de parámetros5. El problema de la estimación de parámetros

• En teoría, el error de Bayes decrece conforme la dimensionalidad de los datos se incrementa.

• En la práctica, se usa un número fijo de muestras, N, para construir el clasificador: los estimadores están sesgados por las muestras disponibles.

• Si suponemos distribuciones normales se requiere:

- Clasificador. Cuadrático: estimaciones

- Clasificador. Lineal: estimaciones

2

)1(dddJ

2

)1(

ddJd



• Fenómeno de Hughes.


• Interpretación:

Existe un valor óptimo de dimensionalidad que es función del tamaño del conjunto de entrenamiento.

Si el número de muestras de entrenamiento es suficiente y la dimensionalidad de los datos es alta el fenómeno de Hughes se manifiesta debido a que los estimadores obtenidos son inestables y segados. Este fenómeno es más acusado cuanto mayor sea la dimensionalidad.

• Diferencia entre las curvas:

- Clasificador cuadrático: proporcional a d2/N

- Clasificador lineal: proporcional a d/N



• Conclusiones:

•Aunque la decisión de adoptar un clasificador cuadrático o un clasificador lineal depende fundamentalmente de la forma de las matrices de covarianza de las clases, el clasificador cuadrático requiere muchas más muestras de entrenamiento que un clasificador lineal para conseguir resultados similares.

• Soluciones:

•1. Obtener más muestras de entrenamiento

•2. Utilizar las variables más relevantes (selección y/o extracción de características)



• Motivación:

Algunos patrones deben descartarse (asignarse a w0)

6. Detección de puntos dudosos6. Detección de puntos dudosos

)(max)( si )( c,...,2,1

c XgXgwXdJi

c





• Técnica: Umbralización

Sea wc tal que P(x | wc) =

• Cálculo del umbral para el clasificador cuadrático.

Sea wc tal que =

)|(max,...,2,1

iJi

wxP

TwxPw

TwxwXd

c

cc

)|( si

)|(P si)(

0

)(Xg i )(max

,...,2,1Xg i

Ji

cc

ccc

T(X) gw

T(X) gwXd

si

si)(

0

iiiiT

ii XXXg log||log)()()( 211

21



La clasificación es aceptable (d(X) = wc) si

Sigue una distribución 2 con d grados de libertad si X está normalmente distribuida.

cccccT

c TXX log||log)()( 211

21

cccc TT log2||log2 )()( 1cc

Tc XX



- Procedimiento:

1.- Consultar la tabla 2 para determinar el valor de (X- c)Tc

-1(X- c) por debajo del cual hay un determinado porcentaje de puntos.

En esta figura, indicamos el valor de la 2 que tiene la probabilidad P de ser sobrepasada (la proporción de la población con un valor 2 mayor que un valor determinado)



2.- Una vez consultado el valor, ,

3.- El valor exacto de Tc se calcula directamente, conociendo las probabilidades a priori y las matrices de covarianza de esa clase.

)18(log||log2

1

2

1cccT


Documents

Reconocimiento de Formas en Data Mining Prof: Héctor Allende El clasificador de mínimo error (Bayes) se puede expresar en términos de funciones discriminantes: