31
Definición de grupos: clasificación Capítulos 10 y 11 de McCune y Grace 2002

Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

  • Upload
    dangnhu

  • View
    235

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Definición de grupos:

clasificación

Capítulos 10 y 11 de

McCune y Grace 2002

Page 2: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Clasificar

• Proceso natural humano para interpretar el mundo

• Pero estamos acostumbrados a sólo observar pocas dimensiones

• Más complejo cuando intentamos clasificar objetos de muchas dimensiones como los datos de composición

Page 3: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala
Page 4: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Opciones generales

• Clasificación jerárquica o no-jerárquica– Jerárquica: grupos se componen de otros grupos– No-jerárquica: los grupos no tienen relacion entre

ellos

• Clasificación politética o monotética– Politética: usa > una variable para definir grupos– Monotética: usa una variable

• Clasificación aglomerativa o divisiva– Aglomerativa: primer grupo formado por los 2 objetos

mas parecidos– Divisiva: primer grupo es el conjunto de todos los

objetos

Page 5: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Clasificación jerárquica

aglomerativa

• Pasos:– Calcular la matriz de distancias (o similaridades)

– Unir 2 elementos de acuerdo a algún criterio de distancia mínima

– Combinar los atributos de las entidades en ambos grupos

– Desactivar los elementos del primer grupo y evaluar ese grupo con los demas elementos

– Formar los próximos 2 grupos, etc.

• Los resultados se pueden presentar en un dendrograma

Page 6: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Ejemplo

Método de enlace sencillo (o de vecino más cercano)

Page 7: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Matrizde

similaridades

Page 8: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Subgráfica conectada

Page 9: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Dendrograma

Page 10: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Dendrogramas

Page 11: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Dendrogramas

• La escala en el dendrograma se puedeexpresar por:

– Similaridad según la medida utilizada

– Función objetiva:

• % de información restante:

Page 12: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

¿Dónde podar el dendrograma?

• Los criterios dependen de los objetivos

– Homogeneidad dentro de grupos

– Número de grupos vs número de elementos

• Pocos grupos pueden ser muy heterogéneos

• Muchos grupos derrotan el propósito de clasificar

Page 13: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Tres métodos de enlace

recomendados para datos de

comunidades

UPGMA, Ward y Beta flexible

Page 14: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

UPGMA: “Unweighted Pair-Group

Mathematical Average”

Page 15: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala
Page 16: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

UPGMA

Page 17: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Enlace sencillo vs. UPGMA

Page 18: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Método de Ward

Page 19: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala
Page 20: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Método de Ward

Page 21: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Método de Beta flexible

Page 22: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala
Page 23: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

¿UPGMA, Ward o Beta flexible?• UPGMA:

– Bastante conservador de espacio

– Pero tiende al encadenamiento

• Ward:

– Conservador de espacio

– Pero incompatible con distancias por proporción

• Beta flexible:

– Encadenamiento es alto cuando beta se acerca a +1

– Contrae el espacio cuando beta se acerca a -1

– Resultados más aceptables cuando beta ~ -0.25

Page 24: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Ventajas y desventajas de

clasificación jerárquica aglomerativa

• El resultado en multiniveles puede sugerir relaciones entre grupos

• Puede haber agrupaciones incorrectas porque las fusiones subsiguientes dependerán de las anteriores.

• Para datos bien heterogéneos puede ser conveniente subdividir en grupos más manejables y luego analizar con ordenaciones.

Page 25: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Métodos no jerárquicos

• Este tipo de clasificación asigna lasunidades en un número de grupos queuno decida inicialmente.

• Bien útil cuando el conjunto de datos esbien grande.

Page 26: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Evaluación de la calidad de la

clasificación

• Grado de encadenamiento

• Interpretabilidad

• Comparación con algún atributoindependiente

Page 27: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Grado de encadenamiento

Page 28: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Interpretabilidad

• ¿Hace sentido el dendrograma?

• ¿Son los grupos el resultado de algún proceso biológico interesante?

Page 29: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Comparar con atributo

independiente

• ¿Son los miembros de un grupo similaressegún los valores de alguna variable (no incluida en los datos analizados) perodistintos en esa variable a los miembrosde otros grupos?

Page 30: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

¿Qué informar?

• Medida de distancia utilizada

• Método de enlazar

• Si se buscaron elementos clasificados

erróneamente, cómo se hizo y cómo se

corrigieron.

• Dendrograma y cuál medida se utilizó en la

escala

• Criterios para podar el dendrograma (mencionar

la cantidad de información retenida a ese nivel).

Page 31: Definición de grupos: clasificación - academic.uprm.eduacademic.uprm.edu/~jchinea/cursos/comunidades/clasificacion.pdf · clasificar objetos de muchas dimensiones ... • La escala

Ejercicio

• Generar una clasificación manualmentepor enlace sencillo con los datos de Oak_t_6x5r

• Comparar con UPGMA, Ward y Beta flexible