Taller de métodos cuantitativos Tema: REDES COMPLEJAS

Taller de métodos cuantitativos

Tema: REDES COMPLEJAS

Taller de métodos cuantitativos

Tema: REDES COMPLEJAS

Taller: Redes ComplejasTaller: Redes Complejas

YO: Andrés Moreira

[email protected]

“Investigador Joven”

Oficina F130, VALPO

Horario de Consulta en Stgo: por definir!

•Propiedades y algoritmos en grafos de “gran tamaño” (aunque no necesariamente).

•En general es distinto de lo que se hace en “teoría de grafos” clásica.

•Se busca caracterizar la conectividad de un conjunto grande de elementos, para entender como funciona un sistema.

¿De qué se trata?¿De qué se trata?¿De qué se trata?¿De qué se trata?


En los últimos 10 años, ha sido una revolución.


El área más explotada han sido las “redes sociales”,

pero aparecen en fenómenos muuuuy diversos.

¿Tiene que ver con otras cosas acá en la escuela?

Síp:

- Bioinformática - Redes sociales - Extracción de conocimiento - laaargo etc

Posibles nexos locales:


De dónde vienen, y qué es lo complejoDe dónde vienen, y qué es lo complejoDe dónde vienen, y qué es lo complejoDe dónde vienen, y qué es lo complejo

Década de los ‘80: movimiento de “vida artificial”.

•Simulaciones masivas de autómatas celulares, y modelos basados en agentes.

•Se observan muchas cosas “choras”, pero la ciencia es poca.

Mucha herencia de eso subsiste hoy en día en los modelos basados en agentes, en áreas de biología teórica, en algunas heurísticas de IA (ej:hormigas), etc...


Década de los ‘90: auge de los “sistemas complejos”

•En cierta medida, es la gente de “vida artificial”, ahora con pantalones largos.

•También se recoge la tradición de la cibernética, la mirada “sistémica”, no reduccionista.

Se estudian sistemas que tienen demasiadas partes como para ser estudiados en detalle, pero que son demasiado heterogeneos como para aplicarles física estadística. De ahí lo “complejo”.


“Sistemas complejos”

•Hormiguero•Cerebro•Economía•Lenguaje•Tránsito•Sociedad•Ecosistema•Célula•...


Aparecen temas comunes:

•Agentes adaptativos

•Sistemas robustos pero flexibles (a veces cercanos al caos)

•No lineales

•Fenómenos emergentes (cosas “macro” que no se deducen directamente de lo “micro”)

•Feedback positivo sobre variaciones aleatorias

•Distribuciones según leyes de potencia

•Etc.


Problema con los “sistemas complejos”

•Los sistemas son tan distintos, que cuesta construir teorías generales.

•La cosa se queda un poco en observaciones “al ojímetro” y filosofía, pero poca ciencia dura o aplicable.

Muchos modelos y simulaciones, pero cuesta “poner el dedo” sobre lo que determina los fenómenos interesantes.


A fines de los 90, aparecen las redes.

¿Por qué no antes?

•Recién entonces hubo datos masivos de redes.

•Además, a nadie se le había ocurrido poner el énfasis ahí: en la forma en que los elementos de los sistemas están conectados.

•Grafo no dirigido G(n,p)•n nodos.•Pongo una arista entre dos nodos con probabilidad p.

Durante décadas el modelo de red aleatoria (que era la forma de pensar en las redes sociales, y redes grandes en general) fue el modelo Erdös-Renyi (1960).

Modelo de Erdös-RenyiModelo de Erdös-RenyiModelo de Erdös-RenyiModelo de Erdös-Renyi

Paul Erdös

Tamaño de la mayor componente conexa: 1 5 11 12Diámetro de la mayor componente: 0 4 7 1Distancia promedio entre nodos conectados: - 2 4.2 1


p=0, <k>=0 p=0.045, <k>=0.5 p=0.09, <k>=1p=1, <k>=n=12

Grado promedio : np.Distribución de grados: binomial (aprox. Poisson).

E&R demostraron que:

•Si np < 1, casi seguramente G(n,p) no tiene componentes conexas de tamaño mayor a O(log n).

•Si np = 1, c.s. G(n,p) tiene una componente conexa máxima de tamaño ~ n2/3. Los tamaños de las c.c. siguen una ley de potencia.


•Si np > 1, c.s. G(n,p) hay una c.c "gigante", O(n), y la siguiente c.c. es O(log n).

•Si p > (ln n)/n, c.s. G(n,p) es conexo. Si es <, entonces c.s. no lo es.


Nota: en lo anterior, el "casi seguramente" significa lo siguiente. El grafo G es una variable aleatoria. Que cumpla la propiedad "A" c.s. quiere decir que

1A cumple lim GP

n


Durante décadas el modelo ER fue el único que se usó para modelas las redes "reales" (sociales, tecnológicas, biológicas).

Principalmente porque no había datos masivos para cotejar; sólo datos muy parciales, de grafos pequeños.

Cuando aparecieron datos masivos, se vio que sus características no coincidían con ER.

¿Qué características?

Propiedades de redesPropiedades de redesPropiedades de redesPropiedades de redes

Cosas que se suelen mirar en una red (principales):

Principales:

•Distribución de gradosgrado promedio, grado máximo...

•Distancia promedio y diámetro (distancia máxima)

•Nivel de aglomeración (clustering)


Cosas que se suelen mirar en una red (otras):

•Correlaciones de grados (entre vecinos).

•Componentes conexas, "comunidades".

•Frecuencia de subgrafos (e.g., presencia de cliques).

. . . X


Salvo que se diga lo contrario, pensamos en grafos simples, no dirigidos, et voilà.

Cuando hay más propiedades, hay otras cosas que mirar. Por ejemplo:

•En digrafos, correlación entre grados in/out.

•Si hay más de un tipo de nodo, "mezcla" entre los tipos.

•En grafos con pesos en las aristas, efecto de eliminar las más "débiles".

•Etc, etc...

Distribución de gradosDistribución de gradosDistribución de gradosDistribución de grados

La distribución de grados en ER es una Poisson.

•está concentrada en torno a su media

•la probabilidad de encontrar un nodo con un grado muy chico o muy grande decae exponencialmente

Hay una "escala" característica en la distribución.


Lo que se observa en la mayoría de las redes reales es que los grados se distribuyen según una ley de potencia (power law; lineal en log-log):

f(k)~k- (por lo general 2 3)

•La cola es "pesada" (no decae exponencialmente).•No hay escala característica. Se habla de distribuciones (o redes) "libres de escala" (scale free).


En algunas (pocas) redes se observa una distribución exponencial:

f(k) = e-k

Se ve lineal en log-lineal

k

log f λ

Distancia promedioDistancia promedioDistancia promedioDistancia promedio

La distancia L entre dos nodos es la longitud del camino más corto entre ellos.

•En una malla regular (digamos, un subconjunto conexo de tamaño n, tomado de Zd), <L> ~ n1/d.

•En ER, L ~ (log n)/(log k)

•Esto coincide con lo observado en la mayoría de las redes reales (efecto "small world”).

Índice(s) de clusteringÍndice(s) de clusteringÍndice(s) de clusteringÍndice(s) de clustering

En muchas redes reales, se observa transitividad: si A y B son vecinos de C, suelen ser vecinos entre sí.

Hay más de una forma de medir esto. Las dos más típicas:

•Sea ai la cantidad de posibles triángulos que incluyen al nodo i (si su grado es di, ai=di(di-1)/2).

•Sea bi la cantidad de triángulos que incluyen al nodo i.

C(1) = <bi>/<ai> C(2) = <bi/ai> el más usado

Índice(s) de clusteringÍndice(s) de clusteringÍndice(s) de clusteringÍndice(s) de clustering

1

2

3

4

5

3013

611151

C(2)

83

6113

C(1)

En ER, ambos valen p.

Pero no es lo que se suele observar

N k

Small WorldsSmall WorldsSmall WorldsSmall Worlds

Stanley Milgram, 1967:

•Experimento de envío de cartas entre desconocidos (de Nebraska a Boston).

•La gente tenía que enviarle la carta a alguien con quien se "tuteara".

•El 20% de las cartas llegó.

•Cantidad promedio de pasos: 5.2.


"6 grados de separación".

•La idea ya es parte del saber "público" (obra de teatro, películas, libros...)

•Anecdóticamente, ya estaba ("el mundo es un pañuelo", etc.)

•Compatible con ER, así que no causó problemas.

No es exclusivo de la red de amistades humanas:


[M. Newman, 2003]

Otras propiedadesOtras propiedadesOtras propiedadesOtras propiedades

Mezcla, cuando hay nodos de más de un tipo:

Evaluar dependencia de esas v.a.(hay varias aproximaciones)


Correlación entre grados

¿Los nodos más conectados, se prefieren entre sí? ¿Y los menos conectados?

•Pastoras et al: graficar el grado promedio de los vecinos, como función del grado

•Newman: calcular coef. de correlación entre los extremos de las aristas.


Correlación (à la Newman)


Detección de comunidades

•Amplia literatura proponiendo algoritmos.•Muchísimas aplicaciones!


Resistencia a fallas/ataques

Falla: eliminación aleatoria de un nodo/arista

Ataque: eliminación "pensada"

¿Cómo afectan...

•la conexidad?•el promedio de distancias?•el "flujo"?•Etc, etc


Comunicaciones por tierra y aire, EEUU

Red regular (casi lattice), vs una red "scale free" (sin escala)


Regular con fallas

SF con fallas

SF bajo ataque

EjemplosEjemplosEjemplosEjemplos

•nodos: científicos•relación: haber sido coautoresSon las "redes de colaboración" (se han estudiado mucho).

Número de Erdös: distancia a Erdös, que viajó mucho, escribió ~1500 artículos, colaboró con más de 500 colegas.

Entre matemáticos en MathSciNet, el promedio es ~5.

http://www.oakland.edu/enp/

0 --- 1

1 --- 504

2 --- 6593

3 --- 33605

4 --- 83642

5 --- 87760

6 --- 40014

7 --- 11591

8 --- 3146

9 --- 819

10 --- 244

11 --- 68

12 --- 23

13 --- 5

Erdos Number Distribution

0

10000

20000

30000

40000

50000

60000

70000

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Erdos Number

Peo

ple


"Oráculo de Bacon"

•nodos: actores•relación: coincidir en alguna película listada en IMDB

http://oracleofbacon.org/

La distancia promedio a Bacon es 2.8; el máximo es 8.

Distancia promedio entre actores: 3.48


Nota: no hay nada de especial en Kevin Bacon!

Rank NameAveragedistance

# ofmovies

# oflinks

1 Rod Steiger 2.537527 112 25622 Donald Pleasence 2.542376 180 28743 Martin Sheen 2.551210 136 35014 Christopher Lee 2.552497 201 29935 Robert Mitchum 2.557181 136 29056 Charlton Heston 2.566284 104 25527 Eddie Albert 2.567036 112 33338 Robert Vaughn 2.570193 126 27619 Donald Sutherland 2.577880 107 2865

10 John Gielgud 2.578980 122 294211 Anthony Quinn 2.579750 146 297812 James Earl Jones 2.584440 112 3787…

876 Kevin Bacon 2.786981 46 1811…

M. Girvan and M. E. J. NewmanCommunity structure in social and biological networksProc. Natl. Acad. Sci. USA 998271-8276 (2002).

http://aps.arxiv.org/abs/cond-mat/0112110/

http://aps.arxiv.org/abs/cond-mat/0112110/


Red terrorista (incluyendo a los autores del 11/9 gringo).

Una vista parcial de Internet(imagen vía wikipedia)

Internet Mapping Project: http://research.lumeta.com/ches/map/gallery/index.html

The Political Blogosphere and the 2004 U.S. Election: Divided They Blog [Adamic & Glance, 2005]

Asociaciones de palabras

Interacciones de proteínas

Colaboración científica





Relaciones de pareja en un college norteamericano


F. Liljeros et al, Nature, 2001: encuesta a 4781 suecos, edades 18-74.

Pregunta: # de parejas sexuales.

Colgate et al, PNAS, 1989: hombres en una clínica de ETS en Londres

EjemplosEjemplosEjemplosEjemplosxkc

d.c

om

De paso, esto ilustra otra área en que hay investigación: como dibujar redes complejas.


Red de interacción de proteínas en Saccharomyces cerevisiae

http://www.visualcomplexity.com/

Muchos ejemplos en:

Redes complejasRedes complejasRedes complejasRedes complejas

Propiedades principales que por lo general comparten las redes complejas:

•Diámetro y distancia media pequeños, O(log N)

•Distribución de grados según ley de potencia, P(k)~k-

•Alto nivel de clustering local

+ Baja densidad, son redes “sparse”: cantidad de aristas es O(n).

Dicho sea de paso: no todo es scale free, Dicho sea de paso: no todo es scale free, etc!etc!

Dicho sea de paso: no todo es scale free, Dicho sea de paso: no todo es scale free, etc!etc!

(Y también mencionamos un caso con distribución de grados exponencial.)

Dicho sea de paso: redes bipartitasDicho sea de paso: redes bipartitasDicho sea de paso: redes bipartitasDicho sea de paso: redes bipartitas

Varios de los ejemplos podrían ponerse en términos de una red bipartita, con dos tipos de nodos: actores/películas, autores/papers.

La red de debajo de obtiene como una proyección de la de arriba.

Dicho sea de paso: redes bipartitasDicho sea de paso: redes bipartitasDicho sea de paso: redes bipartitasDicho sea de paso: redes bipartitas

Se pierde información: estamos transformando una relación n-aria en un conjunto de relaciones binarias. O en otros términos, un multigrafo en un grafo.

De paso, se introduce un nivel de clustering (la transitividad de la relación binaria sale de la n-aria).

A veces convendrá mantener la red en su forma bipartita (y la relación entre actores estará dada por su conexión común con una misma actividad/lugar/etc).


El modelo ER resistió por muchos años, incluso durante los 80 y 90 cuando ya había datos y PCs con los cuales analizarlos.

Algunas pocas observaciones lo contradecían; e.g., Alfred Lotka en 1926:

"the number of scientists who have k citations falls off as k -α for some constant α."

Fue básicamente la internet la que llevó a darse cuenta de que faltaban nuevos modelos.


En los últimos 10 años, ha sido una revolución.

Small WorldSmall WorldSmall WorldSmall World

Modelo de small world de Watts & Strogatz (1998): parte con una malla regular, y modifica aristas (randomizándolas) con probabilidad p.

N = 1000 k =10D = 100 L = 49.51C = 0.67

N =1000 k = 8-13D = 14 L = 11.1C = 0.63

N =1000 k = 5-18D = 5 L = 4.46C = 0.01


Para ser más precisos:

•En un anillo de N nodos, se conecta cada uno con sus k/2 vecinos a izquierda y derecha.

•Se recorre el anillo (dando la vuelta).

•Para cada nodo, para cada arista que lo conecta con un vecino a la derecha, con probabilidad p se reemplaza ese vecino por uno escogido al azar.

•No se admiten loops ni aristas repetidas.

Duncan J. Watts & Steven H. Strogatz, Nature 393, 440-442 (1998)


L

C

p

regular SW random

Comparte el pequeño diámetro de ER, pero también el alto clustering de lo regular.

NOTA: con p=1, el grafo no es lo mismo que ER; en particular, el grado promedio es exactamente k. Pero se comporta muy parecido.


Otras formas de crear un SW:

•Agregar pN aristas ("atajos") al anillo inicial, entre nodos escogidos al azar.

•Agregar m nodos "centrales", conectados a pN nodos del anillo escogidos al azar.

Ambas garantizan que se mantenga la conexidad del grafo.

Scale FreeScale FreeScale FreeScale Free

Lo que NO cumplen estos modelos de SW, y que se observa en redes reales, es una distribución de grados libre de escala: sigue siendo una Poisson!

En 1999 Barabasi & Albert proponen un modelo que genera un red SF (scale free, libre de escala).


Modelo Barabasi-Albert:

•La red se construye progresivamente : se van agregando nodos.

•Para un nuevo nodo se escogen m vecinos, de manera proporcional a sus grados.

•Se habla de "preferential attachment"

jj

ii k

kk

)(


También se habla de "the rich get richer".

[Además de intuitivo, hace justicia a Pareto, que notó una ley de potencia en la distribución de ingresos.]


P(k) ~k-3

A.-L.Barabási, R. Albert, Science 286, 509 (1999)


•Algunos nodos se convierten en “hubs”, con muchas conexiones.

•La mayoría es “pobre” en conexiones.

Se obtiene una distribución de grados que sigue una ley de potencia (es “scale free”).

P(k) ~k-3

Además se observa efecto small world.

No recupera el nivel alto de clustering; decae como n-¾ (más lento que en ER, pero igual es pequeño).


Nota: a diferencia de ER y WS, éste es un modelo generativo: sugiere un mecanismo de formación de la red.

•Tener hartos amigos da popularidad; se pueden hacer más amigos.

•Ser citado en un paper implica ser conocido; es más probable que me vuelvan a citar.

•Un actor que ha actuado en muchas películas es conocido por el público y los directores, ergo...

•Etc etc

ModelosModelosModelosModelos

ModelosModelosModelosModelos

Ninguno de los modelos (ER, WS, BA) reproduce las características más comunes de las redes reales:

•Número de aristas ~ número de nodos•Conexas•Scale free•Diámetro pequeño•Alta clusterización

•Existen muchos otros modelos; ninguno es tan simple o intuitivo como los iniciales. •Algunos son generativos, otros no. •Por lo general son específicos para alguna red real.

Modelos: Modularidad jerárquicaModelos: Modularidad jerárquicaModelos: Modularidad jerárquicaModelos: Modularidad jerárquica

Ravasz, Somera, Mongru, Oltvai, BarabásiHierarchical Organization of Modularity in Metabolic NetworksScience 297, 1551 (2002)

Modelo determinista (aunque se le puede agregar azar).

•Parto con una clique de cinco nodos (uno "central").•Hago cuatro copias del grafo. Conecto los nodos periféricos de la nueva copia con el central.•Itero.


•Scale free, = 1+ln 4/ln 3

•C (clustering promedio) constante, ~0.6

•El clustering promedio de nodos de grado k es k-

1

Eso se ha observado en redes biológicas y se considera indicio de estructura modular jerárquica.


Functional modules of the kinome network [Hee, Hak, 2004]


Asociaciones de palabras

Interacciones de proteínas

Colaboración científica

Modelos: Redes "apolónicas" (Apollonian Modelos: Redes "apolónicas" (Apollonian networks)networks)

Modelos: Redes "apolónicas" (Apollonian Modelos: Redes "apolónicas" (Apollonian networks)networks)

•Parto con un triángulo.

•En cada paso:•escojo al azar un triángulo•le agrego un nodo dentro•lo uno a los tres vértices del triángulo

•También cumple con todo.•Aparecen en empaquetamientos de esferas; son las redes de fuerzas en material granulado, etc.

Andrade et al, Phys. Rev. Lett. 94, 018702 (2005)Apollonian Networks : Simultaneously Scale-Free, SmallWorld, Euclidean, Space Filling, and with Matching Graphs

Modelos: Activos e inactivosModelos: Activos e inactivosModelos: Activos e inactivosModelos: Activos e inactivos

Nodos activos e inactivos.En un momento dado hay m nodos activos.

•Parto con una clique de m nodos activos.•En cada paso

•agrego un nuevo nodo (activo) que se conecta a los m actualmente activos•desactivo un nodo activo; lo escojo con prob. inversamente proporcional a a+ki

K. Klemm and V. Eguiluz, Phys. Rev. E 65, 036123 (2002)

•Clustering alto•Scale free

Modelos: FitnessModelos: FitnessModelos: FitnessModelos: Fitness

Una crítica al modelo de Barabási&Albert es que los nodos más antiguos se benefician más:¿Cómo puede un novato llegar a ser grande?(Google vs Altavista)

Modelo con fitness (Buckley & Osthus): agregamos a cada nodo un fitness . Mantenemos el esquema de B&A, pero ahora la probabilidad de escoger un nodo es

j jj

iii k

kk

)(

•También da scale free•Grado de un nodo con fitness en tiempo t: ~ t/C

Modelos: CopiaModelos: CopiaModelos: CopiaModelos: Copia

Modelo "copión" (Kleinberg):

•Cada nodo tiene idéntico grado de salida d.•Cada nodo nuevo elige uno de los ya existentes (de forma uniforme) como prototipo.•Para su i-ésimo link, con probabilidad copia el i-ésimo link del prototipo, con probabilidad 1- elige al azar.

Modelos: CopiaModelos: CopiaModelos: CopiaModelos: Copia

•La distribución de grados de entrada queda scale free con exponente = (2-)/(1-).

•Se creó como modelo de la web (páginas temáticas).

•Funciona bastante bien para comunidades temáticas en la web, y también para algunas otras redes reales.

•Produce muchos subgrafos bipartitos, observados en la web.

•No reproduce el nivel de clustering.

Documents

Taller de métodos cuantitativos Tema: REDES COMPLEJAS