MADI

N-partitní grafy

Literatura

• http://networksciencebook.com/chapter/2#bipartite-networks

• http://networksciencebook.com/chapter/4#power-laws

• http://tuvalu.santafe.edu/~aaronc/courses/3352/csci3352 2019 L2.pdf

• https://aaronclauset.github.io/courses/5352/readings/Newman 05 PowerLawsParetoDistributionsAndZipfsLaw.pdf

• https://en.wikipedia.org/wiki/Scale invariance• https://en.wikipedia.org/wiki/Scale-free network

N-partitní grafy

• N=2 bipartitní graf, two-mode graph• One-mode projection: Převod bipartitního grafu

na graf s jednou množinou vrcholů

One-mode projection

• Matice sousednosti bipartitníhografu

• Je možné např. ohodnotit hrany vahou, která představuje počet společných sousedů. – Např. hrana A – B by měla váhu 2– Hrana 2 – 3 by také měla váhu 2

Síť lidských nemocí spojuje nemoci s geny, o nichž je známo, že jejich mutace způsobují

nebo ovlivňují odpovídající onemocnění

MADI

Modely – pokračování modelu preferenčního připojování (BA model)

Co znamená bezškálovost?

• Barabási a Albertová - vysvětlili bezškálovostwebu pomocí násl. principů: – neustálý růst sítě - síť je dynamická a neustále se

proměňuje, v každém kroku časového vývoje se k síti přidá jeden uzel,

– preferenční připojování nového uzlu k starším - nezáleží tedy např. na obsahu webové stránky, ale na počtu stránek, které na ni odkazují.

– scale-free sítě (bezškálové sítě)– Pojem „bezškálová síť (graf)“ původně jen pro

generativní BA model

Invariant

• Co znamená scale-free (scale-free networks)?

• Invariance - neměnnost, stálost jevů nebo veličin vůči změnám

• Invariant - vztah nebo útvar neměnící se při určité transformaci nebo neměnný v různých variacích

• Invariant vzhledem ke změně měřítka (scale invariant) – př. fraktály, Kochova vločka

Mocninný zákon

• Ve statistice je mocninný zákon (power law) funkční vztah mezi dvěma veličinami, kde relativní změna v jedné veličině vede k proporcionální relativní změně v druhé veličině, nezávisle na počáteční velikosti těchto veličin: jedna veličina se mění jako mocnina druhé.

• Mocninný zákon je polynomiální funkce f(x) (ve které závislá proměnná x obsahuje exponent α) vyjadřující vlastnost invariance vzhledem k měřítku.

• Nejobvyklejší mocninný zákon má tvar f(x)=Cxα+o(xα), kde C, αjsou konstanty a o(xα) je vzhledem k Cxα asymptoticky menší funkce.

• Exponent α se nazývá „měřítkový exponent“. Měřítkový znamená, že mocninná funkce vyhovuje f(Cx)∝f(x), kde C je konstanta (vyjadřuje, že zvětšením argumentu konstantním poměrem se změní pouze měřítko funkce, ne však její tvar).

Mocninný zákon• Pro znázornění funkce v grafické podobě se často používá tzv. log-log tvar

zápisu log(f(x))= log C + α *log x• Tento zápis představuje lineární závislost, kde α je parametr funkce

určující její sklon (je vidět nezávislost tvaru na násobící konstantě argumentu b, tato konstanta nijak neovlivňuje parametr α).

• Nechť stupně d jsou d = 0, 1, 2, ..., diskrétní formalizace poskytuje pravděpodobnost pd, že uzel má přesně d hran jako p(d) ≈ Cd-α

• Pro potřeby v bezeškálových sítích se používá vztah m.z. p(d) ≈ d-α

• Mocninný zákon tedy vypadá stejně, nezávisle na měřítku, ve kterém se na něj díváme

• Tedy p(cd)∝p(d) – tvar rozdělení je stále stejný až na multiplikativní konstantu, p(d)=(Cd)-α = C-α d-α

Jak je to se „scale-free“ sítěmi?• Síť je často nazývána bezškálovou, pokud distribuce stupňů

odpovídá mocninnému zákonu.– Pojem „bezškálový“ je však někdy používán jako obecný pojem pro

sítě s mocninnou distribucí stupňů. Ale tento pojem původně jen pro generativní model Barabási-Albertová, Li: “Towards a Theory of Scale-Free Graphs”, Sec 3., (http://netlab.caltech.edu/publications/IM06.pdf)

• Hlavní vlastnosti grafů SF (podle literatury)– SF sítě mají mocninné rozdělení distribuce stupňů– SF sítě mohou být generovány „náhodnými“ procesy, jako je např.

preferenční připojování– SF sítě mají vysoce propojená centra, která „drží sítě pohromadě“ a

činí SF sítě odolnými vůči chybám ale zranitelnými cílenými útoky– SF sítě jsou obecné v tom smyslu že distribuce stupňů zůstává

zachována i při náhodném přepojování hran– SF sítě jsou univerzální v tom smyslu, že nezávisí na specifických

detailech aplikační domény

Modely vývoje sítí

• Rostoucí sítě– Síť se v čase jen zvětšuje (vrcholy vznikají) – Např. citační síť– Spoluautorská síť (spolupracující vědci)

• Zmenšující se sítě– Síť se v čase zmenšuje (vrcholy zanikají)

• Uprostřed – model sítě, jejíž velikost se v čase nemění, ale vrcholy vznikají i zanikají

• Nejpropracovanější model rostoucích sítí

Určení mocninného rozdělení (distribuce stupňů)

• Distribuce stupňů má dlouhý pravý konec hodnot velmi vzdálených od průměru.

• Měření tohoto konce je poněkud záludné, zřídka máme k dispozici dost výsledků měření tohoto konce, mnoho šumu.

• 3 způsoby určení

Vzorový příklad

• Testovací data:– Vybereme milion náhodných čísel s α = 2.5– Postup:

• Generujme náhodná čísla r z intervalu 0 ≤ r< 1.

• Pak x = (1-r)–1/(α -1) je náhodné reálné číslo z intervalu 1 ≤ x < ∞ distribuované podle mocninného zákona

• Generování např. viz poslední slide, nebo https://arxiv.org/pdf/0706.1062.pdf

log-log měřítko a přímá reprezentace dat

• Proložením dat přímkou pomocí metody nejmenších čtverců můžeme získat příliš nízký moc. exp. α.

• Metoda nejmenších čtverců bývá často používána při regresní analýze k aproximaci zadaných hodnot.

Určení mocninného rozdělení

• 1. řešení –– Zkonstruovat graf (distribuce stupňů) tak, že hodnoty

vyneseme v log měřítku, velikost dílku na ose roste exponenciálně se stupněm,

– prvních několik dílků (intervalů) bude reprezentovat stupně např. 1, 2-9, 10-99, 100-999. Počet hodnot v každém dílku je vydělen šířkou dílku pro znormalizování měření.

– Pak provést tzv. „binning“ – zpracujeme data tak, že ta, která spadají do stejného úseku (intervalu) jsou nahrazena hodnotou (hdonotami) reprezentující tato data (např. prostřední hodnotou, tzv. centroidem).

– Proložíme reprezentanty přímku a odhadneme sklon α.• nejčastější, ale ne nejpřesnější metoda

Problém

• Některá data vykazují mocninné rozdělení pouze jen od určité hodnoty dmin, tuto hodnotu je potřeba určit (hodnota, o které si myslíme, že tam začíná power-law). Dá se to odhadnout i z grafu distribuce stupňů

• Určitě musí být dmin >0, protož d-α je nekonečno pro d = 0.

• Např. citace článků - power law je viditelně jen na konci, tedy pro dmin > 100 citací)

Určení mocninného rozdělení

• 2.řešení: – Vynést doplněk k distribuční funkci (tj. určujeme pst, že

náhodný vrchol má stupeň x a větší) a odhadnout α (apakk α přičíst 1)

– Doplněk distribuční funkce mocninného rozdělení je také mocninné rozdělení ale s exponentem (α - 1)

– Redukuje šum na pravém konci. Není potřeba hledat reprezentanty (provádět „binning“), máme její hodnotu pro každé d (!nedává však přímou vizualizaci distribuce stupňů).

• Tedy kolik proměnných X má hodnotu nejméně x?

Pst

• Pravděpodobnostní funkce (PMF-Probability Mass Function) diskrétní náhodné veličiny X: P(X = xi) = P(xi)

• Distribuční funkce (Cumulative DistributionFunction (CDF)) náhodné veličiny X je dána

• Doplňková distribuční funkce (Complementary CDF, CCDF)

F(x)x)P(XF(x) −=>= 1

x)P(XF(x) ≤=

Pro odhad power law

• Pro odhad power law ale použijeme doplňkovou distribuční funkci (CCDF) jako F(x) = P(X ≥ x)

34

Maximální věrohodný odhad

• 3. řešení - Chceme-li mít jistotu, že se jedná o mocninné rozdělení, použijeme pro určení exponentu maximální věrohodný odhad (maximum likelihood estimation (MLE))

• Počítáme pro vrcholy se stupněm di ≥ dmin ,i =1,…,N, di jsou naše data (stupně) a my pracujeme s N z nich.

• Pro náš příklad získáme α = 2.503 – téměř přesně

1

1 min

ln1−

=

+= ∑

N

i

i

ddNα

Odhad distribuce

• Výběr vhodných kandidátů (vhodných rozdělení (př. Poissonovo, mocninné, exponenciální, ...)) pro empirická data (např. z grafu distribuce hodnot)

• Výběr nejlepšího kandidáta, tzv. fitting, různé metody pro odhad parametrů kandidátů, např.– maximum likelihood estimation (MLE).– moment matching estimation (MME), …

• Ověření vhodnosti kandidáta, goodness-of-fit (minimum distance estimation)– Chí kvadrát - test dobré shody pro diskrétní data (Chi-

squared statistic)– Nebo např. Kolmogorov-Smirnov test pro spojitá data

Odhad distribuce (Poisson)

Kolmogorovův-Smirnovův test

• Kolmogorovův-Smirnovův test je statistická metoda, která umožňuje testovat, zda dvě náhodné proměnné pocházejí ze stejného rozdělení pravděpodobnosti, případně zda náhodná proměnná má předpokládané teoretické rozdělení.

• Srovnává se rozdíl kumulativních nebo relativních kumulativních četností dvou výběrů.

• Nulová hypotéza říká, že dva výběry odpovídají stejnému rozdělení nebo náhodná proměnná má předpokládané teoretické rozdělení.

Kolmogorovův-Smirnovův test

• Počítáme D-value, která slouží jako kritérium pro zamítnutí nulové hypotézy. D-hodnota je definována

• kde P a Q jsou dvě kumulativní distribuční funkce a hodnota x je z množiny vrcholů, která představuje x-ové hodnoty distribuce nějaké vlastnosti vzorku.

• D-hodnota zachycuje největší odchylku na ose y mezi kumulativními distribučními funkcemi P a Q.

• Může nabývat hodnot 0 ≤ D(P,Q) ≤ 1 a platí, že čím menší je D-hodnota pro danou distribuci, tím jsou si grafy v dané vlastnosti podobnější.

• D(P,Q) = 0 značí totožné distribuce, tj. P = Q.

Sx)|},{|P(x)-Q(xD(P,Q) ∈= max