Click here to load reader

Klaster analiza - University of nenad/ip1/9.uvod_u_klaster_analizu.pdf · PDF file Uvod u klaster analizu Tipovi klasterovanja Tipovi klastera Algoritmi za klasterovanje Algoritmi

  • View
    5

  • Download
    1

Embed Size (px)

Text of Klaster analiza - University of nenad/ip1/9.uvod_u_klaster_analizu.pdf · PDF file Uvod u...

  • Klaster analiza

    Nenad Mitić Matematički fakultet

    [email protected]

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.2

    Uvod Klasterovanje je druga velika grupa metoda Istraživanja podataka. Zadatak koji se rešava metodama klasterovanja se uprošćeno može definisati na sledeći način:

    Izvršiti podelu datog skupa objekata X = {x1, x2, ..., xn} na grupe (podskupove) tako da je objekat xi koji pripada grupi Gl sličniji po nekom kriterijumu objektima xj koji pripadaju (istoj) grupi Gl nego nekom objektu xk koji pripada nekoj drugoj grupi Gm. Svaka od grupa G se naziva klaster, a celokupan postupak podele ulaznog skupa klasterovanje.

    Može se napraviti paralela izmed̄u klasifikacije i klasterovanja. Obe grupe metoda dele ulazni materijal u grupe (klase odnosno klastere) na osnovu neke od mera sličnosti. Dok su kod klasifikacije klase unapred poznate (i samim tim poznat je i njihov broj), pri klasterovanju nije unapred poznat broj klastera na koliko treba podeliti ulazni materijal. Zbog toga se klasifikacija još naziva i klasifikacija pod nadzorom (eng. supervised classification), gde nadzor označava da je poznat broj i izgled klasa u koje treba podeliti ulazni materijal), dok se klasterovanje naziva klasifikacija bez nadzora unsupervised classification) jer broj klastera nije unapred poznat.

    U literaturi se za klasterovanje koriste i sinonimi segmentacija i particionisanje. Takod̄e, u okviru dela vezanog za klasterovanje kao sinonimi će se koristiti element i tačka.

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.3

    Uvod

    Izbor metode klasterovanja i mere pomoću koje se računa sličnost u velikoj meri zavise od tipa podatka koje treba klasterovati. Takod̄e, u velikom broju slučajeva nije do kraja jasno definisano šta sve mogu da budu celine koje predstavljaju klastere, tako da je česta nedoumica da li je broj klastera koji se dobije kao rezultat korektan.

    U okviru ovog kursa biće obrad̄ene sledeće teme: • Uvod u klaster analizu i izbor karakteristika podataka • Algoritmi za klasterovanje zasnovani na reprezentativnim

    predstavnicima • Algoritmi hijerahijskog klasterovanja (sakupljajućeg i razdvajajućeg) • Algoritmi zasnovani na mrežama i gustini • Kriterijumi provere korektnosti klasterovanja

    Zbog drugačijeg načina izlaganja materijala u vreme vanrednog stanja, u okviru ovog kursa neće biti obrad̄en kompletan materijal koji je bio predvid̄en prema planu na početku kursa. Detaljan opis algoritama klasterovanja koji su zasnovani na drugačijim principima (npr. klasterovanje zasnovano na grafovima, i samoorganizujuće mape koje su zasnovane na neuronskim mrežama) će biti obrad̄en u okviru predmeta Istraživanje podataka 2 (izborni kurs na IV godini studija).

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.4

    Šta je klaster analiza?

    Pronalaženje grupa objekata takvih da su objekti u grupi medjusobno slični (ili povezani), i da su objekti u različitim grupama medjusobno različiti (ili nepovezani)

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.5

    Šta jeste a šta nije klaster analiza?

    Pripadnost objekata (elemenata) jednom klasteru ne znači da su elementi med̄usobno slični po svim kriterijumima. Tako, na primer klasteri koji su prikazani na prethodnoj slici su dobijeni prema prostornom grupisanju elemenata, med̄utim, nema nikavih prepreka da deo elemenata jednog klastera bude po nekom kriterijumu sličniji elementima drugog klastera nego svakom od elemenata klastera u kome se nalaze. Ako npr. elementi klastera predstavljaju mesta očitavanja atmosferskih prilika na različitim mestima na planeti, tada je njihovo grupisanje prema prostornom rasporedu opravdano. Med̄utim, svaka od grupa može da sadrži elemente koji su očitavali parametre u različitim vremenskim trenucima, i ako se elementi posmatraju po tom kriterijumu tada očigledno da ovo klasterovanje nije korektno.

    Ne predstavlja svaka podela materijala u grupe klaster analizu. Tako npr. klaster analiza nije • Klasifikacija pod nadzorom (to je kasifikacija u užem smislu!) • Jednostavna podela (npr. podela studenata po prvom slovu

    prezimena) • Rezultat upita (podela elemenata na one koji zadovoljavaju ili ne

    zadovoljavaju neki elementarni uslov) • ...

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.6

    Dvosmislenost pojma klastera

    Broj klastera u rezultatu zavisi od kriterijuma koji se posmatraju. Tako inicijali materijal može biti podeljen na: • dva klastera, ako se posmatra samo prostorni položaj grupa (elementi

    klastera su označeni kvadratima i trouglovima), • četiri klastera, ako se posmatra raspored elemenata (elementi

    označeni krstićima i kvadratima su rapored̄eni duž hipotetički pravih linija, dok elementi označeni zvezdicama i trouglovima odstupaju od tog pravila)

    • šest klastera, ako se posmatru med̄usobna udaljenost elemenata (merena npr. kao euklidsko rastojanje) i postavi gornja granica na rastojanje dva elementa za pripadnost istom klasteru

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.7

    Tipovi klasterovanja Proces klasterovanja može da dovede do rezultata (tj. klastera) koji zadovoljavaju različite kriterijume. U zavisnosti od karakteristika klastera koji se dobijaju kao rezultati, postoje različiti tipovi klasterovanja.

    Kod particionog klasterovanja skup ulaznih podataka se deli u nepreklapajuće podskupove (klastere) takve da svaki podatak pripada tačno jednom klasteru

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.8

    Tipovi klasterovanja (nastavak) U slučaju da klasteri mogu da sadrže (ugneždene) klastere, tada jedan element može da pripada više klastera na različitim nivoima hijerarhije. U ovom slučaju skup klastera je organizovan u obliku drveta, pri čemu listovi drveta sadrže elemente koji se klasteruju, dok je koren drveta klaster koji sadrži sve elemente, odnosno kompletan ulazni skup. Ovakav način klasterovanja se naziva hijerarhijsko klasterovanje.

    Prikaz hijerarhije klastera se često naziva dendogram, i dosta često je u upotrebi u prirodnim naukama, pogotovu u biologiji.

  • Uvod u klaster analizu Tipovi klasterovanja

    Tipovi klastera

    Algoritmi za klasterovanje Algoritmi zasnovani na reprezentativnim predstavnicima

    Algoritam k-sredina

    Važnost izbora početnog centroida

    Rad sa praznim klasterima

    Algoritam bisekcije K-sredina

    Nedostaci i dobre strane algoritma k -sredina

    Algoritam k-medijana

    Algoritam k-medoida

    6.9

    Tipovi klasterovanja (nastavak)

    Tipovi klasterovanja mogu da zavise i od drugih kriterijuma: • Eksluzivno/neeksluzivno klasterovanje, u zavisnosti od toga da li

    pojedinačni element koji se klasteruje pripada samo jednom (ekskluzivno) ili može istovremeno da se nalazi u više klastera (neekskluzivno klasterovanje). Primer neekskluzivnog klasterovanja je evidencija studena

Search related