I122 Osnove umjetne inteligencije - Odjel za · PDF filenpr. ucenje strategija voˇ znje za autonomno upravljanje automobilom ... marketing: segmentacija ... mogu uciti odnose izmeˇ

I122 Osnove umjetne inteligencije

Tema: Strojno ucenje.

21.1.2016.

predavac: Darija Markovic asistent: Darija Markovic

www.fizika.unios.hr/oui/

P 1Strojno ucenje

1 Strojno ucenje

I122 Osnove umjetne inteligencije Strojno ucenje. 2/22



P 1Strojno ucenje

Uvod

• engl. Machine Learning (ML)

• povijesno: razvoj ML zapoceo prije 50-tak godina

• problem: Kako indukcijom/generalizacijom izvesti novo znanje izprimjera/podataka?

• ucenje opcenitih modela iz podataka: od podataka do znanja

• podataka ima u izobilju (web, tekst, eksperimentalni podatci, skladistapodataka, deep web, logovi)

• koliko podataka imamo?Civilizacija je od 1986. godine pohranila ukupno vise od 295eksabajta (295× 1018 bajtova) podataka (Science Express, 2011.)




P 1Strojno ucenje

Motivacija

1. Automatizirano prikupljanje znanja• direktno iz podataka

2. Otkrivanje znanja u skupovima podataka (engl. data mining, textmining)

• ima li u njima znanja?• rastuce kolicine informacija

3. Klasicne metode nisu dovoljne jer su neki problemi preteski• napredak u izgradnji algoritama i teorije




P 1Strojno ucenje

Automatizirano prikupljanje znanja

• ekspertno podrucno znanje je temeljni oslonac u rjesavanju problema

• Program = algoritam + podaci + znanje

• prikupljanje znanja• izuzetno slozen problem

• ideja: stvoriti sustav koji ce automatski stjecati znanje (visokoapstraktne koncepte ili strategije rjesavanja problema) kroz iskustvo,tj. primjere, ...

• ... kao sto to cini covjek




P 1Strojno ucenje

Otkrivanje znanja u skupovima podataka

Dubinska analiza podataka (engl. data mining) ili otkrivanje znanja uskupovima podataka (engl. knowledge discovery in datasets) - primjenastrojnog ucenja na velike baze podataka

• trgovina: analiza potrosacke kosarica

• financije: Odredivanje kreditne sposobnosti, detekcija zlouporabakartica

• proizvodnja: optimizacija

• medicina: postavljanje dijagnoza

• telekomunikacije: optimizacija usluga

• bioinformatika: analiza izrazajnosti gena, poravnavanje

• text mining: klasifikacija teksta, ekstrakcija informacija

• racunalni vid: prepoznavanje lica, pracenje vozila




P 1Strojno ucenje

Slozeni problemi

• ne postoji ljudsko znanje o procesu ili ljudi ne mogu dati objasnjenje oprocesu (npr. raspoznavanje govora)

• problemi koje nije moguce rijesiti na klasican algoritamski nacin(UI-potpuni problemi)

• racunalom upravljano vozilo• npr. ucenje strategija voznje za autonomno upravljanje automobilom

brzinom 70 km/h na duljini od 120 km




P 1Strojno ucenje

Strojno ucenje

• strojno ucenje bavi se izgradnjom racunarskih sustava kojiautomatski poboljsavaju svoje performanse kroz iskustvo

Racunalni program uci ako se performanse izvrsavanja zadatka T, mjerenepomocu mjere uspjesnosti P, poboljsavaju s iskustvom E

• nema univerzalnog algoritma za ucenje• ipak, izumljeni su ucinkoviti algoritmi koji (uspjesno) rjesavaju odreden

tip problema




P 1Strojno ucenje

Primjeri

• T: igranje saha/backgammona/...• P: postotak dobivenih igara• E: igranje protiv samoga sebe

• T: raspoznavanje rukom pisanih slova• P: postotak tocno prepoznatih slova• E: baza rukom pisanih slova

• T: detekcija tumorskih regija na CT-u• P: postotak tocno prepoznatih regija• E: baza oznacenih CT slika

• T: kome ponuditi novu policu osiguranja• P: postotak tocno odredenih kandidata iz baze poznatih primjera• E: baza podataka o klijentima osiguravajuceg drustva




P 1Strojno ucenje

Mogu li strojevi uciti bolje?

• neki zadaci su najbolje definirani primjerima (npr. dijagnoza)

• ako imamo velike kolicine podataka – one mogu kriti vrlo korisnepravilnosti ili prediktivne relacije (data mining)

• u realnim okruzenjima karakteristike kompleksnih sustava (npr.promet u gradu) se brzo mijenjaju – software koji ima mogucnostbrzog adaptiranja moze povecati korisnost/sigurnost ....




P 1Strojno ucenje

Vrste strojnog ucenja

• nadzirano ucenje (supervised learning)

• nenadzirano ucenje (unsupervised learning)

• ucenje uz podrsku (reinforcement learning)

• ostala ucenja• polu-nadzirano ucenje• transduktivno ucenje• relacijsko ucenje• genetsko programiranje• ...




P 1Strojno ucenje

Strojno ucenje

• podaci su u obliku (x, y): x ulazna vrijednost, y ciljna vrijednost

• ucimo funkciju f(x) = y koja primjeru x pridruzuje klasu ili realnuvrijednost y




P 1Strojno ucenje

Nenadzirano ucenje

• kao tek rodeno dijete

• nema ucitelja – nema nekoga da nam pokaze pravo/tocno znanje

• dani su podaci, bez ciljne vrijednosti - neoznaceni podaci

• bitna je samoorganizacija

• cilj nam je grupirati primjere, otkriti neku strukturnu pravilnost upodacima, projekcija podataka u nize-dimenzionalne prostore,odrediti sto podaci znace




P 1Strojno ucenje

Nenadzirano ucenje

Tipicne primjene:

• eksplorativna dubinska analiza podataka

• marketing: segmentacija korisnika

• biologija: grupiranje biljaka ili zivotinja prema njihovim znacajkama

• text mining: grupiranje slicnih dokumenata

• pretrazivanje informacija: grupiranje slicnih rezultata

• bioinformatika: grupiranje DNA-mikropolja

• obrada slike: sazimanje slike grupiranjem sl. elemenata slicnih boja

Algoritmi nenadziranog ucenja

• grupiranje ili klasteriranje (engl. Clustering)

• otkrivanje-detekcija iznimaka (Outlier detection)

• ucenje asocijacijskih pravila

• redukcija dimenzionalnosti podatakaI122 Osnove umjetne inteligencije Strojno ucenje. 14/22



P 1Strojno ucenje

Nadzirano ucenje

• kao dijete koje je ovladalo komunikacijom

• sada dobivamo eksplicitnu informaciju za svaki primjer koji ucimo

• cilj nam je napraviti model koji ce raditi predikcije na jos nevidenim(novim) primjerima (npr. klasificiranje objekata, predikcija prodaje,cijene...)

Primjene:

• predvidanje: na temelju ulaznih vrijednosti predvidjeti buduce

• ekstrakcija znanja: ucenje lako tumacivih modela

• sazimanje: model koji koncizno objasnjava podatke

• otkrivanje ekstremnih vrijednosti: iznimke koje nisu pokrivenemodelom (npr. zlouporaba)

• upravljanje: upravljacki ulazi dobiveni kao izlaz regresije




P 1Strojno ucenje

Vrste nadziranog ucenja

• regresija• ucenje funkcija• eksplicitna informacija o objektu je numericka (npr. cijena zlata,

temperatura, tlak, broj cipela, broj otkucaja srca, ...)• cilj je aproksimacija funkcije

• klasifikacija• ucenje klasificiranja (raspoznavanje uzoraka)• jedna ili vise klasa• eksplicitna informacija o objektu je kategorijska (npr. Dobar/Los,

Tumor/nije tumor, Crven/Zelen/Zut/Plav, ...)• cilj je izgraditi funkciju koja ce za svaki objekt reci kojoj klasi tj.

kategoriji pripada




P 1Strojno ucenje

Nadzirano ucenje

Tipicne primjene:• predvidanje kretanja cijena dionica• klasifikacija teksta• detekcija tumorskih regija• detekcija bolesti prema analizi DNA• prepoznavanje lica• prepoznavanje govornika• klasifikacija prebjega u drugi telekom• podrska u odlucivanju pri izdavanju kredita

Algoritmi nadziranog ucenja• streber• k najblizih susjeda• naivni Bayesov klasifikator• ucenje pravila• stabla odluke




P 1Strojno ucenje

Ucenje s podrskom

• kao dijete koje uci voziti bicikl

• ucenje u kojem nam ucitelj daje ocjenu koliko smo dobro nesto obavili– pali smo s bicikla ili nismo

• ucenje – kroz interakciju s okolinom (ili barem simulacija interakcije)

• prolazimo seriju stanja i akcija i tek na kraju dobivamo (ili nedobivamo) nagradu

• istraziti stanja i akcije koje vode do cilja

• cilj nam je maksimizirati ukupnu sumu “nagrada” na kraju




P 1Strojno ucenje

Ucenje s podrskom

Tipicne primjene:

• igranje igara

• robotsko kretanje

• autonomna navigacija

• ucenje kontrolnih strategija

• ucenje akcija koje maksimiziraju/optimiraju output nekog pogona(tvornice)

Algoritmi podrzanog ucenja

• Q-learning

• ucenje vremenskih razlika (Temporal difference learning)




P 1Strojno ucenje

Pristranost

• engl. bias, inductive bias– mjeri kako dobro nasi modeli (strukturahipoteza) mogu uciti odnose izmedu varijabli i ciljnog koncepta

• varijanca – otkriva kakve su fluktuacije u kvaliteti aproksimiranjaciljnog koncepta/modela kojeg treniramo na razlicitim(pod)skupovima za ucenje

• mali bias - dobra aproksimacija na podacima za ucenje ali zato ivisoka varijanca predikcija na novim podacima = slaba generalizacija

• visoki bias – relativno slaba aproksimacija na podacima za ucenje alimala varijanca u predikciji na novim podacima = dobra generalizacija




P 1Strojno ucenje

Pretreniravanje

• engl. overfitting

• tijekom ucenja nas model/hipoteza se “pretjerano prilagodava”podacima za ucenje (mali bias), te zbog toga predstavlja los prediktorza neke od novih primjera:

• obicno je to uvjetovano izborom svojstava/varijabli kojima su opisaniprimjeri i njihova ponasanja na nekim primjerima

• uspjesnost modela na skupu za ucenje u principu reducira dobrageneralizacijska svojstva na novim primjerima




P 1Strojno ucenje

Pozeljni modeli

• trebali bi imati minimalan broj gresaka (minimalnu gresku e(h))• u idealnom slucaju h(xi) = yi

• ne bi smijeli biti previse kompleksni• za neku mjeru C(h) kompleksnosti modela

• trebaju nam procedure za pretrazivanje prostora mogucih modela(h ∈ H) koje vode racuna i o greskama e(h) i o kompleksnostiC(h)



Documents

I122 Osnove umjetne inteligencije - Odjel za · PDF filenpr. ucenje strategija voˇ znje za autonomno upravljanje automobilom ... marketing: segmentacija ... mogu uciti odnose izmeˇ