1

ПА-4 Машинско учење-алгоритми машинског

учења

2

Машинско учење – увод и основни појмови

• Деф: the design and development of algorithms that allow computers to improve their performance over time based on data (sensor data or databases);

• Пројектовање и развој алгоритама у циљу обезбеђивања аутономног понашања интелигентних система у одговарајућем домену;

• Машинско учење представља програмирање интелигентних система (рачунара, мобилних робота итд.) тако да је систем у стању да самостално донеси одлуке приликом интеракције са окружењем;

• Машинско учење представља процес обучавања одговарајућег параметарског модела система или процеса сходно усвојеном алгоритму обучавања и критеријуму перформансе.

• Кључне речи:

Design (пројектовање)

Development (развој)

Algorithms

Computers

Improved performance

Based on data

3

Основни видови машинског учења

1. Надгледано (учење под надзором)

- ученик добија инструкције од стране учитеља шта треба да научи,

- реализује се у форми увођења функције циља (критеријум перформансе) која представља учитеља.

2. Ненадгледано (учење без надзора)

- учитељ није експлицитно одређен,

- ученик мора сам да донесе закључак о пореклу и припадности података,

- пример Self Organized Maps (SOM), Adaptive Resonance Theory (ART)

3. Машинско учење ојачавањем

- машинско учење базирано на емпиријским информацијама из окружења

- оцена стања система са становишта успешности понашања

4

Основни видови надгледаног машинског учења

1. Класификација

- издвајање класа из доступних података

- технолошко препознавање (типске технолошке форме)

- препознавње карактеристичних обележја окружења,

- препознавање говора,

- постављање дијагноза у медицини на основу прикупљених података

(нпр. рендген, ултразвук итд.)

X1

X2

AB

A

A

AA

A A

B

BB

BBB

B

5

Основни видови надгледаног машинског учења

2. Регресија

- функционална апроксимација,

- предикција вредности одговарајућих индекса на берзи

Y

X

Y

X

Y

Y

X

X

Линеарна апроксимација: Нелинеарна апроксимација:

6

Надгледано машинско учење

},{ )()( ii yxs

Обучавајући скуп:

Улазни подаци Жељени излаз

Нпр.

класификација

електронске

поште:

Или...

S={primljena pošta, (spam, non-spam, poslovna prepiska,

privatna prepiska)}

Цена <50.000 50.000-70.000 70.000-90.000 >100.000

Квадратура ~ 1.000 1.500 ~2.000 >2.000

Предикција квадратуре стана на основу цене:

Локација?

7

• x : карактеристике

аутомобила

y : цена

y = g (x | θ )

g ( ) - регресиони модел,

θ – параметри

• Усвојити критеријум

перформансе и

одредити регресиони

модел

Пример #2: цена половног аутомобила

(регресија)

8

Пример #3: препознавање лица

Скуп за верификацију

Обучавајући скуп:

х={d(između dva oka),d(između očiju i

usta),dužina nosa,...}

y={Petar Petrović, Marko Marković...}

Бајесовско препознавање,

Вештачке неуронске мреже,

Статистички алгоритми…

Примена:

Безбедност објеката

(коцкарнице?!, тероризам, итд.)

9

2)()(2)2()2(2)1()1( )(2

1...)(

2

1)(

2

1)( nn yxyxyxxJ

x

xJxx

x

xJkk

)(0

)(1

Функција циља

Вредност вектора х одређујемо на основу итеративног поступка и тражења

минимума функције циља:

„Учитељ”

глобални

минимум

локални

минимум

Ј

х

Идеална ситуација:

Ако функција циља има један

и само један минимум

проблем је линеаран

На жалост...

Критеријум прерформансе (основни еталон приликом доношења одлука):

10

2)()(2)2()2(2)1()1( )(2

1...)(

2

1)(

2

1)( nn yxyxyxxJ

Функција циља

• Одређивање оног градијента функције циља који једнозначно одређује

правац највећег опадања саме функције циља.

„Учитељ”

Критеријум прерформансе (основни еталон приликом доношења одлука):

(w1,w2)

(w1+w1,w2 +w2)

0o w w * x w * x1 1 n n

1

2

2E w , ,w t o1 n d dd D

SSE SSE SSE

SSE W , ,...,W W W1 2 m

SSEW    m

Wm

11

Ненадгледано машинско учење

• Нема учитеља;

• Ученик самостално учи;

• Ученик на основу низа

који представља скуп прикупљених података треба нешто да

закључи;

• Нема излазних величина (нису експлицитно дефинисане);

},...,,{ 21 nxxxX

12

Пример: ЕМ алгоритам (Expectation-Maximization)

},...,,{ 21 nxxxX

)()|(),( )()()()()( iiiii zpzxpzxp

1;0);(~

1

)(

k

j

jji lMultinomiaz

),(~|

)(

)()(

)(

jjii

i

Njzx

jzp

=> Улазни скуп

Дакле, сваки улазни вектор х

одређен је случајним избором z

из скупа {1,…,k}. Након тога х је

добијено из једне од к

нормалних расподела које

зависе од промењљиве z.

m

i

k

z

iii

m

i

i

i

zpzxp

xpL

1 1

)()()(

1

)(

)(

);(),;|(log

),,;(log),,(

13

• Пример: интелигентни мобилни робот

• Оцена стања система на основу сензорске информације из окружења

• Одабир одлуке према одабраном алгоритму (нпр. унапред дефинисано

кретање унапред, сретање, ...)

• Нумеричка оцена повољности новог стања мобилног робота

Машинско учење ојачавањем

Вектор стања

Интелигентни агент-мобилни робот

Награда

Одлука

Технолошко

окружење

14

• Q - учење ојачавањем:

• Вредносна оцена стања се ажурира према:

• Остали алгоритми машинског учења ојачавањем: SARSA, Actor-

Critic,…

Машинско учење ојачавањем

1

1 , 1 1, 1( ) ( , ) max ( ) ( , )t

t t t t t t t t t t t t ta A

Q s a Q s a r Q s a Q s a

15

Хвала на пажњи!

Питања?