Learning From Data - A short course - Abu-Mostafa, Magdon-Ismail, Lin - AMLBook.com - 2012.pdf

7/25/2019 Learning From Data - A short course - Abu-Mostafa, Magdon-Ismail, Lin - AMLBook.com - 2012.pdf

1/215


2/215


3/215


4/215


5/215


6/215


7/215


8/215


9/215


10/215


11/215

Z


12/215


13/215


14/215


15/215


16/215


17/215


18/215


19/215


20/215


21/215


22/215


23/215


24/215


25/215


26/215


27/215


28/215


29/215


30/215


31/215


32/215


33/215


34/215


35/215


36/215


37/215


38/215


39/215


40/215


41/215


42/215


43/215


44/215


45/215


46/215


47/215


48/215


49/215


50/215


51/215


52/215


53/215


54/215


55/215


56/215


57/215


58/215


59/215


60/215


61/215


62/215


63/215


64/215


65/215


66/215


67/215


68/215


69/215


70/215


71/215


72/215


73/215


74/215


75/215


76/215


77/215


78/215


79/215


80/215


81/215


82/215


83/215


84/215


85/215


86/215


87/215


88/215


89/215


90/215


91/215


92/215


93/215


94/215


95/215


96/215


97/215


98/215


99/215


100/215


101/215


102/215


103/215


104/215


105/215


106/215


107/215


108/215


109/215


110/215


111/215


112/215


113/215


114/215


115/215


116/215


117/215


118/215


119/215


120/215


121/215


122/215


123/215


124/215


125/215


126/215


127/215


128/215


129/215


130/215


131/215


132/215


133/215


134/215


135/215


136/215


137/215


138/215


139/215


140/215


141/215


142/215


143/215


144/215


145/215


146/215


147/215


148/215


149/215


150/215


151/215


152/215


153/215


154/215


155/215


156/215


157/215


158/215


159/215


160/215


161/215


162/215


163/215


164/215


165/215


166/215


167/215


168/215


169/215


170/215


171/215


172/215


173/215


174/215


175/215


176/215


177/215


178/215


179/215


180/215


181/215


182/215


183/215


184/215


185/215


186/215


187/215


188/215


189/215


190/215


191/215


192/215


193/215


194/215


195/215


196/215


197/215


198/215


199/215


200/215


201/215


202/215


203/215


204/215


205/215


206/215

{ }| |

2

[a, b] a b E E (w)

w()1

()

()Nk

k N

N!(Nk)!k!

A \ B A B0

{1} Rd d

CC

(s) =es/(1 + es) z= (x) Q


207/215

zi =i(x)

2

A

a() a

Bb

w0

B(N, k) N

kCd X = Rd X ={1} Rd

d Zd d (H) HD D = (x1, y1), , (xN, yN)

(xn, yn) D

D D

D DE(h, f) h fex x e= 2.71828

(h(x), f(x)) E(h, f) (h(x) f(x))2

n n n

E[]Ex[] xE

[y|x] y xEE E (h) hEE E (h) hED DEEEf f: X Y

g g Hg : X Y

g(D) Dg


208/215

g Dg g= E

h h H h : X Yh ZHH

H(C) C

H(x1, . . . , xN) 1 Hx1, , xN

H

I1 0

KLq qln elog2 2MmH(N)

H Nmax(, )N Do()

O()

P(x) xP(y| x) y xP(x, y) x yP[]

QQf f fR

Rd d

s s = w x =

i wixi i d 1 dx x0 = 1

() +1 1supa(.) aTt

tanh() tanh(s) = (ese

s)/(es+e

s)()

V V V K=Nv


209/215

v v

ww Zw

w

w

w

w

w0 w bx x X x Rd x

{1} Rd x

x0 x x0 = 1

X x XX xnXOR

y y Yy

yny y

Y y YZ z= (x)Z zn = (xn)


210/215

B(N, k)

N, d

H

f

V


211/215

L1 L2


212/215


213/215

mH(N)

E

tanh


214/215

d

Z


215/215

Documents

Learning From Data - A short course - Abu-Mostafa, Magdon-Ismail, Lin - AMLBook.com - 2012.pdf