Upload
le-phuong-chi
View
217
Download
0
Embed Size (px)
Citation preview
8/18/2019 L4-Hoi Quy Tuyen Tinh
1/12
Học Máy
(IT 4862)
Nguy n Nh t Quang
Tr ườ ng Đại học Bách Khoa Hà Nội
Viện Công nghệ thông tin và truyền thông
Năm học 2011-2012
8/18/2019 L4-Hoi Quy Tuyen Tinh
2/12
ung m n ọc:
Giới thiệu chung
Đánh giá hiệu năng hệ thống học máy
c p ương p p ọc ựa tr n x c su t
Các phương pháp học có giám sát Hồi quy tuyến tính (Linear regression)
Các phương pháp học không giám sát
Lọc cộng tác
2H ọc Máy – IT 4862
ọc ng cư ng
8/18/2019 L4-Hoi Quy Tuyen Tinh
3/12
Hồi quy tuy ến tính – Giớ i thiệu Với một ví dụ đầu vào, dự đoán một giá tr ị đầu ra kiểu số thực
- - - -
khi hàm mục tiêu (cần học) là một hàm tuyến tínhh
==n
w x ∈R
Cần học (xấp xỉ ) một hàm mục tiêu f=i
iinn
1
...
• X: Miền không gian đầu vào (không gian vectơ n chiều – Rn)
• Y: Miền khôn ian đầu ra miền các iá tr ị số thực – R
• f: Hàm mục tiêu cần học (một hàm ánh xạ tuyến tính)
Thực chất, là học một vectơ các tr ọng số: w = (w0, w1, w2, …,wn)
3H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
4/12
Hồi quy tuy ến tính – Ví dụHàm tuyến tính f(x) nào phù hợp?
f(x)x f(x)
0.13 -0.91
1.02 -0.17
3.17 1.61
-2.76 -3.31
x
. .
5.28 3.36
-1.74 -2.46
. .
... ...
Ví dụ: f(x) = -1.02 + 0.83x
4H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
5/12
Các ví dụ học/kiểm thử Đối với mỗi ví dụ học x=(x1,x2,...,xn), trong đó xi∈R
• Giá tr ị đầu ra mong muốn cx (∈R)
• Giá tr ị đầu ra thực tế (tính bởi hệ thống) ∑+=n
ii x xww y 0
→ wi là đánh giá hiện thời của hệ thống đối với giá tr ị tr ọng số củathuộc tính thứ i
=
→ Giá tr ị đầu ra thực tế yx được mong muốn là (xấp xỉ ) cx
z z1,z2,...,zn
• Cần dự đoán (tính) giá tr ị đầu ra
•
5H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
6/12
Hàmđ ánh iá lỗi
Giải thuật học hồi quy tuyến tính cần phải xác định hàmn g
→ Đánh giá mức độ lỗi của hệ thống trong giai đoạn huấn luyện
Định ngh ĩ a hàm lỗi E
• Lỗi của hệ thống đối với mỗi ví dụ học x:
10
2
2
1)(
2
1)( ⎟⎟
⎠
⎞⎜⎜⎝
⎛ −−=−= ∑
=
n
iii x x x xwwc yc x E
• Lỗi của hệ thống đối với toàn bộ tập huấn luyện D:2
02 1
)(1
)( ∑ ∑∑∑ ⎟⎟ ⎞
⎜⎜⎛
−−=−==n
ii x x x xwwc yc x E E 1∈ =∈∈ D i D x D
6H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
7/12
Hồi quy tuy ến tính – Giải thuật Việc học hàm mục tiêu f là tương đương với việc học vectơ
tr ọn số w sao cho cực tiểu hóa iá tr ị lỗi huấn lu ện E
→ Phương pháp này có tên gọi là “Least-Square Linear Regression”
Giai đoạn huấn luyện• Khởi tạo vectơ tr ọng số w
• Tính toán giá tr ị lỗi huấn luyện E
•
• Lặp lại, cho đến khi hội tụ về một giá tr ị lỗi nhỏ nhất (cục bộ) E
Giai đoạn dự đoán
Đối với một ví dụ mới z, giá tr ị đầu ra được dự đoán bằng:
∑+=n
ii z ww z f 0 **)(Trong đó w*=(w*0,w*1,..., w*n)
=i 1
7H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
8/12
Quy tắc delta Để cập nhật vectơ tr ọng số w theo hướng giúp giảm bớt
• η là tốc độ học (là một hằng số dương)→ Xác định mức độ thay đổi đối với các giá tr ị tr ọng số tại mỗi bước học
• Cập nhật theo từng ví dụ (Instance-to-instance/incremental update):wi ← wi + η(cx-yx)xi
• Cập nhật theo đợt (Batch update):
Các tên gọi khác của quy tắc delta
i D x
x xii x ycww ∑∈
−+← η
• LMS (least mean square) rule
• Adaline rule
-
8H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
9/12
LSLR_batch(D, η)
for each thuộc tính f iwi ← giá tr ị (nhỏ) được khởi tạo ngẫu nhiên
for each thuộc tính f idelta_wi ← 0
for each ví dụ học x∈D
Tính toán giá tr ị đầu ra thực tế yxfor each thu c tính f
delta_wi ← delta_wi + η(cx-yx)xifor each thuộc tính f i
wi ← wi + delta_wi
end while
return w
9H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
10/12
Cập nh
ật theo
đ ợ t/theo t
ừng ví d
ụ
Giải thuật trên tuân theo chiến lược cập nhật theo đợt
Cập nhật theo đợt (Batch update)
• Tại mỗi bước học, các giá tr ị tr ọng số được cập nhật sau khi t ấ t
- Giá tr ị lỗi được tính tích lũy đối với tất cả các ví dụ học
- Các giá tr ị tr ọng số được cập nhật theo giá tr ị lỗi tích lũy tổng thể
Cập nhật theo từng ví dụ (Instance-to-instance/incremental update)
• ạ m ư c ọc, c c g r r ọng s ược c p n ngay p csau khi mỗi ví d ụ học đượ c đư a vào ( đượ c học bở i) hệ thống
- Giá tr ị lỗi (riêng biệt) được tính cho ví dụ học đưa vào
- Các giá tr ị tr ọng số được cập nhật ngay lập tức theo giá tr ị lỗi này
10H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
11/12
LSLR_incremental(D, η)
for each thuộc tính f iwi ← giá tr ị (nhỏ) được khởi tạo ngẫu nhiên
while not CONVERGENCE
for each ví dụ học x∈D
Tính toán iá tr đầu ra th c tế xfor each thuộc tính f i
wi ← wi + η(cx-yx)xiend while
return w
11H ọc Máy – IT 4862
8/18/2019 L4-Hoi Quy Tuyen Tinh
12/12
Cácđ
iều ki
ện k
ết thúc h
ọc
Trong các giải thuật LSLR_batch vàL LR_ ncrementa , qu r n ọc c c c ukiện được chỉ định bởi CONVERGENCE được thỏa mãn
c u n c ọc ư ng ược n ng a ựatrên một số tiêu chí đánh giá hiệu năng hệ thống
• Kết thúc nếu iá tr lỗi nhỏ hơn iá tr n ưỡn
• Kết thúc, nếu giá tr ị lỗi ở một bước học lớn hơn giá tr ị lỗi ở bướchọc tr ước
• c, n u sự c g a c c g r ư c ọc ntiếp nhỏ hơn giá tr ị ngưỡng
• ...
12H ọc Máy – IT 4862