Upload
hacong
View
217
Download
0
Embed Size (px)
Citation preview
Optymalizacja ciągła0. Wprowadzenie
Wojciech Kotłowski
Instytut Informatyki PPhttp://www.cs.put.poznan.pl/wkotlowski/
28.02.2019
1 / 11
Kontakt
[email protected]://www.cs.put.poznan.pl/wkotlowski/mp/
Instytut Informatyki Politechniki PoznańskiejPokój nr 2 (CW), domofon 2936tel. (61)665-2936
Konsultacje: piątek 15:10-16:50
Laboratoria prowadzą:
Mateusz Lango (3 grupy)Michał Kempka (2 grupy)
2 / 11
Zasady zaliczenia
Pisemny sprawdzian na ostatnim wykładzie
% punktów ocena
[0,50] 2.0(50,60] 3.0(60,70] 3.5(70,80] 4.0(80,00] 4.5(90,100] 5.0
Wykłady nie są obowiązkowe i nie będzie sprawdzania obecności
Należy również zaliczyć laboratoria (obecność obowiązkowa!)
Wykład będzie silnie bazował na znajomości analizy matematycznej ialgebry liniowej
3 / 11
Literatura
R. WitMetody Programowania NieliniowegoWNT, 1986
A. StachurskiWprowadzenie do optymalizacjiOficyna Wyd. PW, 2009
J. Kusiak, A. Danielewska-Tułecka, P. OprochaOptymalizacjaPWN, 2009
4 / 11
Literatura
S. Boyd, L. VandenbergheConvex OptimizationCambridge University Press, 2004
D. Luenberger, Y. YeLinear and Nonlinear ProgrammingSpringer, 2016
M. Bazaraa, H. Sherali, C. ShettyNonlinear Programming: Theory and AlgorithmsWilley, 2006
4 / 11
Problem optymalizacji
minimalizuj f(x)
przy ograniczeniach x ∈ X ⊆ Rn
funkcja celu
wektor zmiennych decyzyjnychx = (x1, . . . , xn)
zbiór rozwiązańdopuszczalnych
• Minimalizacja bez straty ogólności, ponieważ:
min f(x) ⇐⇒ max−f(x)
• X = Rn =⇒ problem optymalizacji bez ograniczeń
• X opisywany zwykle jako przecięcie ograniczeń równościowych inierównościowych
5 / 11
Problem optymalizacji
minimalizuj f(x)
przy ograniczeniach x ∈ X ⊆ Rn
funkcja celu
wektor zmiennych decyzyjnychx = (x1, . . . , xn)
zbiór rozwiązańdopuszczalnych
• Minimalizacja bez straty ogólności, ponieważ:
min f(x) ⇐⇒ max−f(x)
• X = Rn =⇒ problem optymalizacji bez ograniczeń
• X opisywany zwykle jako przecięcie ograniczeń równościowych inierównościowych
5 / 11
Problem optymalizacji
minimalizuj f(x)
przy ograniczeniach x ∈ X ⊆ Rn
funkcja celu
wektor zmiennych decyzyjnychx = (x1, . . . , xn)
zbiór rozwiązańdopuszczalnych
• Minimalizacja bez straty ogólności, ponieważ:
min f(x) ⇐⇒ max−f(x)
• X = Rn =⇒ problem optymalizacji bez ograniczeń
• X opisywany zwykle jako przecięcie ograniczeń równościowych inierównościowych
5 / 11
Problem optymalizacji
minimalizuj f(x)
przy ograniczeniach x ∈ X ⊆ Rn
funkcja celu
wektor zmiennych decyzyjnychx = (x1, . . . , xn)
zbiór rozwiązańdopuszczalnych
• Minimalizacja bez straty ogólności, ponieważ:
min f(x) ⇐⇒ max−f(x)
• X = Rn =⇒ problem optymalizacji bez ograniczeń
• X opisywany zwykle jako przecięcie ograniczeń równościowych inierównościowych
5 / 11
Problem optymalizacji
minimalizuj f(x)
przy ograniczeniach x ∈ X ⊆ Rn
funkcja celu
wektor zmiennych decyzyjnychx = (x1, . . . , xn)
zbiór rozwiązańdopuszczalnych
• Minimalizacja bez straty ogólności, ponieważ:
min f(x) ⇐⇒ max−f(x)
• X = Rn =⇒ problem optymalizacji bez ograniczeń
• X opisywany zwykle jako przecięcie ograniczeń równościowych inierównościowych
5 / 11
Problem optymalizacji
minimalizuj f(x)
przy ograniczeniach gi(x) ¬ 0, i = 1, . . . ,m
hi(x) = 0, i = 1, . . . , k
• Bez straty ogólności nierówności typu „¬”
• Bez straty ogólności prawe strony równe 0
6 / 11
Problem optymalizacji
minimalizuj f(x)
przy ograniczeniach gi(x) ¬ 0, i = 1, . . . ,m
hi(x) = 0, i = 1, . . . , k
• Bez straty ogólności nierówności typu „¬”
• Bez straty ogólności prawe strony równe 0
6 / 11
Problem programowania liniowego
Wszystkie funkcje (celu i ograniczenia) są liniowe
minimalizuj f(x) =n∑j=1
cjxj
przy ograniczeniachn∑j=1
aijxj ¬ bj , i = 1, . . . ,m
xj 0, j = 1, . . . , d
Poza zakresem wykładu
7 / 11
Problem programowania liniowego
Wszystkie funkcje (celu i ograniczenia) są liniowe
minimalizuj f(x) =n∑j=1
cjxj
przy ograniczeniachn∑j=1
aijxj ¬ bj , i = 1, . . . ,m
xj 0, j = 1, . . . , d
Poza zakresem wykładu
7 / 11
Minima lokalne i globalne
(źródło: wikipedia)
Minima lokalne są zmorą problemów optymalizacji
Jeśli funkcja i zbiór ograniczeń są wypukłe, każde minimum lokalne jestminimum globalnym
8 / 11
Plan wykładu
1. Optymalizacja funkcji jednej zmiennej
2. Podstawy matematyczne (algebra liniowa, wypukłość)
3. Problem optymalizacji, warunki optymalności
4. Algorytmy optymalizacji bez ograniczeń
5. Metoda stochastycznego spadku wzdłuż gradientu
6. Optymalizacja z ograniczeniami
9 / 11
Do czego informatykom potrzebna optymalizacja ciągła?
Optymalizacja jest podstawą niemal wszystkich technik uczeniamaszynowego i statystycznej analizy danych
uczenie maszynowe
algorytmika
probabilistyka
teoriainformacji
statystyka
optymalizacja
10 / 11
Sukcesy uczenia maszynowego
rozpoznawanie obrazów wyszukiwanie informacji autonomiczne pojazdy
automatyczne tłumaczenie rozpoznawanie mowy nawigacja
inwestycje medycyna systemy rekomendacyjne
11 / 11