POGLAVLJE 1 - University of Belgrade · predstavljaju raskrsnice puteva, a strelice ozna cavaju smer kretanja vozila u sa-obra caju. Ako se na putu nalazi samo par vozila, vreme putovanja

POGLAVLJE 1

UVOD

Problem matematickog programiranja u opstem slucaju moze biti zapisanna sledeci nacin.

min f(X) (1.1)

pri uslovima:

gi(X) ≤ 0 , za svako i = 1, 2, ...,m, (1.2)

gde su f(X), gi(X) realne funkcije i X = [x1, x2, ..., xn]T ∈ Rn.

Problem (1.1)–(1.2) se naziva problemom matematickog programiranja iliproblemom matematicke optimizacije. U slucaju da su funkcija cilja f : Rn → Ri funkcije gi : R

n → R koje definisu uslove linearne, problem (1.1)–(1.2) se nazivaproblemom linearnog programiranja ili linearne optimizacije. U suprotnom, radise o problemu nelinearnog programiranja ili nelinearne optimizacije.

Primetimo da je funkcija cilja (1.1) problema (1.1)–(1.2) tipa minimizacije,ali kako vazi minf(X) = −max(−f(X)), X ∈ Rn, ne postoji sustinska razlikaizmedu problema tipa minimizacije i maksimizacije. Nadalje ce uglavnom bitireci o problemima minimizacije

Velika grupa problema koje srecemo u praksi mogu biti formulisani kao pro-blemi linearnog programiranja [?], [?], [?], [?], [?] Simpleks metoda i njene

1

2 Zorica Stanimirovic

razne varijante predstavljaju mocan alat za uspesno resavanje problema line-arnog programiranja i ugradene su u mnoge matematicke softvere kao sto suMatlab [?], Mathematica [?], [?], [?], Maple [?] i CPLEX [?]. Zahvaljujuci broj-nim oblastima primene, linearno programiranje je dozivelo ekspanziju odmahnakon postavki osnovnih teorija u ovoj oblasti. Medutim, vrlo brzo je uocenoda postoji i veliki broj prakticnih problema cija funkcija cilja nije linearna ilise skup ogranicenja ne moze u potpunosti (ili uopste) predstaviti preko liner-nih funkcija. Moze se reci da je razvoj nelinearnog programiranja tekao gotovoparalelno razvoju linearnog programiranja. Prvi veci doprinos u razvoju te-orije nelinearnog programiranja bio je rad Kuna i Takera1 iz 1951 [?], kojim supostavljene osnove nelinearnog progamiranja. Iz tog razloga, Kun i Taker se uliteraturi cesto navode kao osnivaci nelinearnog programiranja [?], [?], [?].

U opstem slucaju, problemi nelinearnog programiranja su znatno tezi zaresavanje od problema linearnog programiranja, jer se optimalno resenje neline-arnog problema moze naci u unutrasnjoj tacki ili na granici dopustivog skupa.Dalje, lokalni optimum ne mora biti globalni optimum, sto dodatno problemcini tezim za resavanje.

1.1 Osnovni pojmovi i osobine

Dopustivi skup S ⊆ Rn problema (1.1)–(1.2) se definise na sledeci nacinS = {X ∈ Rn | gi(X) ≤ 0, i = 1, ..,m}. Dopustiva tacka problema (1.1)–(1.2)je svaki element X skupa S. Dopustivu tacku X ∈ S nazivamo i dopustivimresenjem problema (1.1)–(1.2).

Imajuci u vidu definicije dopustivog skupa S i dopustivog resenja X ∈ S,problem (1.1)–(1.2) se moze zapisati u skracenom, ekvivalentnom obliku:

minX∈S f(X). (1.3)

Za tacku X∗ kazemo da je tacka globalnog minimuma funkcije f na skupuS, ukoliko vazi

f(X∗) ≤ f(X) , za svako X ∈ S, (1.4)

a tada se f(X∗) naziva globalnim minimumom funkcije f na skupu S. Ukolikovazi strozi uslov

f(X∗) < f(X) , za svako X ∈ S\X∗, (1.5)

1Harold William Kuhn (1925– ), Albert William Tucker (1905–1995)

Nelinearno programiranje 3

tacka X∗ je tacka strogog globalnog minimum funkcije f na skupu S, odnosnof(X∗) je strogi globalni minimum funkcije f na skupu S.

Primetimo da tacka globalnog minimuma funkcije f na skupu S ne moraobavezno postojati. Recimo, ukoliko je funkcija f neprekidna na zatvorenom iogranicenom skupu S, tacka globalnog minimuma postoji. U narednim pogla-vima bice vise reci o uslovima postojanja tacke globalnog minimuna funkcije nazadatom skupu.

Za tacku X∗ kazemo da je tacka lokalnog minimuma funkcije f na skupu S,ukoliko postoji ε > 0 tako da vazi

f(X∗) ≤ f(X) , za svako X ∈ Nε(X∗) ∩ S, (1.6)

gde je Nε(X∗) = {X ∈ Rn | d(X,X∗) < ε} ε-okolina tacke X∗ u nekoj metrici

d definisanoj u Rn. Primetimo da je tada f(X∗) lokalni minimum funkcije fna skupu S. Ukoliko vazi strozi uslov

f(X∗) < f(X) , za svako X ∈ Nε(X∗) ∩ S,X = X∗, (1.7)

tacka X∗ se naziva tackom strogog lokalnog minimuma funkcije f na skupu S,a f(X∗) je strogi lokalni minimum funkcije f na skupu S.

Na Slici 1.1 prikazani su primeri tacaka strogog globalnog minimuma x1,strogog lokalnog minimuma x3 i lokalnog minimuma x5 respektivno za funkcijujedne promenljive f(x). Tacka x2 je tacka globalnog maksimuma, dok je x4

tacka strogog lokalnog maksimima.Za tacku X∗ kazemo da je tacka izolovanog lokalnog minimuma funkcije f na

skupu S, ukoliko postoji okolina Nε(X∗) tacke X∗ takva da je X∗ jedinstvena

tacka lokalnog minimum u toj okolini.Tacke globalnog maksimuma, strogog globalnog maksimuma, lokalnog maksi-

muma, strogog lokalnog maksimuma i izolovanog lokalnog maksimuma funkcijef na zadatom skupu S definisu se analogno.

U praksi, problem optimizacije smatramo resenim ukoliko smo nasli tackuglobalnog minimuma (maksimuma), odnosno sve tacke globalnog minimuma(maksimuma), ukoliko ih ima vise, kao i vrednost funkcije u tim tackama.Medutim, u praksi je cesto vrlo tesko naci globalne minimume, te se cesto za-dovoljavamo nalazenjem tacaka lokalnog minimuma (maksimuma).

Takode primetimo da se tacka X∗ globalnog minimuma (maksimuma), od-nosno lokalnog minimuma (maksimuma) funkcije na zadatom skupu, cesto nazi-vaju i globalni minimum (maksimum), odnosno lokalni minimum (maksimum)funkcije na zadatom skupu, iako se ovi pojmovi preciznije odnose na vrednostf(X∗).


Slika 1.1: Primeri tacaka globalnih i (strogih) lokalnih minimuma i maksimuma

Ukoliko je u definiciji problema (1.1)–(1.2) dopustivi skup S ceo prostorRn, tj. S = Rn, tada problem (1.1)–(1.2) nazivamo problemom bezuslovneoptimizacije. U suprotnom, tj. ako vazi S = Rn, problem (1.1)–(1.2) nazivamoproblemom uslovne optimizacije. O svakom od navedenih tipova problema bicereci u narednim poglavljima.

Dopustivi skup S je u opstem slucaju definisan nejednakostima gi(X) ≤ 0,i = 1, 2, ..,m. Primetimo da se bilo koji skup jednacina i nejednacina kojedefinisu dopustivi skup moze zapisati na ovaj nacin. Svako ogranicenje tipag(X) ≥ 0 moze se zapisati u ekvivalentnom obliku -g(X) ≤ 0. Svako ogranicenjetipa jednakosti g(X) = 0 moze se zapisati preko dve nejednakosti g(X) ≤ 0 ig(X) ≥ 0, i dalje g(X) ≤ 0 i −g(X) ≤ 0.

Ako je u definiciji problema (1.3) dopustivi skup S definisan nejednakostimagi(X) ≤ 0, i = 1, 2, ..,m, problem (1.3) (odnosno njegov ekvivalentan oblik(1.1)–(1.2)) nazivamo klasicnim problemom uslovne optimizacije.

Ukoliko su funkcija cilja f(X) i funkcije ogranicenja gi(X), i = 1, 2, ..,mkonveksne, problem (1.3) (odnosno problem (1.1)–(1.2)) nazivamo problemomkonveksnog programiranja. Primetimo da je u tom slucaju dopustiv skup S ta-kode konveksan. Problem konveksnog programiranja ima mnogo osobina koje uopstem slucaju nisu ispunjene u nekonveksnom slucaju, te ce o ovim problemimabiti vise reci kasnije.


1.2 Primeri problema nelinearne optimizacije

Problemi nelinearne optimizacije cesto nastaju iz problema u prirodnim na-ukama i inzenjerstvu. Na primer, zapremina sfere je nelinearna funkcija njenogpoluprecnika, gubitak energije u elektricnom kolu je nelinearna funkcija otpora,velicina populacije je nelinearna funkcija stope mortaliteta i nataliteta, itd. Uovoj sekciji navodimo nekoliko prakticnih problema koji se formulisu kao pro-blemi nelinearne optimizacije.

Primer 1.1 Pretpostavimo da cetiri zgrade treba povezati elektricnim vodo-vima. Pozicije osnova zgrada su prikazane na Slici 1.2. Osnove prve dve zgradesu kruznog oblika: osnova prve zgrade ima centar u tacki C1(1, 4) i poluprecnik2, a druge sa centrom u tacki C2(9, 5) i poluprecnika 1. Treca zgrada ima os-novu kvadrata stranice duzine 2 i sa centrom u tacki C3(3,−2). Osnova cetvrtezgrade je pravougaonik sirine 2 i visine 4, sa centrom u tacki C4(7, 0). Elektricnivodovi su spojeni u centralnoj tacki (x0, y0), a spojevi sa svakom od zgrada cebiti u tackama (xi, yi), i = 1, 2, 3, 4.

Slika 1.2: Elektricni vodovi koji povezuju zgrade iz Primera 1.1

Cilj problema je odrediti koordinate tacaka konekcije, tako da ukupna duzinaelektricnih vodova utrosenih za povezivanje sve cetiri zgrade bude minimalna.Matematicki model ovog problema moze biti zapisan na sledeci nacin:


min z, z = w1 + w2 + w3 + w4,

pri uslovima

wi −√(xi − x0)2 + (yi − y0)2 = 0 , i = 1, 2, 3, 4,

(x1 − 1)2 + (y1 − 4)2 ≤ 4 ,

(x2 − 9)2 + (y2 − 5)2 ≤ 1 ,

2 ≤ x3 ≤ 4 ,

−3 ≤ y3 ≤ −1 ,

6 ≤ x4 ≤ 8 ,

−2 ≤ y4 ≤ 2 .

Primer 1.2 Ovaj primer se odnosi na problem koji je postavio Arhimed 2. NaSlici 1.3 predstavljen je odsecak sfere poluprecnika r, pri cemu je visina odseckah. Problem je izabrati poluprecnik sfere r i visinu sfernog odsecka h, takoda je zapremina odsecka maksimalna, pri fiksiranoj povrsini odsecka A > 0,A = const. Problem se moze zapisati kao problem nelinearnog programiranja:

max V (r, h), V (r, h) = πh2(r − h

3),

pri uslovu

2rπh = A.

Arhimed je pokazao da se optimalno resenje problema (globalni maksimum)dobija za h = r, tj. ako je u pitanju hemisfera.

2Aρχιµηδης (287–212 p.n.e.)


Slika 1.3: Arhimedov problem iz Primera 1.2

Primer 1.3 Posmatrajmo mrezu puteva, predstavljenu na Slici 1.4, gde cvorovipredstavljaju raskrsnice puteva, a strelice oznacavaju smer kretanja vozila u sa-obracaju. Ako se na putu nalazi samo par vozila, vreme putovanja izmedudve raskrsnice moze se smatrati konstantnim. Medutim, pri intenzivnom sa-obracaju, vreme putovanja naglo raste. Posmatrajmo dve raskrsnice predstav-ljene cvorovima i i j. Neka je

• tij vreme potrebno da se od raskrsnice i stigne do raskrsnice j pri slabomintenzitetu saobracaja (tij ≈ const),

• xij prosecan broj automobila (po satu) koji saobracaju od cvora i do cvoraj,

• cij kapacitet puta od i do j, tj. maksimalan broj automobila (po satu) nadatom putu od i do j,

• αij koeficijent porasta vremena putovanja od i do j sa pojacavanjem in-tenziteta saobracaja.

Pretpostavka je da su sve vrednosti tij , cij i αij dobijene empirijski na osnovumernih podataka za posmatranu putnu mrezu.


Slika 1.4: Protok u mrezi

Dalje, pretpostavimo da svako vozilo koje ude u raskrsnicu, mora i da izadeiz iste raskrsnice (uslov ocuvanja protoka u mrezi). Vreme putovanja izmeducvorova i i j moze se opisati funkcijom Tij , koja je nelinearna funkcija argumentaxij :

Tij(xij) = tij + αijxij

1− xij/cij.

Zaista, ukoliko nema saobracaja na putu od i do j, tada je xij = 0, te jevreme putovanja konstantno i jednako tij . Ako broj vozila xij raste i priblizavase maksimalnom kapacitetu puta cij , tada vreme putovanja tezi ka +∞. Cilj jeminimizacija ukupnog vremena putovanja kroz mrezu pri zadatom prosecnomprotoku od P automobila po satu. Pod navedenim pretpostavkama, problem semoze opisati sledecim matematickim modelom:

min f(x), f(x) =∑i,j

xijTij(xij),

pri uslovima

x12 + x13 = P ,

x23 + x24 − x12 = 0 ,

x34 − x13 − x23 = 0 ,

x24 + x34 = P ,

0 ≤ xij ≤ cij .


Potencijalni nedostatak ovog matematickog modela je sto pri maksimalnomprotoku saobracaja na bilo kom putu (xij = cij za neko i i j), funkcija ciljapostaje nedefinisana. Ova situacija se moze prevazici neznatnim smanjenjemgornjih granica na promenljive xij . Preciznije, mozemo pretpostaviti da je xij ≤cij − ε, gde je ε mali pozitivan broj. Drugi nacin je da se poveca svaki odimenilaca u funkciji cilja za neku malu vrednost ε > 0, kako bi imenilac imaovrednost ne manju od ε, cime bi se izbeglo deljenje nulom.

Primer 1.4 Razmatramo problem odredivanja najkraceg rastojanja tacke r ∈Rn do skupa S = {X ∈ Rn | aTX = b} ⊆ Rn, a, b ∈ Rn, a = 0. U dvodimen-zionom slucaju, tacke skupa S definisu pravu, u tri dimenzije definisu ravan, au opstem slucaju S je hiperravan. Problem odredivanja najkraceg rastojanjamoze biti formulisan na sledeci nacin:

min f(X), f(X) =1

2(X − r)T (X − r),

pri uslovu

aTX = b.

Koeficijent 12 u funkciji cilja uveden je zbog pogodnije analize problema i ne

utice na njegove sustinske osobine. Za razliku od vecine nelineranih problema,ovaj problem ima resenje koje se moze eksplicitno izraziti sa

X = r +b− aT r

aTaa.

Problem nalazenja najkraceg rastojanja je primer problema kvadratnog pro-gramiranja. U opstem slucaju, cilj problema kvadratnog programiranja je mi-nimizacija (ili maksimizacija) kvadratne funkcije pri linearnim ogranicenjima.Primer takvog problema je:

min f(X) =1

2XTQX

pri uslovu

AX ≤ b.

Ukoliko je matrica Q pozitivno definitna [?], problemi kvadratnog programi-ranja su relativno jednostavni za resavanje, u poredenju sa ostalim problemimanelinearnog programiranja.


1.3 Uslovi lokalne optimalnosti

Neka je X∗ tacka lokalnog minimuma problema nelinerne optimizacije (1.1)–(1.2). Za definisanje uslova lokalne optimalnosti koristimo izvode funkcije f :Rn → R. Podsetimo se da je izvod prvog reda funkkcije f u tacki X ∈ Rn, uoznaci Df(X), definisan sa

Df(X) =

[∂f

∂x1(X),

∂f

∂x2(X), ...,

∂f

∂xn(X)

],

i da je gradijent∇f(X) transponovan prvi izvodDf(X), tj. ∇f(X) = (Df(X))T .Drugi izvod funkcije f : Rn → R u tacki X oznacavamo sa D2f(X) i de-

finisemo sa

D2f(X) =

∂2f∂x2

1(X) ... ∂2f

∂xn∂x1(X)

. .

. .

. .∂2f

∂x1∂xn(X) ... ∂2f

∂x2n(X)

.

Matrica D2f(X) se jos naziva i Hesijan3 (ili Hesijan matrica) funkcije f utacki X. Hesijan funkcije f u tacki X se oznacava i sa F (X), kao i sa ∇2f(X).Ove oznake cemo koristiti u nastavku teksta.

Primer 1.5 Neka je f : R2 → R definisana sa

f(X) = (x1 − 1)2ex2 + x1, X = [x1, x2]T .

Tada je

Df(X) = (∇f(X))T =

[∂f

∂x1(X),

∂f

∂x2(X)

]= [2(x1 − 1)ex2 , (x1 − 1)2ex2 − 1]

i

D2f(X) =

[∂2f∂x2

1(X) ∂2f

∂x2∂x1(X)

∂2f∂x1∂x2

(X) ∂2f∂x2

2(X)

]=

[2ex2 2(x1 − 1)ex2

2(x1 − 1)ex2 (x1 − 1)2ex2

].

Za problem uslovnog nelinearnog programiranja sa dopustivim skupom S ⊆Rn, globalni ili lokalni minimum mogu da se nalaze ili u unutrasnjosti skupa S

3Ludwig Otto Hesse (1811 – 1874)


(koju oznacavamo sa int(S)) ili na njegovoj granici (oznaka ∂S). Za ispitivanjedrugog slucaja, tj. kada se lokalni ili globalni minimum nalaze na granici skupaS, potrebno je da definisemo pojam dopustivog pravca

Definicija 1.1 Za vektor d ∈ Rn, d = 0 kazemo da je vektor dopustivog pravcau tacki X ∈ S, ako postoji α0 > 0 takvo da X + αd ∈ S za svako 0 ≤ α ≤ α0.

Na Slici 1.5 ilustrovan je pojam dopustivog pravca u tacki u dvodimenzionomslucaju. Primetimo da je d1 dopustivi pravac u tacki X, jer za α0 sa slike vazida tacke X +αd ostaju u dopustivom skupu S za 0 ≤ α ≤ α0. Sa druge strane,vektor d2 ne predstavlja dopustivi pravac, jer ne postoji α0 za koje vazi definicija.Primetimo da za svaku tacku X ∈ int(S) svaki vektor d = 0 predstavlja vektordopustivog pravca u X.

Neka je f : Rn → R realna funkcija i neka je d vektor dopustivog pravcau tacki X. Izvod funkcije f pravcu vektora d u tacki X je realna funkcijadefinisana sa:

∂f

∂d(X) = limα→0

f(X + αd)− f(X)

α.

Slika 1.5: Dopustivi pravac u tacki X

Neka je ∥ · ∥ neka norma u Rn indukovana skalarnim proizvodom ⟨·, ·⟩, tj.∥X∥2 = ⟨X,X⟩. Ukoliko je ∥d∥ = 1, tada se ∂f

∂d (X) naziva i stopom prirastajafunkcije f u tacki X u pravcu vektora d.

Neka su tacka X i vektor d unapred zadati. Tada je f(X + αd) = f1(α)funkcija od α i vazi:

∂f

∂d(X) =

df1dα

(X + αd)|α=0.


Dalje je

∂f

∂d(X) =

df1dα

(X+αd)|α=0 = ∇f(X)T d = ⟨∇f(X), d⟩ = ⟨d,∇f(X)⟩ = dT∇f(X).

Drugim recima, ukoliko je ∥d∥ = 1, tada je ⟨∇f(X), d⟩ stopa rasta funkcijef u tacki X u pravcu vektora d.

Primer 1.6 Neka je f : R3 → R definisana sa f(X) = x1x2x3, X = [x1, x2, x3]T

i neka je d =[12 ,

12 ,

1√2

]T. euklidska norma vektora d je jedan, tj. ∥d∥ = 1. Tada

je izvod funkcije f u proizvoljnoj tacki X u pravcu vektora d

∂f

∂d(X) = [x2x3, x1x3, x1x2]

[1

2,1

2,1√2

]T=

x2x3 + x1x3 +√2x1x2

2.

Sada mozemo formulisati i dokazati sledecu teoremu.

Teorema 1.1 Neophodni uslovi prvog reda (NUPR). Neka je S ⊆ Rn if : S → R, f ∈ C1(S) realna funkcija definisana i neprekidno diferencijabilnana skupu S. Ako je X∗ lokalni minimum funkcije f na S, tada za proizvoljnidopustivi pravac d u tacki X∗ vazi:

dT∇f(X∗) ≥ 0.

Dokaz. Pretpostavimo da je X∗ tacka lokalnog minimuma i neka je X(α) =X∗ + αd. Primetimo da je X(0) = X∗. Definisimo slozenu funkciju:

ϕ(α) = f(X(α)).

Iz Tejlorovog razvoja dobijamo

f(X∗ + αd)− f(X∗) = ϕ(α)− ϕ(0) = ϕ′(0)α+ o(α) = αdT∇f(X(0)) + o(α),

gde je α ≥ 0. Ukoliko je ϕ(α) ≥ ϕ(0), odnosno f(X∗+αd) ≥ f(X∗) za dovoljnomale vrednosti α > 0 (X∗ je lokalni minimum), tada mora biti dT∇f(X) ≥ 0.�

Pod gore navedenim pretpostavkama neophodni uslov egzistencije lokalnogminimuma iz Teoreme 1.1 moze biti iskazan i na sledeci nacin.


Teorema 1.1’ Neophodni uslovi prvog reda (NUPR). Neka je S ⊆ Rn ineka je f ∈ C1 realna funkcija na S. Ako je X∗ lokalni minimum funkcije f naS, tada je

∂f

∂d(X∗) ≥ 0

za svaki vektor dopustivog pravca d u tacki X∗.

Drugim recima, ako je X∗ tacka lokalnog minimuma, tada je stopa rastafunkcije f u tacki X∗ u pravcu proizvoljnog vektora dopustivog pravca d ∈ Snenegativna.

Dokaz. Pretpostavimo da jeX∗ tacka lokalnog minimuma. Tada, za proizvoljnivektor dopustivog pravca d ∈ S, postoji α0 > 0, takvo da za svako α ∈ [0, α0]vazi nejednakost

f(X∗) ≤ f(X∗ + αd).

Dalje, za svako α ∈ [0, α0] vazi

f(X∗ + αd)− f(X∗)

α≥ 0.

Pustajuci da α → 0, dobijamo

∂f

∂d(X∗) ≥ 0.

�

Teorema 1.1 i njena alternativna forma Teorema 1.1’ ilustrovane su na Slici1.6. Sa f = 1, f = 2 i f = 3 oznaceni su nivoski skupovi funkcije f . Primetimoda tacka X1 ne zadovoljava NUPR iz Teoreme 1.1 (odnosno Teoreme 1.1’),dok su NUPR zadovoljeni za tacku X2. Podsetimo se da je za funkciju f ∈ C1,vektor∇f(X0) ortogonalan na tangentni vektor na proizvoljnu glatku krivu kojaprolazi kroz tacku X0 na nivoskom skupu koji je definisan sa f(X) = f(X0).Cesto se kaze da je ∇f(X0) pravac maksimalnog rasta funkcije u tacki X0.Dakle, pravac maksimalnog rasta realne diferencijabilne funkcije u tacki X0 jeortogonalan na nivoski skup funkcije u toj tacki.

Od posebnog interesa je slucaj kada je tacka X∗ unutrasnja tacka dopusti-vog skupa S, tj. X∗ ∈ int(S). Tada svaki vektor d ∈ Rn predstavlja vektordopustivog pravca u X∗. Stoga, imamo sledecu posledicu.


Slika 1.6: NUPR za problem uslovne optimizacije u dvodimenzionom slucaju

Posledica 1.1 Neka je S ⊆ Rn i neka je f ∈ C1 realna funkcija na S. Akoje X∗ lokalni minimum funkcije f na S, i X∗ pripada unutrasnjosti dopustivogskupa S, tada je

∇f(X∗) = 0.

Dokaz. Pretpostavimo da je X∗ tacka lokalnog minimuma funkcije f na S i daX∗ ∈ int(S). Kako je X∗ unutrasnja tacka skupa S, skup vektora dopustivihpravaca u X∗ je ceo prostor Rn. Tada, za svako d ∈ Rn vazi dT∇f(X∗) ≥ 0, ali i−dT∇f(X∗) ≥ 0. Dakle, dT∇f(X∗) = 0 za svako d ∈ Rn, odakle zakljucujemoda je ∇f(X∗) = 0. �

Dopustive tacke X∗ za koje vazi da je ∇f(X∗) = 0 nazivaju se jos i staci-onarnim tackama. To su tacke potencijalnih ekstema funkcije: (strogog) lokal-nog minimuma i (strogog) lokalnog maksimuma.

Primer 1.7 Dat je sledeci problem nelinearnog programiranja:

min (x41 + 3x1x2 + x2

2 + x1 − 5)

pri uslovimax1 ≥ 0, x2 ≥ 0.

Neka je f : R2 → R i f(X) = x41 + 3x1x2 + x2

2 + x1 − 5, X = [x1, x2]T

Dopustivi skup je S = {(X ∈ R2 | x1 ≥ 0, x2 ≥ 0}. Primetimo da je f ∈ C1 i∇f(X) = [4x3

1 + 3x2 + 1, 3x1 + 2x2]T .


• U tacki A = [1, 1]T imamo da je ∇f(A) = [8, 5]T . Kako A ∈ int(S), NUPRza lokalni minimum nisu zadovoljeni u tacki A jer je ∇f(A) = 0.

•Za tacku B = [1, 0]T vazi ∇f(B) = [5, 3]T , i stoga je dT∇f(B) = 5d1 + 3d2 zaneki vektor d = [d1, d2]

T ∈ R2. Da bi vektor d bio vektor dopustivog pravca utacki B, mora da vazi d2 ≥ 0, dok d1 moze da ima proizvoljne vredosti. Da biB bila tacka lokalnog minimuma, mora da vazi dT∇f(B) ≥ 0 za svaki vektord dopustivog pravca. Medutim, za dopustivi vektor d = [−1, 1]T , imamo da jedT∇f(B) = −5 + 3 = −2 < 0, te B nije tacka lokalnog minimuma.

• Za tacku C = [0, 1]T vazi ∇f(C) = [4, 2]T , i stoga je dT∇f(C) = 4d1 + 2d2za neki vektor d = [d1, d2]

T ∈ R2. Da bi vektor d bio vektor dopustivog pravcau tacki C, mora da vazi d1 ≥ 0, dok d2 moze da ima proizvoljne vredosti. Dabi C bila tacka lokalnog minimuma, mora da vazi dT∇f(C) ≥ 0 za svaki vektord dopustivog pravca. Medutim, za dopustivi vektor d = [1,−3]T , imamo da jedT∇f(B) = 4− 6 = −2 < 0, te C nije tacka lokalnog minimuma.

• Posmatrajmo koordinatni pocetak O = [0, 0]T . Za ovu tacku vazi ∇f(O) =[1, 0]T , i stoga je dT∇f(O) = d1 za neki vektor d = [d1, d2]

T ∈ R2. Da bi vektord bio vektor dopustivog pravca u tacki O, mora da vazi d1 ≥ 0 i d2 ≥ 0. Stogaje dT∇f(O) ≥ 0 za svaki vektor d dopustivog pravca, te tacka O zadovoljavaNUPR i predstavlja tacku lokalnog minimuma.

Primer 1.8 Posmatrajmo funkciju V (r, h) = πh2(r− h3 ), V : R2 → R iz Arhi-

medovog zadatka prikazanog u Primeru 1.8. Dopustivi skup je S = {[r, h]T ∈R2 | r > 0, h > 0, 2rπh = A}, te se smenom r = A

2πh , funkcija V svodi na funk-

ciju jedne promenljive V (r, h) = V ( A2πh , h) = V1(h) = Ah

2 − πh3

3 , a dopustiviskup je S1 = {h ∈ R | h > 0}.

Umesto funkcije V1 koja figurise u problemu maksimizacije, posmatracemofunkciju −V kao funkciju cilja problema minimizacije

max V1(h) = −min (−V1(h)).

Primetimo da je V ′1(h) =

A2 − πh2 i −V1, V1 ∈ C1. Kako je svaka tacka iz S1

unutrasnja, da bi tacka h∗ ∈ S1 bila tacka lokalnog minimuma funkcije −V1,mora da vazi (−V1)

′′(h∗) ≥ 0 za svaki dopustivi pravac d. Kako je svaka tackaskupa S1 unutrasnja, pa i h∗, tada je i svaki pravac d dopustiv, pa premaPosledici 1.1 mora biti (−V1)

′(h∗) = 0. Za tacku h =√

A/2π vazi (−V1)′(h) =


0, te je h∗ = r∗ =√

A/2π lokalni minimum funkcije −V1(h) na skupu S1. Tacka[r∗, h∗]T je tacka lokalnog maksimuma funkcije V (r, h) na skupu S.

Kljucnu ulogu u formulaciji dovoljnih uslova drugog reda ima pojam pozi-tivne definitnosti Hesijan matrice, te cemo se na ovom mestu kratko podsetitista je definitnost matrice.

Definicija 1.2 Data je simetricna matrica A = [aij ] dimenzije n.

1. Za matricu A kazemo da je pozitivno definitna (u oznaci A > 0), ukolikovazi uslov XTAX > 0, za svako X ∈ Rn, X = 0, a pozitivno semidefinitna(u oznaci A ≥ 0), ukoliko je XTAX ≥ 0, za svako X ∈ Rn.

2. Za matricu A kazemo da je negativno definitna (u oznaci A < 0), ukolikovazi uslov XTAX < 0, za svako X ∈ Rn, X = 0, a negaitivno semidefi-nitna (u oznaci A ≤ 0), ukoliko je XTAX ≤ 0, za svako X ∈ Rn.

3. Ukoliko ne vazi ni 1. ni 2, kazemo da je matrica A nedefinitna ili da Anije definitna.

Sada cemo definisati uslove drugog reda za lokalni minimum.

Teorema 1.2 Neophodni uslovi drugog reda (NUDR). Neka je S ⊆ Rn

i neka je f ∈ C2 realna funkcija na S. Neka je X∗ lokalni minimum funkcije fna S i d vektor dopustivog pravca u X∗. Ako je dT∇f(X∗) = 0, tada je

dTF (X∗)d ≥ 0,

gde je F Hesijan funkcije f .

Dokaz. Pretpostavimo suprotno, tj. da postoji vektor dopustivog pravca d uX∗ takav da je dT∇f(X∗) = 0 i dTF (X∗)d < 0. Neka je X(α) = X∗ + αd iϕ(α) = f(X(α)) = f(X∗ + αd). Koristeci Tejlorov razvoj dobijamo

ϕ(α)− ϕ(0) = ϕ′(0)α+ ϕ′′(0)α2

2+ o(α2).

Kako je ϕ′(0) = dT∇f(X∗) = 0 i ϕ′′(0) = dTF (X∗)d, za dovoljno malo α imamo

ϕ(α)− ϕ(0) = ϕ′′(0)α2

2+ o(α2) < 0,

odnosno


f(X∗ + αd) < f(X∗),

sto je suprotno pretpostavci da je X∗ lokalni minimum. Prema tome, polaznapretpostavka nije tacna, te je

ϕ′′(0) = dTF (X∗)d ≥ 0,

sto je i trebalo dokazati. �

Napomena: ukoliko je matrica A pozitivno semidefinitna, koristicemo oz-naku A ≥ 0, radi kraceg zapisa. Ukoliko je matrica pozitivno definitna, ko-risticemo oznaku A > 0.

U slucaju da je u pretpostavkama Teoreme 1.2, tacka X∗ strogi lokalni mi-nimum, tada je i kvadratna forma odredena vektorom d i Hesijanom u X∗

pozitivno definitna. Preciznije, imamo sledeci oblik Teoreme 1.2.

Teorema 1.2’ Neophodni uslovi drugog reda (NUDR). Neka je S ⊆ Rn ineka je f ∈ C2 realna funkcija na S. Ako je X∗ strogi lokalni minimum funkcijef na S i d vektor dopustivog pravca u X∗. Ako je dT∇f(X∗) = 0, tada je

dTF (X∗)d > 0,

gde je F Hesijan funkcije f .

Teorema 1.2’ se dokazuje na isti nacin kao Teorema 1.2, zamenom znakanejednakosti znakom stroge nejednakosti na odgovarajucim mestima.

Primer 1.9 Posmatrajmo Rozenbergovu funkciju4, f : R2 → R definisanu sa

f(X) = 100(x2 − x21)

2 + (1− x1)2, X = [x1, x2]

T

na skupu S = {X ∈ R2 | x1 ≥ 0, x2 ≥ 0}. S obzirom na definiciju funkcije f ,imamo da je

∇f(X) = [−400x1(x2 − x21) + 2(1− x1), 200(x2 − x2

1)]

i

F (X) =

[−400x2

1 − 400x2 − 2 −400x1

−400x1 200

].

4Jonathan M. Rosenberg, http : //www2.math.umd.edu/ jmr/


Tacka A = [1, 1]T zadovoljava NUPR za lokalni minimum, tj. ∇f(A) = [0, 0]T .Kako je

dTF (A)d = [d1, d2]T

[−802 −400−400 200

][d1, d2] = −1002d21 − 800d1d2 + 200d22,

u tacki A ne vaze NUDR (jer je dTF (A)d = −2), te A nije tacka lokalnogminimuma.

Grafik Rozenbergove funkcije f : R2 → R prikazan je na Slici 1.7.

Slika 1.7: Rozenbergova funkcija

Primer 1.10 Posmatrajmo funkciju f(x) = x3, f : R → R. Kako je f ′(x) =3x2 i f(x) = 6x, tacka x∗ = 0 zadovoljava i NUPR i NUDR. Medutim, to nijetacka lokalnog minimuma.

Sada cemo nasvesti dovoljne uslove za lokalni minimum.

Teorema 1.3 Dovoljni uslovi drugog reda (DUDR), slucaj unutrasnjetacke. Neka je S ⊆ Rn i neka je f ∈ C2 realna funkcija na S. Ako vazi

1. ∇f(X∗) = 0 i

2. F (X∗) > 0,

tada je X∗ tacka strogog lokalnog minimuma.


Za dokaz Teoreme 1.3 bice nam potrebna Rejlijeva nejednakost5 (videti [?] i[?]).

Lema 1.1 Rejlijeva nejednakost Ako je realna kvadratna matrica A dime-nizije n simetricna i pozitivno definitna, a ∥ · ∥ norma vektora u Rn, tada je

λmin(A)∥X∥2 ≤ XTAX ≤ λmax(A)∥X∥2, X ∈ Rn,

gde je λmin(A) najmanja, a λmax(A) najveca sopstvena vrednost matrice A

Dokaz Rejlijeve nejednakosti prepustamo citaocu. Imajuci u vidu Rejlijevu ne-jednakost, mozemo dokazati Teoremu 1.3.

Dokaz. Kako je f ∈ C2, vazi F (X∗) = FT (X∗). Na osnovu pretpostavke 2. ikoristeci Rejlijevu nejednakost, sledi da za d = 0 imamo

0 < λmin(F (X∗))∥d∥2 ≤ dTF (X∗)d.

U gornjoj nejednakosti smo koristili cinjenicu da su sve sopstvene vrednostisimetricne pozitivno definitne matrice strogo pozitivne (videti Teoremu ??).Dalje, na osnovu pretpostavke 1. i koristeci Tejlorov razvoj dobijamo:

f(X∗ + d)− f(X∗) =1

2dTF (X∗)d+ o(∥d∥2)

≥ λmin(F (X∗))

2∥d∥2 + o(∥d∥2).

Dakle, za svaki vektor d, za koji je ∥d∥ dovoljno malo, vazi

f(X∗ + d) > f(X∗),

sto je i trebalo dokazati. �

Primer 1.11 Posmatrajmo funkciju f : R3 → R, definisanu sa f(X) = x21 +

x22 + x2

3, X = [x1, x2, x3]T . Kako je ∇f(X) = [2x1, 2x2, 2x3]

T = 0 ako i samoako je x1 = x2 = x3 = 0. Za svako X ∈ R3 vazi:

F (X) =

2 0 00 2 00 0 2

.

Tacka X = [0, 0, 0]T zadovoljava NUPR, NUDR i DUDR, te predstavlja tackustrogog lokalnog minimuma. Stavise, X = [0, 0, 0]T je i strogi globalni minimum.

5John William Strutt, 3rd Baron Rayleigh (1842 – 1919)


Kao sto smo napomenuli na pocetku, posmatrali smo samo probleme tipaminimizacije i izveli NUPR, NUDR i DUDR za minimum funkcije. Kako jemin f(X) = −max(−f(X)), ne postoji sustinska razlika izmedu problema tipaminimizacije i maksimizacije. NUPR, NUDR i DUDR za slucaj lokalnog maksi-muma i strogog lokalnog maksimuma se izvode na analogan nacin. Za tacku X∗

(strogog) lokalnog maksimuma takode vazi ∇f(X∗) = 0, ali je F (X∗) ≤ 0 akoje X∗ lokalni maksimum, odnosno F (X∗) < 0 u slucaju da je X∗ strogi lokalnimaksimum.

1.4 Zadaci za vezbu

Zadatak 1.1 Posmatrajmo funkciju f : R2 → R zadatu sa

f(X) = XT

[2 5−1 1

]X +XT

[34

]+ 7.

a) Naci izvod funkcije f u tacki [0, 1]T u pravcu vektora d = [1, 0]T .

b) Naci sve tacke koje zadovoljavaju NUPR za funkciju f .

c) Da li funkcija f ima minimum? Ukoliko ih ima, odrediti sve minimume.Ukoliko ne, objasniti zasto ih nema.

Zadatak 1.2 Neka je kvadratna funkcija f : Rn → R zadata sa

f(X) =1

2XTQX −XT b,

gde je Q simetricna, pozitivno definitna kvadratna matrica. Pokazati da je X∗

minimum funkcije f ako i samo ako zadovoljava NUPR.

Zadatak 1.3 Neka je data funkcija f : Rn → R, S ⊆ Rn i vektor d ∈ Rn.

a) Ako je d vektor dopustivog pravca u tacki X ∈ S, tada za svako β > 0vektor βd je takode vektor dopustivog pravca u tacki X ∈ S.

b) Neka je S = {X ∈ Rn| AX = b}. Tada vazi: d je vektor dopustivog pravcau tacki X ∈ S ako i samo ako je Ad = 0.

Zadatak 1.4 Data je funkcija f : R2 → R, definisana sa f(X) = −x22, X =

[x1, x2]T . Posmatrajmo problem

min f(X)


pri uslovima

|x2| ≤ x21

x1 ≥ 0.

a) Ispitati da li tacka [0, 0]T zadovoljava NUPR za lokalni minimum funkcijef na zadatom dopustivom skupu S = {X ∈ R2 | |x2| ≤ x2

1, x1 ≥ 0}.

b) Ispitati da li je tacka [0, 0]T lokalni minimum, strogi lokalni minimum,lokalni maksimum ili strogi lokalni maksimum funkcije f na skupu S. Ilinijedno od navedenog?

Zadatak 1.5 Data je funkcija f : R2 → R, definisana sa f(X) = 5x2, X =[x1, x2]

T . Posmatrajmo problem

min f(X)

pri uslovu

x21 + x2 ≥ 1.

a) Ispitati da li tacka [0, 1]T zadovoljava NUPR za lokalni minimum funkcijef na zadatom dopustivom skupu S = {X ∈ R2 | x2

1 + x2 ≥ 1}.

b) Ispitati da li tacka [0, 1]T zadovoljava NUDR za lokalni minimum funkcijef na skupu S.

c) Da li je tacka [0, 1]T lokalni minimum funkcije f na skupu S?

Zadatak 1.6 Posmatrajmo funkciju f : R2 → R zadatu sa

f(X) = XT

[1 24 7

]X +XT

[35

]+ 6.

a) Naci gradijent i Hesijan funkcije f u tacki [1, 1]T .

b) Naci izvod funkcije f u tacki [1, 1]T u pravcu jedinicnog vektora d kojiodreduje pravac maksimalnog rasta funkcije f .

c) Odrediti tacku skupa S = R2 koja zadovoljava NUPR za f . Da li istatacka zadovoljava i NUDR?


Zadatak 1.7 Data je funkcija f : R2 −→ R, definisana sa f(X) = (x1−x2)4+

x21 − x2

2 − 2x1 + 2x2 + 1, X = [x1, x2]T . Posmatrajmo problem

min f(X)

pri uslovux1, x2 ∈ R.

a) Odrediti sve tacke koje zadovoljavaju NUPR za lokalni minimum funkcijef na skupu S = R2.

b) Ispitati da li tacke pod a) zadovoljavaju i NUDR za lokalni minimumfunkcije f na skupu S.

Zadatak 1.8 Data je funkcija f : R2 −→ R i problem

minf(X)

pri uslovux1, x2 ∈ R.

Pretpostavimo da za tacku O = [0, 0]T vazi ∇f(O) > 0. Dokazati da tada tackaO ne moze biti minimum datog problema.

Zadatak 1.9 Dato je n realnih brojeva x1, x2, ..., xn. Definisati funkciju f :R −→ R koja za zadato x ∈ R odreduje sumu kvadrata razlike x i svakog odbrojeva xi, i = 1, 2, ...n. Odrediti minimum date funkcije (ukoliko postoji).

Zadatak 1.10 Dato je k tacaka X(1), X(2), ..., X(k) u prostoru Rn. Neka je ∥·∥zadata norma u Rn. Definisimo funkciju f : Rn → R, koja za zadato X ∈ Rn

odreduje srednju vrednost kvadrata rastojanja izmedu tackeX i svake od tacakaX(k), k = 1, 2, ..., n, odnosno

f(X) =1

k

k∑i=1

∥X −X(i)∥2.

a) Odrediti tacku minimuma date funkcije funkcije f na skupu S = Rn

(ukoliko postoji).

b) Ispitati da li su za tacku nadenu pod a) zadovoljeni DUDR?Da li je ta tacka strogi lokalni minimum funkcije f na skupu S?


Zadatak 1.11 Data je funkcija f : Rn → R, S ⊆ Rn, pri cemu je S konveksanskup i f ∈ C2. Pretpostavimo da za zadato X∗ ∈ S postoji c > 0 takvo da jedT∇f(X∗) ≥ c∥d∥, za svaki vektor dopustivog pravca d u tacki X∗. Pokazatida je X∗ tacka strogog lokalnog minimuma funkcije f na skupu S.

Zadatak 1.12 Neka je S ⊆ Rn i neka je f ∈ C2 realna funkcija na S. Podpretpostavkom da vazi

1. ∇f(X∗) = 0 i

2. F (X∗) ≥ 0,

ispitati da li je X∗ tacka lokalnog minimuma.

Zadatak 1.13 Formulisati i dokazati teoreme koje definisu NUPR, NUDR iDUDR za lokalni maksimum, odnosno strogi lokalni maksimum funkcije f :Rn → R na zadatom skupu S ⊆ Rn.

Zadatak 1.14 Neka je S ⊆ Rn i neka je f ∈ C2 realna funkcija na S. Ako vazi

1. ∇f(X∗) = 0 i

2. F (X∗) ≤ 0,

da li je X∗ tacka lokalnog maksimuma?

Documents

POGLAVLJE 1 - University of Belgrade · predstavljaju raskrsnice puteva, a strelice ozna cavaju smer kretanja vozila u sa-obra caju. Ako se na putu nalazi samo par vozila, vreme putovanja