Teoria optimiz¼arii(suport de curs si seminar)

Marius Durea

Pagin¼a l¼asat¼a alb¼a

Prefat¼a

Scopul cursului este acela de a prezenta, pe spatii normate �nit dimensionale(spatiile Rp; p 2 N�), o serie de rezultate, clasice sau mai noi, de analiz¼aneliniar¼a, cu accent pe studiul problemelor de optimizare cu date neliniarenetede (de clas¼a C2). Evident, multe din rezultatele cuprinse în aceast¼aprezentare au loc pe spatii mult mai generale (spatii metrice, spatii normatein�nit dimensionale), dar ideile fundamentale ce stau la baza teoriei suntsimilare, indiferent de context. Cadrul spatiilor �nit dimensionale ofer¼a posi-bilitatea scurt¼arii unor demonstratii si, mai ales, un suport intuitiv necesarpreciz¼arii cu mai mare claritate a acestor idei de baz¼a.

i

Cuprins

Prefat¼a i

1 Introducere 11.1 Câteva idei si concepte de baz¼a . . . . . . . . . . . . . . . . . 11.2 Spatiul Rp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61.3 Limite de functii si continuitate . . . . . . . . . . . . . . . . . 111.4 Diferentiabilitate . . . . . . . . . . . . . . . . . . . . . . . . . 161.5 Integrala Riemann . . . . . . . . . . . . . . . . . . . . . . . . 21

2 Rezultate de analiz¼a neliniar¼a 242.1 Multimi convexe si conuri . . . . . . . . . . . . . . . . . . . . 242.2 Functii convexe . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.2.1 Rezultate generale . . . . . . . . . . . . . . . . . . . . 362.2.2 Inegalit¼ati . . . . . . . . . . . . . . . . . . . . . . . . . 47

2.3 Principiul lui Banach de punct �x . . . . . . . . . . . . . . . . 512.3.1 Contractii si puncte �xe . . . . . . . . . . . . . . . . . 522.3.2 Cazul functiilor de o variabil¼a real¼a . . . . . . . . . . . 58

3 Studiul unor probleme de optimizare 673.1 Conditii generale de optimalitate . . . . . . . . . . . . . . . . 673.2 Restrictii functionale . . . . . . . . . . . . . . . . . . . . . . . 76

3.2.1 Conditiile Fritz John . . . . . . . . . . . . . . . . . . . 773.2.2 Conditiile Karush-Kuhn-Tucker . . . . . . . . . . . . . 803.2.3 Conditii de cali�care . . . . . . . . . . . . . . . . . . . 84

3.3 Aplicatii si exemple . . . . . . . . . . . . . . . . . . . . . . . . 913.3.1 Probleme f¼ar¼a restrictii . . . . . . . . . . . . . . . . . . 913.3.2 Probleme cu restrictii . . . . . . . . . . . . . . . . . . . 95

4 Algoritmi 1044.1 Algoritmi pentru ecuatii neliniare . . . . . . . . . . . . . . . . 1064.2 Algoritmi în probleme de optimizare . . . . . . . . . . . . . . 114

ii

5 Seminar, laborator 1215.1 Seminar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1215.2 Laborator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

Bibliogra�e 145

iii

Capitolul 1

Introducere

Scopul acestui capitol este acela de a introduce notatiile, notiunile sirezultatele care vor � necesare în continuare. În ceea ce priveste rezultatele,ele vor � date f¼ar¼a demonstratie, �ind vorba de lucruri uzuale de analiz¼amatematic¼a, calcul diferential si algebr¼a liniar¼a.

1.1 Câteva idei si concepte de baz¼a

Teoria optimiz¼arii se ocup¼a cu studiul punctelor de extrem (de minim sau demaxim) ale functiilor.

De�nitia 1.1.1 Fie A � R si f : A ! R. Spunem c¼a a 2 A este punct deminim (respectiv maxim) local pentru f dac¼a exist¼a o vecin¼atate V a punctuluia astfel încât f(a) � f(x) (respectiv, f(a) � f(x)); pentru orice x 2 A \ V:Punctele de maxim sau de minim local se numesc puncte de extrem local.

Dac¼a f(a) � f(x) (respectiv f(a) � f(x)) pentru orice x 2 A, spunemc¼a a este punct de minim (respectiv, maxim) global (situatii corespunz¼atoarecazului V = R).Dou¼a rezultate fundamentale reprezint¼a baza Teoriei Optimiz¼arii. Aces-

tea sunt Teorema lui Weierstrass si Teorema lui Fermat.

Teorema 1.1.2 (Weierstrass) Dac¼a f : K ! R este o functie continu¼a pemultimea compact¼a K � R; atunci f este m¼arginit¼a si îsi atinge marginile peK (adic¼a exist¼a a; b 2 K; astfel încât sup

x2Kf(x) = f(a) si inf

x2Kf(x) = f(b)).

1

Teorema lui Weierstrass asigur¼a conditii su�ciente de existent¼a a punctelorde extrem (adic¼a de minim sau de maxim) globale. Conditia de compactitateeste sever¼a.

Teorema 1.1.3 (Fermat) Fie I � R un interval si a 2 int I. Dac¼a f :I ! R este derivabil¼a în a; iar a este punct de extrem local pentru f; atuncif 0(a) = 0:

Teorema lui Fermat precizeaz¼a conditii necesare de optimalitate. Recip-roca este fals¼a.

De-a lungul cursului vom dezvolta instrumente de studiu care s¼a permit¼ageneralizarea acestor dou¼a rezultate de baz¼a.

Subliniem unele concepte-cheie

1. Fie f : R! R; f(x) = x2: Consider¼am problema minimiz¼arii lui fcând x 2 R; adic¼a

min f(x), x 2 R:Evident x = 0 este minim global. Aceasta este o problem¼a de optimizaref¼ar¼a restrictii.

2. Fie f : R! R; f(x) = x2: Consider¼am problema minimiz¼arii lui fcând x 2 [�1;1); adic¼a

min f(x), x 2 [�1;1):

Din nou, x = 0 este minim global. Aceasta este o problem¼a de optimizarecu restrictii, dar pentru c¼a punctul de minim este în interiorul domeniului,restrictia este inactiv¼a local (nu in�uenteaz¼a problema).

3. Fie f : R! R; f(x) = x2: Consider¼am problema minimiz¼arii lui fcând x 2 [1;1); adic¼a

min f(x), x 2 [1;1):Acum x = 1 este minim global. Aceasta este o problem¼a de optimizare curestrictii, iar punctul de minim este pe frontiera domeniului, deci restrictiajoac¼a un rol important (spunem c¼a restrictia este activ¼a).

4. Fie f : R! R; f(x) = x3: Consider¼am problema minimiz¼arii lui fcând x 2 R; adic¼a

min f(x), x 2 R:Functia nu admite punct de extrem.

2

5. Fie f : R! R; f(x) = x3: Consider¼am problema minimiz¼arii lui fcând x 2 [�1;1); adic¼a

min f(x), x 2 [�1;1):

Functia admite punct de minim în x = �1 (restrictia este activ¼a si determin¼ao solutie).

6. Fie f : R! R; f(x) = (ex+x�5)2: Consider¼am problema minimiz¼ariilui f când x 2 R; adic¼a

min f(x), x 2 R:Evident, f(x) � 0 pentru orice x 2 R: Dac¼a ar exista solutii ale ecuatiei

ex + x � 5 = 0 acestea ar � puncte de minim global. Ecuatia nu poate �rezolvat¼a. Considerând g : R! R; g(x) = ex + x � 5 constat¼am c¼a g(0) �g(5) < 0 si continuitatea lui g asigur¼a existenta unei solutii în intervalul(0; 5): Putem cel mult s¼a aproxim¼am aceast¼a solutie. Deci vom �interesati dealgoritmi de aproximare a r¼ad¼acinilor ecuatiilor neliniare. În multecazuri, rezolvarea unei probleme de optimizare depinde de determinarea (�esi aproximativ¼a) a solutiilor unei ecuatii neliniare.

7. Fie f : R! R; f(x) = x2 � 2 sin x: Consider¼am problema minimiz¼ariilui f când x 2 R; adic¼a

min f(x), x 2 R:Aplicarea Teoremei lui Fermat conduce la rezolvarea ecuatiei x = cos x; adic¼ala problema determin¼arii punctelor �xe pentru functia cos : O reprezentaregra�c¼a sau un studiu analitic arat¼a c¼a un astfel de punct x exist¼a. În plus,variatia functiei în jurul acestui punct dovedeste c¼a x este punct de minimpentru f . Din nou, nu îl vom putea determina ci vom preciza algoritmi deaproximare a punctelor �xe, puncte ce vor interveni în mai multe situatii.De altfel, legat de punctul precedent, rezolvarea unei ecuatii de forma f(x) =0 revine la rezolvarea ecuatiei f(x) + x = x, adic¼a la determinarea punctelor�xe ale functiei f + id, acest¼a abordare �ind util¼a uneori.

8. Fie f : (0;1)! R;

f(x) =x

x2 + 10:

Din cauz¼a c¼a f(x) > 0 pentru orice x 2 (0;1) si limx!1 f(x) = 0; limx!0 f(x) =0; functia nu admite punct de minim global. Dar, tot din cauzele mentionale,pentru studiul existentei punctelor de maxim global putem s¼a restrângem

3

discutia la un interval compact pe care se aplic¼a Teorema lui Weier-strass. Teorema lui Fermat si studiul variatiei functie dovedesc c¼a x =

p10

este punct de maxim global.

9. În unele cazuri este mai util¼a informatia ce poate � dedus¼a pe bazaecuatiei f 0(x) = 0 decât rezolvarea sa efectiv¼a. Ilustr¼am aceasta prin de-ducerea legii �zice a refractiei luminii ce se obtine din Teorema lui Fermataplicat¼a în virtutea principiului lui Fermat: într-un mediu neomogen, lu-mina parcurge distanta dintre dou¼a puncte astfel încât timpul de parcurseste minim.Astfel se obtine faptul c¼a atunci când trece dintr-un mediu în altul, di-

rectia luminii satisface relatia sin�1v1

= sin�2v2; unde �1; �2 sunt unghiurile dintre

directiile luminii si normala la suprafata care separ¼a cele dou¼a medii.S¼a demonstr¼am aceast¼a lege. Presupunem c¼a raza de lumina str¼abate

drumul dintre punctul (0; a) a�at în primul mediu si punctul (b; c); b > 0 dincel de-al doilea.Pentru usurinta calculelor, presupunem c¼a suprafata care separ¼a cele dou¼a

medii este axa Ox. Fie v1; v2 vitezele luminii în cele dou¼a medii. Not¼am cu(x; 0) punctul în care raza trece dintr-un mediu în altul, unde x trebuiedeterminat conform Principiului lui Fermat. Timpii de parcurs în cele dou¼amedii sunt, respectiv,

t1 =

pa2 + x2

v1

t2 =

p(b� x)2 + c2

v2;

deci timpul total care trebuie minimizat estepa2+x2

v1+

p(b�x)2+c2v2

: Consider¼amf : R! R;

f(x) =

pa2 + x2

v1+

p(b� x)2 + c2

v2;

pe care trebuie s¼a o minimiz¼am pe R: Derivata lui f este

f 0(x) =x

v1pa2 + x2

+x� b

v2p(x� b)2 + c2

:

Cum f 0(0) = �bv2pb2+c2

< 0, f 0(b) = bv1pa2+b2

> 0 si

f 00(x) =1

v1� a2

(a2 + x2)32

+1

v2� c2

((x� b)2 + c2)32

> 0; 8x 2 R:

4

exist¼a un singur punct critic pentru f situat în intervalul [0; b]: Not¼am acestpunct cu x. Variatia lui f arat¼a c¼a x este punct de minim. Atunci

x

v1pa2 + x2

=b� x

v2p(x� b)2 + c2

:

Dar,xp

a2 + x2= sin�1

sib� xp

(x� b)2 + c2= sin�2;

decisin�1v1

=sin�2v2

:

10. Se stie c¼a în¼altimea la care se g¼aseste centrul de greutate a unui sistemformat din dou¼a corpuri este dat¼a de relatia

m1h1 +m2h2m1 +m2

;

unde m1 si m2 sunt masele celor dou¼a corpuri, iar h1 si h2 sunt în¼altimilela care se g¼asesc centrele de greutate ale corpurilor respective. Consider¼amun pahar cilindric cu în¼altimea de 20 cm, masa de 100 g si aria bazei de 10cm2. Se pune întrebarea pân¼a la ce în¼altime trebuie turnat¼a ap¼a în paharpentru ca sistemul s¼a �e cât mai stabil (i.e., s¼a aib¼a centrul de greutatecât mai jos). Model¼am problema. Not¼am cu h în¼altimea pân¼a la careturn¼am ap¼a. Avem m1 = 100; h1 = 10 (datele corespunz¼atoare paharului)si m2 = 10h; h2 = h=2 (datele corespunz¼atoare apei). Conform formulei demai sus, centrul de greutate al paharului cu ap¼a este la în¼altimea

g(h) =1000 + 5h2

100 + 10h=200 + h2

20 + 2h:

Studiul variatiei lui g conduce la punctul de minim �h = 10(p3 � 1): Se

constat¼a si c¼a g(�h) = �h; adic¼a �h este punct �x pentru g; lucru care nu esteînlâmpl¼ator dac¼a ne gândim la semni�catia �zic¼a a rezultatului.

11. Consider¼am urm¼atoarea problem¼a de optimizare cu restrictii de maimulte (dou¼a) variabile:

max(5x+ 4y)

5

cu restrictiilex � 0; y � 0; x � 64�1x+ y � 63x+ 2y � 22:

Problema se poate rezolva gra�c pentru c¼a toate functiile implicate suntliniare. Atunci când se face desenul pentru multimea restrictiilor si se inter-preteaz¼a sensul liniilor de nivel pentru expresia de maximizat, se observ¼ac¼a acest maxim se atinge în punctul (4,5) care este unul dintre vârfurilepoligonului ce reprezint¼a multimea restrictiilor.

1.2 Spatiul Rp

Fie p 2 N�. Not¼am cu R multimea numerelor reale si introducem multimea

Rp := f(x1; x2; :::; xp) j xi 2 R; 8i 2 1; pg:

Aceast¼a multime se organizeaz¼a ca spatiu vectorial real de dimensiune pcu operatiile standard de�nite astfel: pentru orice x = (x1; x2; :::; xp); y =(y1; y2; :::; yp) 2 Rp si orice a 2 R

x+ y = (x1 + y1; x2 + y2; :::; xp + yp) 2 Rp;ax = (ax1; ax2; :::; axp) 2 Rp:

De multe ori, când nu va � pericol de confuzie, vom folosi si notatia în careindicii componentelor sunt jos. Vom extinde aceste operatii si la multimi:dac¼a A;B � Rp sunt nevide, � 2 R n f0g si C � R este nevid¼a, de�nimA + B = fa + b j a 2 A; b 2 Bg; �A = f�a j a 2 Ag; CA = f�a j � 2 C;a 2 Ag; A�B = A+ (�1)B:Privim un element x din Rp ca �ind o matrice de tip 1 � p: Matricea

transpus¼a va �notat¼a cu xt: De asemenea, se de�neste produsul scalar uzuala doi vectori x; y 2 Rp prin

hx; yi =pXi=1

xiyi = xyt:

În plus, Rp devine spatiu normat (si deci în particular spatiu metric) înzestratcu norma euclidian¼a k�k : Rp ! R+ de�nit¼a prin

kxk =phx; xi =

vuut pXi=1

(xi)2:

6

Este usor de ar¼atat c¼a pentru orice x; y 2 Rp are loc urm¼atoarea relatie,numit¼a egalitatea paralelogramului

kx+ yk2 + kx� yk2 = 2 kxk2 + 2 kyk2 :

Se de�neste unghiul dintre doi vectori x; y 2 Rp n f0g ca �ind valoarea � 2[0; �] de�nit¼a prin

cos � =hx; yikxk kyk :

Bila deschis¼a (respectiv închis¼a) centrat¼a într-un punct x 2 Rp de raz¼a " > 0se de�neste prin:

B(x; ") = fx 2 Rp j kx� xk < "g(respectiv D(x; ") = fx 2 Rp j kx� xk � "g). O submultime A � Rp senumeste m¼arginit¼a dac¼a este continut¼a într-o bil¼a deschis¼a centrat¼a în origine,adic¼a, exist¼a M > 0 a.î. A � B(0;M):Se numeste vecin¼atate a elementului x 2 Rp o submultime a lui Rp

care contine o bil¼a deschis¼a centrat¼a în x: Not¼am cu V(x) multimea tuturorvecin¼at¼atilor lui x:

� O submultime a lui Rp se numeste deschis¼a dac¼a este multimea vid¼asau dac¼a este vecin¼atate pentru orice punct al s¼au.

� O submultime a lui Rp se numeste închis¼a dac¼a multimea sa comple-mentar¼a în raport cu Rp este deschis¼a.

� Un punct a se numeste punct interior multimii A � Rp dac¼a A estevecin¼atate a lui a: Not¼am cu intA interiorul luiA (i.e. multimea tuturorpunctelor interioare lui A).

� Un punct a se numeste punct de acumulare pentru multimea A � Rpdac¼a orice vecin¼atate a lui a are în comun cu multimea A cel putin unpunct diferit de a:Not¼am cuA0 multimea derivat¼a a luiA (i.e. multimeatuturor punctelor de acumulare ale lui A). Un punct a 2 A n A0 senumeste punct izolat al lui A:

� Un punct a se numeste punct aderent pentru multimea A � Rp dac¼aorice vecin¼atate a lui a are în comun cu multimea A cel putin un punct.Vom folosi notatiile clA si A pentru a desemna multimea aderent¼a alui A (i.e. multimea tuturor punctelor aderente lui A).

� Not¼am cu FrA multimea clA n intA = clA \ cl(Rp n A) si o numimfrontiera lui A:

7

� O submultime a lui R se numeste compact¼a dac¼a este m¼arginit¼a siînchis¼a.

Au loc urm¼atoarele rezultate.

Propozitia 1.2.1 (i) O submultime a lui Rp este deschis¼a dac¼a si numaidac¼a este egal¼a cu interiorul s¼au.(ii) O submultime a lui Rp este închis¼a dac¼a si numai dac¼a este egal¼a cu

aderenta sa.

De�nitia 1.2.2 Se numeste sir de elemente din Rp o functie f : N! Rp:

Valoarea functiei f în n 2 N; f(n); se noteaz¼a cu xn (sau yn; zn; :::), iarsirul de�nit de f se noteaz¼a (xn) (sau, respectiv, (yn); (zn); :::).

De�nitia 1.2.3 Un sir se numeste m¼arginit dac¼a multimea termenilor s¼aieste m¼arginit¼a.

De�nitia 1.2.4 Se numeste subsir al sirului (xn) un sir (yk) cu proprietateac¼a pentru orice k 2 N; yk = xnk ; unde (nk) este un sir strict cresc¼ator denumere naturale.

De�nitia 1.2.5 Un sir (xn) � Rp este convergent dac¼a exist¼a x 2 Rp a.î.

8V 2 V(x); 9nV 2 N a.î. 8n � nV ; xn 2 V:

Num¼arul x se numeste limita lui (xn):

Dac¼a exist¼a, limita unui sir este unic¼a.Vom folosi notatiile xn ! x; lim

n!1xn = x sau, mai simplu, limxn = x

pentru a descrie situatia din de�nitia precedent¼a. Are loc urm¼atorul rezultatde caracterizare.

Propozitia 1.2.6 Un sir (xn) este convergent la limita x 2 Rp dac¼a si nu-mai dac¼a

8" > 0; 9n" 2 N a.î. 8n � n"; kxn � xk < ":

Propozitia 1.2.7 Sirul (xn) � Rp converge la x 2 Rp dac¼a si numai dac¼asirurile coordonate (xin) converg (în R) la xi pentru orice i 2 1; p:

Teorema 1.2.8 Un sir este convergent la limita x 2 Rp dac¼a si numai dac¼aorice subsir al s¼au este convergent la limita x:

Propozitia 1.2.9 Orice sir convergent este m¼arginit.

8

Propozitia 1.2.10 (Caracterizarea punctelor aderente cu ajutorul sirurilor)Fie A � Rp. Un punct x 2 Rp este aderent multimii A dac¼a si numai dac¼aexist¼a un sir (xn) de puncte din A astfel încât xn ! x:

Propozitia 1.2.11 Multimea A � Rp este închis¼a dac¼a si numai dac¼a limitaoric¼arui sir convergent de puncte din A apartine lui A:

Propozitia 1.2.12 Multimea A � Rp este compact¼a dac¼a si numai dac¼a dinorice sir de elemente din A se poate extrage un subsir convergent la un punctdin A:

Teorema 1.2.13 (Lema lui Cesàro1) Orice sir m¼arginit are un subsir con-vergent.

De�nitia 1.2.14 Sirul (xn) � Rp se numeste sir Cauchy2 sau fundamentaldac¼a

8" > 0; 9n" 2 N a.î. 8n;m � n"; kxn � xmk < ":

De�nitia de mai sus poate �reformulat¼a astfel: (xn) este sir Cauchy dac¼a:

8" > 0; 9n" 2 N a.î. 8n � n"; 8p 2 N; kxn+p � xnk < ":

Teorema 1.2.15 (Teorema lui Cauchy) Spatiul Rp este complet, adic¼a unsir de puncte din acest spatiu este convergent dac¼a si numai dac¼a este fun-damental.

D¼am acum unele rezultate speci�ce cazului sirurilor de numere reale.

De�nitia 1.2.16 Un sir de numere reale (xn) se numeste cresc¼ator (strictcresc¼ator, descresc¼ator, strict descresc¼ator) dac¼a pentru orice n 2 N; xn+1 �xn (xn+1 > xn; xn+1 � xn; xn+1 < xn). Un sir cresc¼ator sau descresc¼ator senumeste monoton.

Fie R := R[f�1;+1g multimea extins¼a a numerelor reale. Se numestevecin¼atate a lui +1 o submultime a lui R care contine un interval de forma(x;+1]; unde x 2 R. Vecin¼at¼atile pentru �1 se de�nesc analog.

De�nitia 1.2.17 (i) Spunem c¼a sirul (xn) � R are limita +1 dac¼a

8V 2 V(+1); 9nV 2 N a.î. 8n � nV ; xn 2 V:1Ernesto Cesàro (1859 �1906), matematician italian.2Augustin Louis Cauchy (1789 �1857), matematician francez.

9

(ii) Spunem c¼a sirul (xn) � R are limita �1 dac¼a

8V 2 V(�1); 9nV 2 N a.î: 8n � nV ; xn 2 V:

Rezultatele corespunz¼atoare de caracterizare sunt urm¼atoarele.

Propozitia 1.2.18 (i) Un sir (xn) � R are limita +1 dac¼a si numai dac¼a

8A > 0; 9nA 2 N a.î. 8n � nA; xn > A:

(ii) Un sir (xn) � R are limita �1 dac¼a si numai dac¼a

8A > 0; 9nA 2 N a.î. 8n � nA; xn < �A:

Propozitia 1.2.19 Fie (xn); (yn); (zn) siruri de numere reale, x; y 2 R sin0 2 N.(i) (Trecerea la limit¼a în inegalit¼ati) Dac¼a xn ! x; yn ! y si xn � yn;

pentru orice n � n0; atunci x � y;(ii) (Criteriul major¼arii) dac¼a jxn � xj � yn; pentru orice n � n0 si

yn ! 0; atunci xn ! x;(iii) dac¼a xn � yn; pentru orice n � n0 si yn ! +1; atunci xn ! +1;(iv) dac¼a xn � yn; pentru orice n � n0 si xn ! �1; atunci yn ! �1;(v) dac¼a (xn) este m¼arginit si yn ! 0; atunci xnyn ! 0;(vi) (Teorema clestelui) dac¼a xn � yn � zn; pentru orice n � n0 si

xn ! x; zn ! x atunci yn ! x;(vii) xn ! 0, jxnj ! 0, x2n ! 0:

Continu¼am cu rezultate fundamentale în teoria sirurilor de numere reale.

Teorema 1.2.20 Orice sir monoton de numere reale are limit¼a în R: Dac¼a,în plus, sirul este m¼arginit, atunci el este convergent dup¼a cum urmeaz¼a:dac¼a este cresc¼ator, atunci limita sa este marginea superioar¼a a multimiitermenilor sirului, iar dac¼a este descresc¼ator, atunci limita sa este margineainferioar¼a a multimii termenilor sirului. Dac¼a este nem¼arginit, atunci arelimita +1 sau �1 dup¼a cum este cresc¼ator sau descresc¼ator.

Teorema 1.2.21 (Teorema lui Weierstrass3 pentru siruri) Orice sir de nu-mere reale m¼arginit si monoton este convergent.

De�nitia 1.2.22 Fie (xn)n�0 un sir de numere reale. Un element x 2 Rse numeste punct limit¼a pentru (xn) dac¼a exist¼a un subsir (xnk) al lui cux = lim xnk :

3Karl Theodor Wilhelm Weierstrass (1815 �1897), matematician german.

10

Finaliz¼am aceast¼a sectiune cu dou¼a criterii utile de convergent¼a.

Propozitia 1.2.23 Fie (xn) un sir de numere reale strict pozitive a.î. exist¼alim xn+1

xn= x: Dac¼a x < 1; atunci xn ! 0; iar dac¼a x > 1; atunci xn ! +1:

Propozitia 1.2.24 (Criteriul Stolz4-Cesàro)) Fie (xn) si (yn) siruri de nu-mere reale a.î. (yn) este strict cresc¼ator si cu limita +1: Dac¼a exist¼alim xn+1�xn

yn+1�yn = x 2 R; atunci exist¼a limxnynsi este egal¼a cu x.

1.3 Limite de functii si continuitate

Reamintim acum unele chestiuni legate de conceptul de limit¼a a unei functiisi de continuitatea functiilor. Fie p; q 2 N�:

De�nitia 1.3.1 Fie f : A! Rq; A � Rp si a punct de acumulare pentru A.Spunem c¼a elementul l 2 Rq este limita functiei f în punctul a; dac¼a pentruorice V 2 V (l) ; exist¼a U 2 V (a) astfel încât dac¼a x 2 U \A; x 6= a; are locf (x) 2 V: În acest caz vom scrie lim

x!af (x) = l:

Teorema 1.3.2 Fie f : A! Rq; A � Rp si a punct de acumulare pentru A.Urm¼atoarele a�rmatii sunt echivalente:(i) lim

x!af (x) = l;

(ii) pentru orice B (l; ") � Rq; exist¼a B (a; �) � Rp astfel încât dac¼ax 2 B (a; �) \ A; x 6= a; atunci are loc f (x) 2 B (l; ") ;(iii) pentru orice " > 0; exist¼a � > 0, astfel încât dac¼a kx� ak < �;

x 2 A; x 6= a; atunci are loc kf (x)� lk < ";(iv) pentru orice " > 0; exist¼a � > 0, astfel încât dac¼a jxi � aij < �; pentru

orice i 2 1; p; unde x = (x1; x2; ::; xp) 2 A; a = (a1; a2; ::; ap) ; x 6= a; atunciare loc kf (x)� lk < ";(v) pentru orice sir (xn) � A n fag ; xn ! a rezult¼a f (xn)! l:

Teorema 1.3.3 Fie f : A ! Rq; A � Rp; l 2 Rq si a punct de acumularepentru A. Dac¼a functia f are limita l în punctul a; atunci aceast¼a limit¼a esteunic¼a.

Observatia 1.3.4 Dac¼a exist¼a dou¼a siruri (x0n) ; (x00n) � A n fag ; x0n ! a;

x00n ! a astfel încât f(x0n)! l0; f(x00n)! l00 si l0 6= l00; atunci functia f nu arelimit¼a în a 2 A0:

4Otto Stolz (1842 �1905), matematician austriac.

11

Teorema 1.3.5 Fie f : A ! Rq; A � Rp; f = (f1; f2; :::; fq) si a punct deacumulare pentru A: Atunci f are limita l = (l1; l2; :::; lq) 2 Rq în punctul adac¼a si numai dac¼a exist¼a lim

x!afi (x) = li; pentru orice i 2 1; q:

De�nitia 1.3.6 Fie a 2 R; A � R; not¼am As = A \ (�1; a]; Ad =A \ [a;1). Punctul a se numeste punct de acumulare la stânga (respectivdreapta) pentru A; dac¼a este punct de acumulare pentru multimea As (res-pectiv Ad). Vom nota multimea punctelor de acumulare la stânga (respectivdreapta) cu A0s (respectiv A

0d).

De�nitia 1.3.7 Fie f : A ! Rq; A � R si a punct de acumulare la stânga(respectiv dreapta) pentru A. Spunem c¼a elementul l 2 Rq este limita lastânga (respectiv dreapta) a functiei f în punctul a dac¼a pentru orice vecin¼a-tate V 2 V (l) exist¼a U 2 V(a), astfel încât dac¼a x 2 U\As (respectiv x 2 U\Ad); x 6= a; atunci are loc f (x) 2 V: În acest caz vom scrie lim

x!a;x<af (x) = l

sau limx!a�

f (x) = l (respectiv limx!a;x>a

f (x) = l sau limx!a+

f (x) = l):

Teorema 1.3.8 Fie f : I ! Rq; I � R; I interval deschis si a 2 I: Atunciexist¼a lim

x!af (x) = l dac¼a si numai dac¼a exist¼a limitele laterale (la stânga si

la dreapta) în a si sunt egale. În acest caz toate cele trei limite sunt egale:limx!a�

f (x) = limx!a+

f (x) = l:

Un binecunoscut rezultat spune c¼a functiile reale de o variabil¼a real¼a caresunt monotone admit limite laterale în punctele de acumulare ale domeniului.

Teorema 1.3.9 (Criteriul major¼arii) Fie f : A ! Rq; g : A ! R; A � Rpsi a 2 A0: Dac¼a exist¼a l 2 Rq si U 2 V (a) astfel încât kf (x)� lk � jg (x)j ;pentru orice x 2 U n fag si lim

x!ag (x) = 0; atunci exist¼a lim

x!af (x) = l:

Teorema 1.3.10 Fie f; g : A ! Rq; A � Rp si a 2 A0: Dac¼a limx!af (x) = 0

si exist¼a U 2 V (a) astfel încât g este m¼arginit¼a pe U , atunci exist¼a limitalimx!af (x) g (x) = 0:

Teorema 1.3.11 Fie f : A! R; A � Rp si a 2 A0: Dac¼a exist¼a limx!af (x) =

l; l > 0 (respectiv l < 0) atunci exist¼a U 2 V (a) astfel încât pentru oricex 2 U \ A; x 6= a; are loc f (x) > 0 (respectiv f (x) < 0):

Teorema 1.3.12 Fie f : A! Rq; A � Rp si a 2 A0: Dac¼a exist¼a limx!af (x) =

l; atunci exist¼a U 2 V (a) astfel încât f este m¼arginit¼a pe U (adic¼a exist¼aM > 0 astfel încât pentru orice x 2 U; are loc kf (x)k �M).

12

De�nitia 1.3.13 Fie f : A � Rp ! R si a 2 A0: Spunem c¼a functia fare limita 1 (respectiv �1) în punctul a; dac¼a pentru orice V 2 V (1)(respectiv V 2 V (�1)); exist¼a U 2 V (a) astfel încât pentru orice x 2 U \A;x 6= a; are loc f (x) 2 V: În acest caz vom scrie lim

x!af (x) = 1 (respectiv

limx!af (x) = �1):

Teorema 1.3.14 Fie f : A � Rp ! R si a 2 A0: Atunci exist¼a limx!af (x) =

1 (respectiv limx!af (x) = �1) dac¼a si numai dac¼a oricare ar � " > 0; exist¼a

� > 0, astfel încât dac¼a kx� ak < �; x 2 A; x 6= a are loc f (x) > " (respectivf (x) < �"):

De�nitia 1.3.15 Fie f : A ! Rq; A � R; astfel încât 1 (respectiv �1)este punct de acumulare pentru A: Spunem c¼a elementul l 2 Rq este limitafunctiei f în punctul 1 (respectiv �1); dac¼a pentru orice V 2 V (l) ; exist¼aU 2 V (1) (respectiv U 2 V (�1)) astfel încât pentru orice x 2 U \ A; areloc f (x) 2 V: În acest caz vom scrie lim

x!1f (x) = l (respectiv lim

x!�1f (x) = l):

Teorema 1.3.16 Fie f : A ! Rq; A � R; astfel încât 1 (respectiv �1)este punct de acumulare pentru A: Atunci exist¼a lim

x!1f (x) = l (respectiv

limx!�1

f (x) = l) dac¼a si numai dac¼a oricare ar � " > 0; exist¼a � > 0, astfel

încât dac¼a x > � (respectiv x < ��); x 2 A are loc kf (x)� lk < ":

De�nitia 1.3.17 Fie f : A ! Rq; A � Rp si a 2 A. Spunem c¼a functia feste continu¼a în punctul a dac¼a oricare ar � V 2 V(f(a)); exist¼a U 2 V(a)astfel încât pentru orice x 2 U \ A; are loc f(x) 2 V:

Dac¼a f nu este continu¼a în a, vom spune c¼a f este discontinu¼a în a sauc¼a a este punct de discontinuitate al functiei f .

Teorema 1.3.18 Fie f : A ! Rq; A � Rp si a 2 A0 \ A: Functia f estecontinu¼a în a dac¼a si numai dac¼a are loc lim

x!af(x) = f(a): Dac¼a a este un

punct izolat al lui A; atunci f este continu¼a în a:

Teorema 1.3.19 Fie f : A ! R; A � R si a 2 A. Urm¼atoarele a�rmatiisunt echivalente:(i) f este continu¼a în a;(ii) pentru orice " > 0; exist¼a � > 0, astfel încât dac¼a kx� ak < �; x 2 A;

atunci kf(x)� f(a)k < " (caracterizarea "� �);(iii) pentru orice (xn) � A; xn ! a are loc f(xn)! f(a) (caracterizarea

cu siruri).

13

Teorema 1.3.20 Imaginea printr-o functie continu¼a a unei multimi com-pacte este o multime compact¼a.

Teorema 1.3.21 (Teorema lui Weierstrass) Fie K din Rp o multime com-pact¼a. Dac¼a f : K ! R este o functie continu¼a atunci f este m¼arginit¼a siîsi atinge marginile pe K (adic¼a exist¼a a; b 2 K; astfel încât sup

x2Kf(x) = f(a)

si infx2K

f(x) = f(b)).

De�nitia 1.3.22 Fie f : D � Rp ! Rq. Functia f se numeste uniformcontinu¼a pe multimea D; dac¼a pentru orice num¼ar pozitiv " > 0; exist¼a �" > 0,încât pentru orice x0; x00 2 D cu kx0 � x00k < �" avem kf(x0)� f(x00)k < ".

Observatia 1.3.23 O functie uniform continu¼a pe D este continu¼a pe D:

Teorema 1.3.24 (Teorema lui Cantor5) O functie continu¼a pe o multimecompact¼a K din Rp cu valori în Rq este si uniform continu¼a pe K:

De�nitia 1.3.25 Fie L � 0 o constant¼a real¼a. O functie f : A � Rp !Rq se numeste Lipschitz6 pe A de constant¼a L sau L�Lipschitz pe A dac¼akf(x)� f(y)k � L kx� yk, pentru orice x; y 2 A:

Propozitia 1.3.26 Orice functie Lipschitz pe A � Rp este uniform continu¼ape A.

Teorema 1.3.27 Fie I � R; un interval. Dac¼a f : I ! R este injectiv¼a sicontinu¼a, atunci f este strict monoton¼a pe I.

De�nitia 1.3.28 Fie I � R un interval. Spunem c¼a functia f : I ! Rare proprietatea lui Darboux7 dac¼a pentru orice a; b 2 I; a < b si orice� 2 (f(a); f(b)) sau � 2 (f(b); f(a)) exist¼a c� 2 (a; b) astfel încât f(c�) = �:

Teorema 1.3.29 Fie I � R; I interval. Dac¼a functia f : I ! R are propri-etatea lui Darboux si exist¼a a; b 2 I; a < b, astfel încât f(a)f(b) < 0; atunciecuatia f(x) = 0 are cel putin o solutie în intervalul (a; b):

Teorema 1.3.30 Fie I � R; I interval. Functia f : I ! R are proprietatealui Darboux dac¼a si numai dac¼a pentru orice J � I; J interval, f (J) esteinterval.

5George Ferdinand Ludwig Philipp Cantor (1854 �1918), matematician german.6Rudolf Otto Sigismund Lipschitz (1832 �1903), matematician german.7Jean Gaston Darboux (1842 �1917), matematician francez.

14

Teorema 1.3.31 Fie I � R; I interval. Dac¼a f : I ! R este continu¼a,atunci f are proprietatea lui Darboux.

Reamintim c¼a orice aplicatie liniar¼a T : Rp ! Rq este continu¼a. Pentruo astfel de aplicatie se de�neste num¼arul real

kTk := inffM > 0 j kTxk �M kxk ; 8x 2 Rpg

= supnkTxk j x 2 B(0; 1)

ocare se numeste norma operatorului T: Astfel, multimea aplicatiilor liniare dela Rp la Rq se organizeaz¼a ca spatiu liniar normat peste R cu operatiile alge-brice uzuale si cu norma de mai sus.Acest spatiu se noteaz¼a cu L(Rp;Rq) si seidenti�c¼a izomorf cu spatiul Rpq: Mai mult, �ec¼arei aplicatii T 2 L(Rp;Rq)i se asociaz¼a în mod natural o matrice real¼a de dimensiune q � p notat¼aAT = (aj;i)j21;q;i21;p astfel: dac¼a (ei)i21;p si (e

0i)i21;q sunt bazele canonice ale

spatiilor Rp si respectiv Rq atunci (aj;i)j21;q;i21;p sunt coordonatele exprim¼ariiimaginilor elementelor (ei)i21;p prin T în raport cu baza (e

0i)i21;q; adic¼a

T (ei) =

qXj=1

ajie0j; 8i 2 1; p:

Prin urmare, T 7! AT este un izomor�sm de spatii liniare între L(Rp;Rq) sispatiul matricilor reale de dimensiune q � p si, pentru orice x 2 Rp;

T (x) = (ATxt)t:

În plus, pentru orice x 2 Rp si y 2 Rq are loc(ATx

t)t; y�=x; (AtTy

t)t�:

Dac¼a A este o matrice de dimensiune q�p atunci aplicatia liniar¼a asociat¼a luiA este surjectiv¼a dac¼a si numai dac¼a aplicatia asociat¼a lui At este injectiv¼a.Reamintim de asemenea c¼a dac¼a T : Rp ! Rq este o aplicatie liniar¼a

atunciKer(T ) := fx 2 Rp j T (x) = 0g

este subspatiu liniar în Rp; iar

Im(T ) := fT (x) j x 2 Rpg

este subspatiu liniar în Rq si

p = dim(Ker(T )) + dim(Im(T ));

15

unde dim noteaz¼a dimensiunea algebric¼a.

Din algebra liniar¼a stim c¼a dac¼a A este o matrice p¼atratic¼a simetric¼a dedimensiune p atunci toate valorile sale proprii sunt reale si, în plus, exist¼ao matrice ortogonal¼a B (adic¼a BBt = BtB = I) astfel încât BtAB estematricea diagonal¼a având valorile proprii pe diagonala principal¼a.O matrice A ca mai sus se numeste pozitiv semide�nit¼a dac¼a h(Axt)t; xi �

0 pentru orice x 2 Rp si pozitiv de�nit¼a dac¼a h(Axt)t; xi > 0 pentru oricex 2 Rp n f0g: De fapt, A este pozitiv de�nit¼a dac¼a si numai dac¼a este pozitivsemide�nit¼a si inversabil¼a.

1.4 Diferentiabilitate

De�nitia 1.4.1 Fie f : D � Rp ! Rq si a 2 intD: Spunem c¼a f esteFréchet8 diferentiabil¼a (sau, pe scurt, diferentiabil¼a) în a dac¼a exist¼a o apli-catie liniar¼a notat¼a rf(a) : Rp ! Rq astfel încât

limh!0

f(a+ h)� f(a)�rf(a)(h)khk = lim

x!a

f(x)� f(a)�rf(a)(x� a)kx� ak = 0:

Aplicatia rf(a) se numeste diferentiala Fréchet a functiei f în a:

S¼a observ¼am c¼a relatia de mai sus este echivalent¼a cu urm¼atoarele conditii:

8" > 0;9� > 0;8x 2 B(a; �); kf(x)� f(a)�rf(a)(x� a)k � " kx� ak ;

9� : D � fag ! Rq; limh!0

�(h) = �(0) = 0;

f(a+ h) = f(a) +rf(a)(h) + khk�(h); 8h 2 D � fag:

Spunem c¼a f : D � Rp ! Rq este de clas¼a C1 pe multimea deschis¼a D dac¼af este Fréchet diferentiabil¼a pe D si rf este continu¼a pe D: Evident, f sepoate scrie sub forma f = (f1; f2; :::; fq) unde fi : Rp ! R; i 2 1; q si, îngeneral, aplicatia rf(a) 2 L(Rp;Rq) se identi�c¼a cu matricea de dimensiuneq � p 0BBB@

@f1@x1(a) @f1

@x2(a) � � � @f1

@xp(a)

@f2@x1(a) @f2

@x2(a) � � � @f2

@xp(a)

......

. . ....

@fq@x1(a) @fq

@x2(a) � � � @fq

@xp(a)

1CCCA8Maurice Fréchet (1878 �1973), matematician francez.

16

numit¼a matricea jacobian¼a9 a lui f în punctul a; unde @fi@xj(a) reprezint¼a

derivata partial¼a a functiei fi în raport cu variabila xj în a:De multe ori ne vom referi la matricea jacobian¼a în locul diferentialei.

Pe baza unui rezultat general, dac¼a f : D � Rp ! Rp si a 2 D; rf(a) esteizomor�sm al lui Rp dac¼a si numai dac¼a matricea jacobian¼a a lui f în punctula este nesingular¼a.Au loc urm¼atoarele reguli de calcul.

� Fie f : Rp ! Rq a�n¼a, adic¼a având forma f(x) := g(x)+u pentru oricex 2 Rp; unde g : Rp ! Rq este liniar¼a, iar u 2 Rq. Atunci pentru oricex 2 Rp; rf(x) = g:

� Fie f : Rp ! R de forma f(x) = 12h(Axt)t; xi + hb; xi unde A este o

matrice p¼atratic¼a simetric¼a de ordin p, iar b 2 Rp: Atunci pentru oricex 2 Rp; rf(x) = (Axt)t + b:

� Fie D � Rp; E � Rq; x 2 intD; y 2 intE si f; g : D ! Rq; ' : D ! R;h : E ! Rk.

�Dac¼a f; g sunt diferentiabile în x; iar �; � 2 R; atunci functia�f + �g este diferentiabil¼a în x si are loc

r(�f + �g)(x) = �rf(x) + �rg(x):

�Dac¼a f; ' sunt diferentiabile în x; atunci 'f este diferentiabil¼a înx si

r('f)(x) = '(x)rf(x) + f(x)r'(x);unde (f(x)r'(x)) (x) = r'(x)(x) � f(x):

�Dac¼a f(D) � E; y = f(x); f este diferentiabil¼a în x si h estediferentiabil¼a în y; atunci h � f este diferentiabil¼a în x si

r(h � f)(x) = rh(y) � rf(x):

Un caz ce merit¼a o atentie special¼a este (ca de obicei) p = 1: În acest cazspunem c¼a f este derivabil¼a în a dac¼a exist¼a

limh!0

f(a+ h)� f(a)h

2 Rq: (1.1)

Not¼am aceast¼a limit¼a cu f 0(a) si o numim derivata lui f în a:

9Dup¼a numele matematicianului german Carl Gustav Jacob Jacobi (1804 �1851).

17

Propozitia 1.4.2 Fie f : D � R! Rq si a 2 intD: Urm¼atoarele a�rmatiisunt echivalente:(i) f este derivabil¼a în a;(ii) f este Fréchet diferentiabil¼a în a:În plus, în �ecare din aceste cazuri, rf(a)(x) = xf 0(a) pentru orice x 2

R:

Dac¼a f : D � Rp � Rq ! Rr si (a; b) 2 intD este �xat, de�nim D1 :=fx 2 Rp j (x; b) 2 Dg si f1 : D1 ! Rr; f1(x) := f(x; b): Spunem c¼a f esteFréchet diferentiabil¼a partial în raport cu x dac¼a f1 este Fréchet diferentiabil¼aîn a; iar diferentiala se noteaz¼a cu rxf(a; b): Dac¼a f este diferentiabil¼a în(a; b); atunci f este diferentiabil¼a partial în raport cu x si y în a; respectiv bsi

rxf(a; b) = rf(a; b)(�; 0); ryf(a; b) = rf(a; b)(0; �):Revenind acum la cazul general, spunem c¼a f : D � Rp ! Rq este

Fréchet diferentiabil¼a de ordinul al doilea în a 2 intD dac¼a f este Fréchetdiferentiabil¼a pe o vecin¼atate V � D a lui a si rf : V ! L(Rp;Rq) esteFréchet diferentiabil¼a în a; adic¼a exist¼a o functional¼a, notat¼a r2f(a); dinspatiul L2(Rp;Rq) := L(Rp; L(Rp;Rq)) si � : D � fag ! L(Rp;Rq) astfel c¼alimh!0 �(h) = �(0) = 0 si pentru orice h 2 D � fag are loc

rf(a+ h) = rf(a) +r2f(a)(h; �) + khk�(h):

S¼a reamintim c¼a spatiul L2(Rp;Rq) de�nit mai sus se identi�c¼a cu spatiulaplicatiilor biliniare de la Rp � Rp la Rq:Spunem c¼a f este de clas¼a C2 dac¼a este Fréchet diferentiabil¼a de ordinul

al doilea pe D si r2f : D ! L2(Rp;Rq) este continu¼a.

Teorema 1.4.3 Fie f : D � Rp ! Rq si a 2 intD: Dac¼a f este Fréchetdiferentiabil¼a de ordinul al doilea în a atunci r2f(a) este aplicatie biliniar¼asimetric¼a.

În cazul în care q = 1; aplicatiar2f(a) este de�nit¼a de matricea p¼atratic¼a

simetric¼a H(a) =�

@2f@xi@xj

(a)�i;j21;p

, numit¼a matricea hessian¼a10 a lui f în a:

În plus,D(H(a)ut)

t; uE= r2f(a)(u; u) pentru orice u 2 Rp:

Dac¼a a; b 2 Rp; de�nim segmentul închis de capete a; b multimea

[a; b] := f�a+ (1� �)b j � 2 [0; 1]g

si segmentul deschis de aceleasi capete

(a; b) := f�a+ (1� �)b j � 2 (0; 1)g:10Dup¼a numele matematicianului german Ludwig Otto Hesse (1811 �1874).

18

Teorema 1.4.4 (Teoremele lui Lagrange11 si Taylor12) Fie U � Rp deschis¼a,f : U ! R si a; b 2 U cu [a; b] � U: Dac¼a f este de clas¼a C1 pe U; atunciexist¼a c 2 (a; b) a.î.

f(b) = f(a) +rf(c)(b� a):

Dac¼a f este de clas¼a C2 pe U; atunci exist¼a c 2 (a; b) a.î.

f(b) = f(a) +rf(a)(b� a) + 12r2f(c)(b� a; b� a):

Teorema 1.4.5 (Teorema functiilor implicite) Fie D � Rp � Rq o multimedeschis¼a, h : D ! Rq o functie si x 2 Rp; y 2 Rq astfel încât(i) h(x; y) = 0;(ii) functia h este de clas¼a C1 pe D;(iii) ryh(x; y) este nesingular¼a.Atunci exist¼a dou¼a vecin¼at¼ati U si V ale lui x si respectiv y si o functie

continu¼a unic¼a ' : U ! V astfel încât(a) h(x; '(x)) = 0 pentru orice x 2 U ;(b) dac¼a (x; y) 2 U � V si h(x; y) = 0; atunci y = '(x);(c) ' este diferentiabil¼a pe U si

r'(x) = �[ryh(x; '(x))]�1rxh(x; '(x)); 8x 2 U:

Câteva rezultate fundamentale din teoria derivabilit¼atii functiilor reale deo variabil¼a real¼a sunt date pe scurt în �nalul acestui capitol.În acest context (p = q = 1) se aplic¼a Propozitia 1.4.2, dar are sens s¼a

vorbim de existenta derivatei în puncte ale domeniului care sunt puncte deacumulare ale acestuia: este su�cient s¼a consider¼am limita din relatia (1.1)din aceast¼a perspectiv¼a. Mai mult, ca si în cazul limitelor laterale, putemvorbi de derivate laterale, din nou considerând, atunci când este posibil,limitele laterale pentru expresia din relatia (1.1). Atunci când exist¼a, vomnumi aceste limite derivatele la stânga si respectiv la dreapta ale functiei fîn a si le vom nota cu f 0�(a) si respectiv f

0+(a):

De�nitia 1.4.6 Fie A � R si f : A ! R. Spunem c¼a a 2 A este punct deminim (respectiv maxim) local pentru f dac¼a exist¼a o vecin¼atate V a punctuluia astfel încât f(a) � f(x) (respectiv f(a) � f(x)); pentru orice x 2 A \ V:Punctele de maxim sau de minim local se numesc puncte de extrem local.11Joseph-Louis Lagrange (1736 �1813), n¼ascut Giuseppe Lodovico (Luigi) Lagrangia,

matematician si astronomom, n¼ascut la Torino, în Piemont si care a tr¼ait în Prussia siFranta.12Brook Taylor (1685 �1731), matematician englez.

19

Teorema 1.4.7 (Teorema lui Fermat13) Fie I � R; I interval si a 2 int I.Dac¼a f : I ! R este derivabil¼a în a; iar a este punct de extrem local pentruf; atunci f 0(a) = 0:

Teorema 1.4.8 (Teorema lui Rolle14) Fie a; b 2 R; a < b si f : [a; b]! R ofunctie continu¼a pe [a; b]; derivabil¼a pe (a; b) a.î. f(a) = f(b). Atunci exist¼ac 2 (a; b) astfel încât f 0(c) = 0:

Teorema 1.4.9 (Teorema lui Lagrange) Fie a; b 2 R; a < b si f : [a; b]! Ro functie continu¼a pe [a; b]; derivabil¼a pe (a; b): Atunci exist¼a c 2 (a; b) astfelîncât f(b)� f(a) = f 0(c)(b� a):

Propozitia 1.4.10 Fie I � R un interval si f : I ! R derivabil¼a pe I:(i) Dac¼a f 0(x) = 0 pentru orice x 2 I; atunci f este constant¼a pe I:(ii) Dac¼a f 0(x) > 0 (respectiv f 0(x) � 0) pentru orice x 2 I; atunci f

este strict cresc¼atoare (respectiv cresc¼atoare) pe I.(iii) Dac¼a f 0(x) < 0 (respectiv f 0(x) � 0), pentru orice x 2 I; atunci f

este strict descresc¼atoare (respectiv descresc¼atoare) pe I:

Teorema 1.4.11 (Sirul lui Rolle) Fie I � R; I interval si f : I ! R;o functie derivabil¼a. Dac¼a x1; x2 2 I; x1 < x2 sunt r¼ad¼acini consecutiveale derivatei f 0 (adic¼a f 0(x1) = 0; f 0(x2) = 0 si f 0(x) 6= 0 pentru oricex 2 (x1; x2)) atunci:(i) dac¼a f(x1)f(x2) < 0; ecuatia f(x) = 0 are exact o r¼ad¼acin¼a în inter-

valul (x1; x2);(ii) dac¼a f(x1)f(x2) > 0; ecuatia f(x) = 0 nu are nicio r¼ad¼acin¼a în

intervalul (x1; x2);(iii) dac¼a f(x1) = 0 sau f(x2) = 0; atunci x1 sau x2 este o r¼ad¼acin¼a

multipl¼a a ecuatiei f(x) = 0 si ecuatia nu are nicio r¼ad¼acin¼a în intervalul(x1; x2):

Teorema 1.4.12 (Teorema lui Cauchy de eliminare a unor nedetermin¼ari)Fie I � R un interval si f; g : I ! R; a 2 I, care veri�c¼a conditiile:(i) f(a) = g(a) = 0;(ii) f; g sunt derivabile în a;(iii) g0(a) 6= 0.

Atunci exist¼a V 2 V(a) astfel încât g(x) 6= 0; pentru orice x 2 V n fag si

limx!a

f(x)

g(x)=f 0(a)

g0(a):

13Pierre de Fermat (1601 �1665), matematician francez.14Michel Rolle (1652 �1719), matematician francez.

20

Teorema 1.4.13 (Regula lui L�Hôspital15) Fie f; g : (a; b)! R; unde �1 �a < b � 1: Dac¼a:(i) f; g sunt derivabile pe (a; b) cu g0 6= 0 pe (a; b);(ii) exist¼a lim

x!ax>a

f 0(x)g0(x) = L 2 R;

(iii) limx!ax>a

f(x) = limx!ax>a

g(x) = 0 sau

(iii)� limx!ax>a

g(x) =1;

atunci exist¼a limx!a

f(x)g(x)

= L:

Teorema 1.4.14 Fie I � R, interval deschis f : I ! R, o functie de n oriderivabil¼a în a 2 I; (n 2 N; n � 2); astfel încât

f 0(a) = 0; f 00(a) = 0; :::; f (n�1)(a) = 0; f (n)(a) 6= 0:(i) Dac¼a n este par, atunci a este punct de extrem, mai exact: punct de

maxim local dac¼a f (n)(a) < 0 si punct de minim local dac¼a f (n)(a) > 0.(ii) Dac¼a n este impar, atunci a nu este punct de extrem.

1.5 Integrala Riemann

În �nalul capitolului discut¼am principalele aspecte legate de integrala Rie-mann16. Fie a; b 2 R; a < b:

De�nitia 1.5.1 (i) Se numeste diviziune a intervalului [a; b] o multime �nit¼ade numere reale x0; x1; :::; xn (n 2 N n f0g); notat¼a �; cu proprietatea c¼a

a = x0 < x1 < ::: < xn�1 < xn = b:

(ii) Se numeste norma diviziunii � valoarea k�k := maxfxi � xi�1 j i 21; ng:(iii) Se numeste sistem de puncte intermediare asociat diviziunii � o

multime de puncte � := f�i j i 2 1; ng cu proprietatea �i 2 [xi�1; xi] pentruorice i 2 1; n:(iv) Fie o functie f : [a; b]! R: Se numeste sum¼a Riemann corespunz¼a-

toare unei diviziuni � a intervalului [a; b] si unui sistem asociat de puncteintermediare � valoarea

S(f;�;�) :=nXi=1

f(�i)(xi � xi�1):

15Guillaume François Antoine, Marchiz de l�Hôpital (1661 � 1704), matematicianfrancez.16Georg Friedrich Bernhard Riemann (1826 �1866), matematician german.

21

De�nitia 1.5.2 Fie o functie f : [a; b] ! R: Spunem c¼a f este integrabil¼aRiemann pe intervalul [a; b] dac¼a exist¼a I 2 R astfel încât pentru orice " > 0;exist¼a � > 0 cu proprietatea c¼a pentru orice diviziune � a intervalului [a; b]cu k�k < � si pentru orice sistem de puncte intermediare � asociat diviziunii� are loc inegalitatea

jS(f;�;�)� Ij < ":

Num¼arul real I din de�nitia precedent¼a este unic, se numeste integralalui f pe [a; b] si se noteaz¼a cu Z b

a

f(x)dx:

Teorema 1.5.3 Orice functie integrabil¼a Riemann pe [a; b] este m¼arginit¼ape [a; b]:

De�nitia 1.5.4 Fie o functie f : [a; b] ! R: Spunem c¼a o functie F :[a; b]! R este primitiv¼a a functiei f pe [a; b] dac¼a F este derivabil¼a pe [a; b]si F 0(x) = f(x) pentru orice x 2 [a; b]:

Evident, dac¼a o functie admite o primitiv¼a, atunci admite o in�nitate deprimitive, iar diferenta dintre orice dou¼a primitive este o functie constant¼a.Are loc teorema fundamental¼a a calculului integral.

Teorema 1.5.5 (Leibniz17-Newton18) Dac¼a f : [a; b] ! R este integrabil¼aRiemann pe intervalul [a; b] si admite o primitiv¼a F pe [a; b] atunciZ b

a

f(x)dx = F (b)� F (a):

Functiile continue satisfac ambele ipoteze ale teoremei precedente.

Teorema 1.5.6 Dac¼a f : [a; b] ! R este continu¼a pe [a; b] atunci f esteintegrabil¼a Riemann pe [a; b] si admite primitiv¼a pe [a; b]:

Teorema 1.5.7 Dac¼a f : [a; b] ! R este m¼arginit¼a si multimea punctelorsale de discontinuitate este �nit¼a, atunci f este integrabil¼a Riemann pe [a; b]:Orice functie monoton¼a pe [a; b] este integrabil¼a Riemann pe [a; b]:

Prezent¼am în �nal principalele propriet¼ati ale integralei Riemann.

17Gottfried Wilhelm Freiherr von Leibniz (1646 �1716), �lozof si matematician german.18Isaac Newton (1643 �1727), �zician, matematician si astronom englez.

22

Teorema 1.5.8 (i) Dac¼a f; g : [a; b]! R sunt integrabile Riemann pe [a; b]si �; � 2 R atunci �f + �g este integrabil¼a Riemann pe [a; b] siZ b

a

(�f(x) + �g(x))dx = �

Z b

a

f(x)dx+ �

Z b

a

g(x)dx:

(ii) Dac¼a f : [a; b]! R este integrabil¼a Riemann pe [a; b] si m � f(x) �M pentru orice x 2 [a; b] (m;M 2 R) atunci

m(b� a) �Z b

a

f(x)dx �M(b� a):

În particular, dac¼a f(x) � 0 pentru orice x 2 [a; b] atunciZ b

a

f(x)dx � 0;

iar dac¼a f; g : [a; b]! R sunt integrabile si f(x) � g(x) pentru orice x 2 [a; b]atunci Z b

a

f(x)dx �Z b

a

g(x)dx:

(iii) Dac¼a f : [a; b]! R este integrabil¼a Riemann pe [a; b] atunci jf j esteintegrabil¼a Riemann pe [a; b]:(iv) Dac¼a f; g : [a; b] ! R sunt integrabile pe [a; b] atunci f � g este

integrabil¼a pe [a; b]:

Teorema 1.5.9 (i) Dac¼a f : [a; b] ! R este integrabil¼a Riemann pe [a; b]atunci f este integrabil¼a Riemann pe orice subinterval al lui [a; b]:(ii) Dac¼a c 2 (a; b) si f este integrabil¼a pe [a; c] si [c; b] atunci f este

integrabil¼a pe [a; b] siZ b

a

f(x)dx =

Z c

a

f(x)dx+

Z b

c

f(x)dx:

Teorema 1.5.10 Fie f : [a; b]! R si f � : [a; b]! R o functie care coincidecu f pe [a; b] cu exceptia unui num¼ar �nit de puncte. Dac¼a f � este integrabil¼aRiemann pe [a; b] atunci f este integrabil¼a Riemann pe [a; b] siZ b

a

f(x)dx =

Z b

a

f �(x)dx:

23

Capitolul 2

Rezultate de analiz¼a neliniar¼a

În acest capitol prezent¼am si studiem multimile si functiile convexe, co-nurile convexe, conul tangent (în sens Bouligand) într-un punct la o multime,functiile semicontinue. Rezultatele pe care le demonstr¼am sunt fundamentaleîn analiza neliniar¼a si vor constitui principalele instrumente de investigatieîn continuare. Lema lui Farkas si consecintele sale vor � decisive pentruobtinerea în capitolul urm¼ator a conditiilor de optimalitate în forma Karush-Kuhn-Tucker, în timp ce Principiul lui Banach de punct �x, pe lâng¼a impor-tanta sa intrinsec¼a, va �folosit pentru discutarea în penultimul capitol a unoralgoritmi asociati problemelor de optimizare. Punem un important accent sipe obtinerea unor inegalit¼ati celebre pornind de la propriet¼atile studiate alefuctiilor convexe.

2.1 Multimi convexe si conuri

De�nitia 2.1.1 O multime nevid¼a D � Rp se numeste convex¼a dac¼a pentruorice x; y 2 D; [x; y] = f�x+ (1� �)y j � 2 [0; 1]g � D:

Cu alte cuvinte, D este convex¼a dac¼a si numai dac¼a odat¼a cu dou¼a punctea1; a2 contine întreg segmentul [a1; a2]: Se mai observ¼a c¼a în de�nitia aceastaeste su�cient s¼a lu¼am � 2 (0; 1): Prin inductie se arat¼a imediat c¼a dac¼aD esteconvex¼a, atunci pentru orice n 2 N�; x1; x2; :::; xn 2 D; �1; �2; :::; �n 2 [0; 1]cuPn

i=1 �i = 1; are locnXi=1

�ixi 2 D:

O sum¼a cum este cea de mai sus se numeste combinatie convex¼a a elementelor(xi): În R multimile convexe sunt intervalele.

24

Unul dintre obiectele fundamentale pentru studiul nostru este de�nit maijos.

De�nitia 2.1.2 O submultime nevid¼a K � Rp se numeste con dac¼a are locproprietatea

8y 2 K; 8� 2 R+ := [0;1); �y 2 K:

Conform acestei de�nitii, orice con contine elementul 0:

Propozitia 2.1.3 Un con C este multime convex¼a dac¼a si numai dac¼a C +C = C:

Demonstratie Presupunem mai întâi c¼a C este în acelasi timp con si multimeconvex¼a. Cum 0 2 C; este clar c¼a C � C + C: Fie u 2 C + C: Atunci exist¼ac1; c2 2 C încât c1 + c2 = u: Dar, tinând cont de propriet¼atile lui C si descrierea echivalent¼a

u = 2�2�1c1 + 2

�1c2�

deducem faptul c¼a u 2 C: Pentru implicatia invers¼a, presupunem c¼a C estecon si C + C = C: Fie � 2 (0; 1) si c1; c2 2 C: Atunci, din proprietatea decon, �c1; (1� �)c2 2 C si deci �c1 + (1� �)c2 2 C +C = C; observatie careîncheie demonstratia. �

De�nitia 2.1.4 Fie A � Rp o multime nevid¼a si �e x 2 Rp: De�nim dis-tanta de la x la A prin relatia:

d(x;A) = inffkx� ak j a 2 Ag:

Punem în evident¼a câteva propriet¼ati fundamentale ale distantei de la unpunct la o multime (nevid¼a).

Teorema 2.1.5 Fie A � Rp; A 6= ;: Atunci:(i) d (x;A) = 0 dac¼a si numai dac¼a x 2 A:(ii) Functia dA : Rp ! R dat¼a prin dA(x) = d(x;A) este 1�Lipschitz.(iii) Dac¼a A este închis¼a, atunci pentru orice x 2 Rp; exist¼a ax 2 A

a.î. d (x;A) = kx� axk : Dac¼a, în plus, A este convex¼a, atunci ax cu pro-prietatea precedent¼a este unic si este caracterizat de propriet¼atile ax 2 A sihx� ax; u� axi � 0 pentru orice u 2 A:

Demonstratie (i) Au loc echivalentele

d (x;A) = 0, infa2A

kx� ak = 0

, 9 (an) � A cu limn!1

kx� ank = 0, x 2 A:

25

(ii) Pentru orice x; y 2 Rp si orice a 2 A au loc relatiile:

d (x;A) � kx� ak � kx� yk+ ky � ak :

Cum a este arbitrar în A deducem

d (x;A) � kx� yk+ d (y; A)

adic¼ad (x;A)� d (y; A) � kx� yk :

Inversând rolurile lui x si y avem:

jd (x;A)� d (y; A)j � kx� yk ;

adic¼a concluzia.(iii) Dac¼a x 2 A; atunci ax := x este unicul element cu proprietatea

anuntat¼a. Fie x =2 A: Cum d(x;A) este un num¼ar real, exist¼a r > 0 ast-fel încât A1 := A \ D (x; r) 6= ;: Observ¼am c¼a A1 este multime compact¼a,deci functia g : A1 ! R; g (y) = d (x; y) este continu¼a pe o multime com-pact¼a. Conform teoremei lui Weierstrass, g îsi atinge minimul pe A1; adic¼aexist¼a ax 2 A1 cu g (ax) = infy2A1 g (y) = d(x;A1). Dar se observ¼a c¼ad (x;A1) = d (x;A) si prima concluzie urmeaz¼a. Presupunem acum c¼a, înplus, A este convex¼a. Din nou, dac¼a x 2 A; nu avem nimic de ar¼atat. Lu¼amx =2 A: Consider¼am a1; a2 2 A cu d (x;A) = kx� a1k = kx� a2k : Folosindegalitatea paralelogramului avem

k(x� a1) + (x� a2)k2+ k(x� a1)� (x� a2)k2 = 2 kx� a1k2+2 kx� a2k2 ;

adic¼ak2x� a1 � a2k2 + ka2 � a1k2 = 4d2(x;A)

si împ¼artind prin 4 obtinem �x� a1 + a22

� 2 + 4�1 ka2 � a1k2 = d2(x;A):Cum A este convex¼a, 2�1(a1 + a2) 2 A, deci

�x� a1+a22

� 2 � d2(x;A):Aceast¼a relatie si egalitatea precedent¼a arat¼a c¼a ka2 � a1k = 0; deci a1 = a2:Demonstratia unicit¼atii este complet¼a. S¼a demonstr¼am acum c¼a ax veri�c¼arelatia hx� ax; u� axi � 0 pentru orice u 2 A: Pentru aceasta lu¼am u 2 A:Atunci pentru orice � 2 (0; 1]

v = �u+ (1� �)ax 2 A:

26

Deci

kx� axk � kx� �u� (1� �)axk = kx� ax � �(u� ax)k ;de unde, prin ridicare la p¼atrat,

kx� axk2 � kx� axk2 � 2� hx� ax; u� axi+ �2 ku� axk2 :Dup¼a reducere si simpli�carea cu � > 0 obtinem

0 � �2 hx� ax; u� axi+ � ku� axk2 :F¼acând �! 0 obtinem inegalitatea anuntat¼a. Invers, dac¼a un element a 2 Asatisface hx� a; u� ai � 0 pentru orice u 2 A; atunci pentru orice v 2 A

kx� ak2 � kx� vk2 = 2 hx� a; v � ai � ka� vk2 � 0;deci a coincide cu ax: Demonstratia este încheiat¼a. �

În cazul în care A este închis¼a si convex¼a, atunci pentru x 2 Rp not¼amelementul ax 2 A cu prA x si-l numim proiectia lui x pe A.

Fie S � Rp o multime nevid¼a. Numim polara lui S multimea

S� := fu 2 Rp j hu; xi � 0; 8x 2 Sg:Este usor de constatat c¼a S� este un con convex închis si c¼a, în general,S � (S�)�. Privitor la incluziunea reciproc¼a, are loc urm¼atorul rezultat.

Teorema 2.1.6 Fie C � Rp un con închis si convex. Atunci C = (C�)�:

Demonstratie Fie z 2 (C�)� si �e z = prC z: Vom ar¼ata c¼a z = z: Din ultimaparte a Teoremei 2.1.5, pentru orice c 2 C

hz � z; c� zi � 0:Cum 0 2 C si 2z 2 C deducem

�hz; z � zi � 0; hz; z � zi � 0deci

hz; z � zi = 0:Prin urmare,

hz � z; ci � 0pentru orice c 2 C; adic¼a z � z 2 C�: Cum z 2 (C�)�; obtinem

hz; z � zi � 0:Dar

kz � zk2 = hz � z; zi � hz � z; zi � 0ceea ce înseamn¼a c¼a z = z si deci z 2 C: �

27

Exemplul 2.1.7 1. Fie S = f(x; 0) 2 R2 j x � 0g: Este usor de observat c¼aS� = f(x; y) 2 R2 j x � 0g: Evident, (S�)� = S�:2. Polara lui R2+ := f(x; y) 2 R2 j x; y � 0g este R2� := f(x; y) 2 R2 j

x; y � 0g: Multimea S = f(x; 0) 2 R2 j x � 0g [ f(0; y) 2 R2 j y � 0g areca polar¼a tot multimea R2�: Deci, în general, S�1 = S�2 nu implic¼a faptul c¼aS1 = S2:

Urm¼atoarele rezultate de algebr¼a liniar¼a vor � foarte importante în con-tinuare. Primul dintre ele a fost obtinut de c¼atre matematicianul maghiarJulius Farkas în 1902.

Teorema 2.1.8 (Lema lui Farkas) Fie n 2 N�, ('i)i21;n � L(Rp;R) si ' 2L(Rp;R): Atunci

8x 2 Rp : ['1(x) � 0; : : : ; 'n(x) � 0]) '(x) � 0 (2.1)

dac¼a si numai dac¼a exist¼a (�i)i21;n � [0;1) a.î. ' =Pn

i=1 �i'i:

Demonstratie Implicatia de la dreapta la stânga este evident¼a. Demonstr¼amcealalt¼a implicatie prin inductie dup¼a n � 1. De�nim propozitia P (n)ce a�rm¼a c¼a pentru orice '; '1; : : : ; 'n 2 L(Rp;R) satisf¼acând (2.1) exist¼a(�i)i21;n � [0;1) a.î. ' =

Pni=1 �i'i:

Ar¼at¼am c¼a P (1) este adev¼arat¼a. Într-adev¼ar, �e '; '1 2 L(Rp;R) a.î.

'1(x) � 0) '(x) � 0:

Dac¼a ' = 0 atunci, evident, ' = 0'1: Fie ' 6= 0: Atunci, folosind ipoteza,

'1(x) = 0, ['1(x) � 0; '1(�x) � 0]) ['(x) � 0; '(�x) � 0], '(x) = 0;

deci Ker'1 � Ker': Cum ' 6= 0; avem '1 6= 0; deci exist¼a x1 2 Rp cu'1(x) = �1: Tot din ipotez¼a, '(x) � 0: Fie x 2 Rp arbitrar. Atunci, estesimplu de veri�cat c¼a

x+ '1(x)x 2 Ker'1;deci

x+ '1(x)x 2 Ker';adic¼a

' (x+ '1(x)x) = 0;

ceea ce conduce la'(x) = �'(x)'1(x):

Cum x este arbitrar, relatia din enunt este ar¼atat¼a pentru �1 := �'(x) � 0.

28

Presupunem acum c¼a P (n) este adev¼arat¼a pentru un num¼ar �xat n � 1si ar¼at¼am c¼a P (n+ 1) este adev¼arat¼a.Fie '; '1; : : : ; 'n; 'n+1 2 L(Rp;R) a.î.

8x 2 Rp : ['1(x) � 0; : : : ; 'n(x) � 0; 'n+1(x) � 0]) '(x) � 0: (2.2)

Dac¼a8x 2 Rp : ['1(x) � 0; : : : ; 'n(x) � 0]) '(x) � 0; (2.3)

atunci, din P (n); exist¼a (�i)i21;n � [0;1) a.î. ' =Pn

i=1 �i'i; lu¼am �n+1 := 0si concluzia are loc.Presupunem c¼a nu are loc relatia (2.3). Atunci exist¼a x 2 Rp a.î. '(x) > 0

si 'i(x) � 0 pentru orice i 2 1; n: Cum are loc (2.2), 'n+1(x) > 0; putempresupune (dup¼a o eventual¼a multiplicare cu un scalar strict pozitiv) c¼a'n+1(x) = 1: Dar

'n+1(x� 'n+1(x)x) = 0; 8x 2 Rp;

iar din (2.2) deducem

8x 2 Rp : ['1(x� 'n+1(x)x) � 0; : : : ; 'n(x� 'n+1(x)x) � 0]) '(x� 'n+1(x)x) � 0: (2.4)

Lu¼am acum '0i := 'i � 'i(x)'n+1 pentru i 2 1; n si '0 := '� '(x)'n+1; iarrelatia (2.4) devine

8x 2 X : ['01(x) � 0; : : : ; '0n(x) � 0]) '0(x) � 0:

Cum P (n) este adev¼arat¼a, exist¼a (�i)i21;n � [0;1) a.î. '0 =Pn

i=1 �i'0i:

Deducem

'� '(x)'n+1 =nXi=1

�i ['i � 'i(x)'n+1] ;

deci ' =Pn+1

i=1 �i'i; unde �n+1 = '(x) �Pn

i=1 �i'i(x) � 0 din alegerea luix si din faptul c¼a �i � 0 pentru i 2 1; n). Demonstratia este complet¼a. �

De-a lungul acestui curs vom avea nevoie de multe ori de conceptul devector tangent într-un punct la o multime. Introducem acum acest concept.

De�nitia 2.1.9 Fie M � Rp o multime nevid¼a si x 2 clM . Un vector u 2Rp se numeste tangent la multimea M în x dac¼a exist¼a (tn) � (0;1); tn ! 0si (un)! u astfel încât pentru orice n 2 N;

x+ tnun 2M:

29

Evident este su�cient ca relatia de mai sus s¼a aib¼a loc pentru orice n 2 Nde la un loc încolo (pentru n su�cient de mare).

Teorema 2.1.10 Multimea, notat¼a TM(x); a tuturor vectorilor tangenti laM în x este un con închis, numit conul tangent al lui Bouligand1 la M în x:

Demonstratie Mai întâi ar¼at¼am c¼a 0 2 TM(x): Dac¼a x 2 M; acest lucru esteevident pentru c¼a este su�cient s¼a lu¼am (un) sirul constant 0: Dac¼a x =2 M;atunci exist¼a (xn)n2N � M cu xn ! x si consider¼am tn :=

pkxn � xk si

un :=�p

kxn � xk��1

(xn � x) pentru orice n 2 N. Cum tn ! 0 si un ! 0;

obtinem concluzia.Fie acum u 2 TM(x) si � > 0: Conform de�nitiei, exist¼a (tn) � (0;1);

tn ! 0 si (un)! u astfel încât pentru orice n 2 N;

x+ tnun 2M:

Evident, ultima relatie este echivalent¼a cu

x+tn�(�un) 2M:

Cum ( tn�)! 0 si (�un)! �u; deducem c¼a �u 2 TM(x); deci TM(x) este con.

Ar¼at¼am acum c¼a închiderea lui TM(x) este inclus¼a în TM(x): Fie (un) � TM(x)si (un) ! u: Trebuie s¼a ar¼at¼am c¼a u 2 TM(x): Pentru �ecare n 2 N; exist¼a(tkn)k � (0;1); tkn

k!1! 0 si (ukn)k!1! un a.î. pentru orice k 2 N;

x+ tknukn 2M:

Urmând un procedeu de diagonalizare, pentru orice n 2 N�; exist¼a kn 2 Nastfel încât (kn) este strict cresc¼ator si au loc relatiile:

tknn <1

n uknn � un � 1

n:

Evident, sirul de numere pozitive (tknn )n are limita 0 si din relatia uknn � u � uknn � un + kun � ukdeducem c¼a (uknn )! u: În plus, pentru orice n 2 N;

x+ tknn uknn 2M;

deci, u 2 TM(x) si demonstratia este încheiat¼a. �

Un prim exemplu este urm¼atorul.1Georges Louis Bouligand (1889-1979), matematician francez.

30

Exemplul 2.1.11 1. Fie disculM � R2; M := f(x; y) 2 R2 j (x�1)2+y2 �1g: Atunci TM(0; 0) = f(x; y) 2 R2 j x � 0g:2. Se poate cu usurint¼a observa c¼a dac¼a C � Rp este un con închis, atunci

TC(0) = C:

Propozitia 2.1.12 Dac¼a ; 6= M � Rp si x 2 clM; atunci are loc relatiaTM(x) = TM(x): Dac¼a x 2 intM; atunci TM(x) = Rp:

Demonstratie Incluziunea TM(x) � TM(x) este evident¼a pe baza relatieiM �M . Fie u 2 TM(x): Exist¼a (tn) � (0;1); tn ! 0 si (un) ! u astfel încâtpentru orice n 2 N;

x+ tnun 2M:Din caracterizarea cu siruri a aderentei, pentru orice n �xat, exist¼a (vkn)k �Ma.î.

vknk! x+ tnun:

Ca mai sus, pentru n �xat, exist¼a kn 2 N a.î. vknn � (x+ tnun) � t2n:

Atunci putem scrie vknn � xtn

� u � vknn � x

tn� un

+ kun � uk � tn + kun � uk ;deci u0n :=

vknn �xtn

n!1! u: Dar

x+ tnu0n = v

knn 2M;

deci u 2 TM(x): A doua parte a concluziei este imediat¼a: dac¼a x 2 intM;atunci pentru orice u 2 Rp si orice (tn) � (0;1); tn ! 0 avem x+ tnun 2Mpentru orice n su�cient de mare. Aceasta arat¼a, în particular, c¼a u 2 TM(x);de unde obtinem concluzia. �

S¼a remarc¼am c¼a, în general, conul lui Bouligand nu este convex si relatiaTM(x) = Rp poate avea loc, chiar dac¼a x =2 intM:

Exemplul 2.1.13 1. Fie M � R2; M = f(x; y) j x � 0; y = 0g [ f(x; y) jx = 0; y � 0g: Atunci TM(0; 0) =M nu este o multime convex¼a.2. Fie multimea M dat¼a de curba (numit¼a cardioida) având urm¼atoarele

ecuatii parametrice�x = �2 cos t+ cos 2t+ 1y = 2 sin t� sin 2t ; t 2 [0; 2�];

împreun¼a cu interiorul s¼au geometric. Atunci TM(0; 0) = R2; dar (0; 0) =2intM:

31

Propozitia 2.1.14 Fie A;B � Rp multimi închise: Au loc relatiile:(i) dac¼a x 2 A \B atunci TA[B(x) = TA(x) [ TB(x);(ii) dac¼a x 2 A \B atunci TA\B(x) � TA(x) \ TB(x);(iii) dac¼a x 2 FrA atunci TFrA(x) = TA(x) \ TRpnA(x):

Demonstratie Primele dou¼a relatii se demonstreaz¼a cu usurint¼a, iar la punctul(iii); incluziunea TFrA(x) � TA(x) \ TRpnA(x) provine din (ii) si Propozitia2.1.12. Fie acum u 2 TA(x) \ TRpnA(x): Conform de�nitiei conului tangent,exist¼a (tn); (t0n) � (0;1); tn; t0n ! 0 si (un); (u0n)! u astfel încât pentru oricen 2 N;

x+ tnun 2 A;si

x+ t0nu0n 2 Rp n A:

Dac¼a exist¼a o in�nitate de termeni din prima sau din a doua relatie chiar pefrontiera lui A; atunci nu mai avem ce ar¼ata. În caz contrar, putem presupunef¼ar¼a a restrânge generalitatea c¼a pentru �ecare n 2 N; exist¼a �n 2 (0; 1) a.î.

�n (x+ tnun) + (1� �n)(x+ t0nu0n) 2 FrA:

Consider¼am sirurile

(t00n) := (�ntn + (1� �n)t0n) � (0;1)

(u00n) :=tn�nt00nun +

t0n(1� �n)t00n

u0n:

Este clar c¼a (t00n)! 0: Pe de alt¼a parte,

ku00n � uk � kun � uk+ ku0n � uk ;

deci (u00n)! u: Cumx+ t00nu

00n 2 FrA;

obtinem concluzia. �

Vom nota cu NM(x) polara lui TM(x) (i.e. NM(x) := TM(x)�) si vom

numi acest con conul normal la M în x:Dac¼a multimea M este convex¼a, atunci conul Bouligand cap¼at¼a o form¼a

special¼a.

Propozitia 2.1.15 Fie ; 6= M � Rp convex¼a si x 2 M: Atunci TM(x) =clR+(M � x); iar NM(x) = fu 2 Rp j hu; c� xi � 0; 8c 2Mg:

32

Demonstratie Fie c 2M si d := c� x: Fie (tk)k ! 0: Atunci

x+ tkd = (1� tk)x+ tkc 2M

si deciM �x � TM(x): Cum TM(x) este con închis, obtinem clR+(M �x) �TM(x): Fie u 2 TM(x) : exist¼a (tk) � (0;1); tk ! 0 si (uk) ! u astfel încâtpentru orice k 2 N;

xk: = x+ tkuk 2M:

Deci u = limkxk�xtk: Dar

�xk�xtk

�k� R+(M � x): Deducem c¼a TM(x) �

clR+(M � x): Ne reamintim c¼a, prin de�nitie,

NM(x) = TM(x)� = fu 2 Rp j hu; vi � 0; 8v 2 TM(x)g:

Acum, tinând cont de forma particular¼a a conului TM(x); deducem concluzia.�

Exemplul 2.1.16 S¼a calcul¼am conurile tangente si conurile normale în diferitepuncte la multimea M � Rp;

M =

(x = (x1; x2; :::; xp) 2 Rp j xi � 0; 8i 2 1; p;

pXi=1

xi = 1

);

numit¼a simplexul unitate. Aceast¼a multime este, evident, convex¼a si închis¼a.Conform rezultatului precedent, pentru �ecare x 2M;

TM(x) = clR+(M � x)= cl fu 2 Rp j 9� � 0; x 2M; u = �(x� x)g :

Fie u din multimea din membrul drept. Este clar c¼a, pe de o parte,Pp

i=1 ui =0 iar, pe de alt¼a parte, dac¼a xi = 0; atunci ui � 0: Not¼am cu I(x) :=�i 2 1; p j xi = 0

: Deducem c¼a

TM(x) �(u 2 Rp j

pXi=1

ui = 0 si ui � 0; 8i 2 I(x)):

S¼a demonstr¼am incluziunea invers¼a. Este simplu de veri�cat c¼a multimeadin dreapta este închis¼a. Fie u din aceast¼a multime. Dac¼a u = 0; atunci,evident, u 2 TM(x): Dac¼a u 6= 0 atunci trebuie s¼a ar¼at¼am c¼a exist¼a � > 0 cux + �u 2 M: Pe de o parte, faptul c¼a

Ppi=1(xi + �ui) = 1 este clar pentru

orice �. Dac¼a nu exist¼a indici i cu ui < 0; atunci si faptul c¼a xi + �ui � 0;pentru orice i 2 1; p este evident si deci u 2 TM(x): Presupunem acum c¼a

33

multimea J a indicilor pentru care uj < 0 este nevid¼a. Atunci J � 1; pnI(x);deci xj > 0 pentru orice j 2 J: Alegem atunci � strict pozitiv cu

� < minf�u�1j xj j j 2 Jg

si avem din nou c¼a xi+�ui � 0; pentru orice i 2 1; p: Prin urmare si în acestcaz u 2 TM(x), deci are loc egalitatea.În continuare, ar¼at¼am c¼a

NM(x) = f(a; a; :::; a) 2 Rp j a 2 Rg+ fv 2 Rp j vi � 0; 8i 2 I(x); vi = 0; i =2 I(x)g :

Pentru aceasta consider¼am elementele

a0 = (1; 1; :::; 1); a1 = �(1; 0; :::; 0); :::; an = �(0; 0; :::; 1)

si observ¼am urm¼atoarea scriere echivalent¼a a lui TM(x) :

TM(x) = fu 2 Rp j ha0; ui � 0; h�a0; ui � 0; hai; ui � 0; 8i 2 I(x)g :

Polara acestei multimi este

NM(x) =

8<:�a0 � �a0 + Xi2I(x)

�iai j �; �; �i � 0; 8i 2 I(x)

9=; :Într-adev¼ar, faptul c¼a multimea din dreapta este inclus¼a în conul normal esteevident, iar incluziunea invers¼a rezult¼a din Lema lui Farkas (Teorema 2.1.8).Astfel, se ajunge la forma anuntat¼a a conului normal.

În �nalul sectiunii discut¼am conceptele de înf¼asur¼atoare convex¼a si în-f¼asur¼atoare conic¼a. Fie A � Rp o multime nevid¼a. Se numeste înf¼asur¼atoareaconvex¼a a multimii A; multimea

convA =

(nXi=1

�ixi j n 2 N�; (�i)i21;n � [0;1);nXi=1

�i = 1; (xi)i21;n � A):

Evident convA este convex¼a si contine multimea A: Se poate veri�ca simpluc¼a este cea mai mic¼a (în sensul incluziunii) multime cu aceste propriet¼ati.Înf¼asur¼atoarea conic¼a a multimii A este multimea

conA = [0;1)A := f�x j � � 0; x 2 Ag :

Din nou, conA este cel mai mic con ce contine A: Prezent¼am dou¼a rezul-tate privind aceste multimi. Primul rezultat se refer¼a la structura multimiiconvA si poart¼a numele de Teorema lui Carathéodory, dup¼a numele matem-aticianului grec Constantin Carathéodory care a demonstrat acest rezultatîn 1911 pentru multimi compacte.

34

Teorema 2.1.17 (Teorema lui Carathéodory) Fie A � Rp o multime nev-id¼a. Atunci

convA =

(p+1Xi=1

�ixi j (�i)i21;p+1 � [0;1);p+1Xi=1

�i = 1; (xi)i21;p+1 � A):

Demonstratie Trebuie ar¼atat c¼a orice element din convA se poate scrie ca ocombinatie de cel mult p + 1 elemente din A: Fie deci x 2 convA: Conformde�nitiei lui convA; x se poate scrie ca o combinatie convex¼a de elemente dinA: Presupunem, prin reducere la absurd, c¼a num¼arul minim de elemente dinA care pot da o combinatie convex¼a cu valoarea x este n > p+1: Deci exist¼ax1; x2; :::; xn 2 A; �1; �2; :::; �n 2 [0; 1] cu

Pni=1 �i = 1 a.î.

Pni=1 �ixi = x:

Atunci elementele (xi � xn)i=1;n�1 sunt liniar dependente (sunt mai multedecât dimensiunea p a spatiului), deci exist¼a (�i)i=1;n�1; nu toate nule, cu

n�1Xi=1

�i(xi � xn) = 0;

ceea ce înseamn¼an�1Xi=1

�ixi � n�1Xi=1

�i

!xn = 0

Notând ��Pn�1

i=1 �i�= �n; avem

Pni=1 �i = 0 si

Pni=1 �ixi = 0: Atunci

pentru orice t 2 R;

x =nXi=1

�ixi + tnXi=1

�ixi =nXi=1

(�i + t�i)xi

sinXi=1

(�i + t�i) = 1:

CumPn

i=1 �i = 0 si exist¼a m¼acar o valoare nenul¼a, va exista si cel putin ovaloare negativ¼a printre valorile (�i)i21;n: Not¼am t := minf��i��1i j �i <0g: Atunci toate valorile (�i + t�i) vor � din intervalul [0;1); iar valoareacorespunz¼atoare indicelui care d¼a minimul de mai sus este zero, deci x apareca o combinatie convex¼a de mai putin de n elemente din A; contrazicându-seminimalitatea lui n: Asadar, presupunerea f¼acut¼a este fals¼a, deci concluziaare loc. �

35

2.2 Functii convexe

2.2.1 Rezultate generale

În aceast¼a sectiune prezent¼am o clas¼a special¼a de functii, numite functii con-vexe. Aceste functii sunt de�nite pe multimi convexe.

De�nitia 2.2.1 Fie D � Rp o multime convex¼a. O functie f : D ! R senumeste convex¼a dac¼a

f(�x+ (1� �)y) � �f(x) + (1� �)f(y); 8x; y 2 D; 8� 2 [0; 1]: (2.5)

Este clar c¼a în de�nitia de mai sus este su�cient s¼a lu¼am � 2 (0; 1):

Observatia 2.2.2 Este usor de v¼azut c¼a suma unui num¼ar �nit de functiiconvexe (de�nite pe aceeasi multime) este o functie convex¼a, iar produsulunei functii convexe cu un scalar pozitiv este o functie convex¼a.

Cum am mai spus, în R multimile convexe sunt intervalele. În acestcadru, convexitatea are urm¼atoarea interpretare geometric¼a: pentru oricedou¼a puncte x; y 2 D; x < y; gra�cul restrictiei lui f la intervalul [x; y] sea�¼a sub coarda ce uneste punctele (x; f(x)) si (y; f(y)): Aceasta se mai scrieastfel: pentru orice u 2 [x; y];

f(u) � f(x) + f(y)� f(x)y � x (u� x); (2.6)

inegalitate care se obtine din (2.5) înlocuind � cu valoarea obtinut¼a din relatiau = �x + (1 � �)y: Astfel, (2.5) si (2.6) sunt echivalente (pentru functii devariabil¼a real¼a).

De�nitia 2.2.3 Fie D � Rp o multime convex¼a. O functie f : D ! R senumeste concav¼a dac¼a �f este convex¼a.

Toate propriet¼atile functiilor concave se deduc cu usurint¼a din propri-et¼atile functiilor convexe, astfel c¼a vom considera în continuare doar acestultim caz.Mai întâi deducem unele propriet¼ati generale ale functiilor convexe.

Propozitia 2.2.4 Fie D � Rp o multime convex¼a si f : D ! R. Urm¼a-toarele a�rmatii sunt echivalente:(i) f este convex¼a;(ii) epigraful lui f; epi f := f(x; t) 2 D�R j f(x) � tg este o submultime

convex¼a a lui Rp � R;(iii) pentru orice x; y 2 D de�nim Ix;y := ft 2 R j tx + (1 � t)y 2 Dg;

atunci functia 'x;y : Ix;y! R; 'x;y(t) = f(tx+ (1� t)y) este convex¼a.

36

Demonstratie Demonstr¼am mai întâi implicatia de la (i) la (ii): Fie � 2 (0; 1)si (x; t); (y; s) 2 epi f: Atunci, din convexitatea lui D; �x + (1 � �)y 2 D sidin convexitatea lui f;

f(�x+ (1� �)y) � �f(x) + (1� �)f(y) � �t+ (1� �)s;

adic¼a (�x+ (1� �)y; �t+ (1� �)s) 2 epi f: Prin urmare, epi f este multimeconvex¼a.Demonstr¼am acum implicatia invers¼a. Fie x; y 2 D si � 2 [0; 1]: Atunci

(x; f(x)); (y; f(y)) 2 epi f si din ipotez¼a, �(x; f(x))+(1��)(y; f(y)) 2 epi f;deci

f(�x+ (1� �)y) � �f(x) + (1� �)f(y);de unde rezult¼a c¼a f este functie convex¼a.Ar¼at¼am acum echivalenta dintre (i) si (iii): Mai întâi s¼a observ¼am c¼a Ix;y

este un interval care contine [0; 1]: Presupunem c¼a f este convex¼a si lu¼amu; v 2 Ix;y, � 2 [0; 1]: Avem

'x;y(�u+ (1� �)v) = f([�u+ (1� �)v]x+ [1� �u� (1� �)v]y)= f(�(ux+ (1� u)y) + (1� �)(vx+ (1� v)y))� �f(ux+ (1� u)y) + (1� �)f(vx+ (1� v)y)= �'x;y(u) + (1� �)'x;y(v):

Pentru implicatia invers¼a lu¼am x; y 2 D si t 2 [0; 1]: Atunci 'x;y este convex¼asi deci pentru orice � 2 [0; 1]; u; v 2 Ix;y

'x;y(�u+ (1� �)v) � �'x;y(u) + (1� �)'x;y(v)= �f(ux+ (1� u)y) + (1� �)f(vx+ (1� v)y):

F¼acând u = 1; v = 0; � = t deducem

'x;y(t) � tf(x) + (1� t)f(y);

deci f este convex¼a. �

Teorema 2.2.5 Fie D � Rp o multime convex¼a si f : D ! R o functieconvex¼a. Atunci f este continu¼a în orice punct interior multimii D:

Demonstratie Fie x 2 intD: F¼acând eventual o translatie, putem consideracazul x = 0: Ar¼at¼am mai întâi c¼a f este m¼arginit¼a pe o vecin¼atate a punctului0: Dac¼a not¼am cu (ei)i21;p baza canonic¼a a spatiului Rp; atunci exist¼a a > 0a.î. aei si �aei sunt în D pentru orice i 2 1; p: În aceste conditii, multimea

V :=

(x 2 Rp j x =

pXi=1

xiei; jxij <a

p; 8i 2 1; p

)

37

este o vecin¼atate a lui 0 inclus¼a în D: Pentru x 2 V; exist¼a (xi)i21;p cujxij < a

p; i 2 1; p si x =

Ppi=1 xiei: Presupunem mai întâi c¼a xi 6= 0 pentru

orice i 2 1; p: Avem

f(x) = f

pXi=1

xiei

!= f

pXi=1

jxijaaxijxijei +

1�

pXi=1

jxija

!0

!

�pXi=1

jxijaf

�axijxijei

�+

1�

pXi=1

jxija

!f(0)

� maxff (aei) ; f(�aei) j i 2 1; pg+ jf(0)j :

Acum se observ¼a c¼a dac¼a avem indici i pentru care xi = 0; atunci putem s¼a ex-cludem din calculele de mai sus respectivii indici, iar estimarea se p¼astreaz¼a.Cum membrul drept este o constant¼a (pe care o not¼am cu M), a�rmatia

f¼acut¼a anterior este demonstrat¼a. Fie " 2 (0; 1) si U o vecin¼atate simetric¼a alui 0 cu proprietatea c¼a "�1U � V: Atunci, pentru orice x 2 U;

f(x) = f�"("�1x) + (1� ")0

�� "f("�1x) + (1� ")f(0)

� "M + (1� ")f(0);

adic¼af(x)� f(0) � "M � "f(0):

Din faptul c¼a U este simetric¼a, deducem c¼a pentru orice x 2 U

f(�x) � "M + (1� ")f(0):

Mai mult,

f(0) = f

�1

2x+

1

2(�x)

�� 1

2f(x) +

1

2f(�x) � 1

2f(x) +

1

2("M + (1� ")f(0)) ;

decif(0)� f(x) � "M � "f(0);

relatie care, în combinatie cu cea de mai sus, conduce la

jf(x)� f(0)j � "M � "f(0):

Aceast¼a inegalitate probeaz¼a continuitatea lui f în 0: �

Dorim s¼a punem acum în evident¼a caracteriz¼ari ale functiilor convexediferentiabile. Pentru aceasta, avem nevoie de unele rezultate care se refer¼ala functii convexe de�nite pe un interval din R:

38

Propozitia 2.2.6 Fie I � R un interval si f : I ! R o functie. Urm¼a-toarele a�rmatii sunt echivalente:(i) f este convex¼a;(ii) pentru orice x1; x2; x3 2 I în relatia x1 < x2 < x3 avem

f(x2)� f(x1)x2 � x1

� f(x3)� f(x1)x3 � x1

� f(x3)� f(x2)x3 � x2

;

(iii) pentru orice a 2 int I; functia g : I n fag ! R dat¼a prin

g(x) =f(x)� f(a)x� a

este cresc¼atoare.

Demonstratie Ar¼at¼am implicatia (i)) (ii): Lu¼am � = x2�x1x3�x1 2 (0; 1): Atunci

are loc egalitatea x2 = �x3 + (1� �)x1 si inegalitatea de demonstrat devinef(x2)� f(x1)�(x3 � x1)

� f(x3)� f(x1)x3 � x1

� f(x3)� f(x2)(1� �)(x3 � x1)

:

Dup¼a efectuarea calculelor, obtinem

f(x2) � �f(x3) + (1� �)f(x1):

Implicatia (ii)) (i) urmeaz¼a traseul invers implicatiei (i)) (ii); deci (i) si(ii) sunt echivalente.Pentru a demonstra (ii) ) (iii); �x¼am x1; x2 2 I n fag cu x1 < x2:

Distingem trei situatii. Dac¼a x1 < x2 < a atunci aplic¼am (ii) pentru tripleta(x1; x2; a): Dac¼a x1 < a < x2 atunci aplic¼am (ii) pentru tripleta (x1; a; x2):În sfârsit, dac¼a a < x1 < x2 atunci aplic¼am (ii) pentru tripleta (a; x1; x2):Pentru a demonstra (iii) ) (i); lu¼am x; y 2 I cu x < y si � 2 (0; 1):

Atunci x < �x + (1 � �)y < y si aplicând (iii) pentru a = �x + (1 � �)ydeducem

f(x)� f(�x+ (1� �)y)x� �x� (1� �)y � f(y)� f(�x+ (1� �)y)

y � �x� (1� �)y :

Din nou efectuând calculele ajungem la relatia din de�nitia convexit¼atii. Fap-tul c¼a aceast¼a relatie are loc pentru orice x; y 2 I cu x < y si orice � 2 (0; 1)este su�cient pentru a proba a�rmatia dorit¼a. Demonstratia este complet¼a.�

Propozitia 2.2.7 Fie I � R un interval si f : I ! R o functie convex¼a.Atunci f admite derivate laterale în �ecare punct interior intervalului I sipentru orice x; y 2 int I; cu x < y avem

f 0�(x) � f 0+(x) � f 0�(y) � f 0+(y):

39

Demonstratie Fie a 2 int I: Cum functia g : I n fag ! R dat¼a prin

g(x) =f(x)� f(a)x� a

este cresc¼atoare (rezultatul precedent) deducem c¼a g admite limite laterale�nite, ceea ce conduce la existenta derivatelor laterale ale lui f în a: Maimult, f 0�(a) � f 0+(a): Pentru x; y 2 int I; x < y si pentru orice u; v 2 (x; y);u � v; folosind de asemenea argumentul dat de ultima concluzie a Propozitiei2:2:6; deducem

f(u)� f(x)u� x � f(v)� f(x)

v � x =f(x)� f(v)x� v � f(y)� f(v)

y � v =f(v)� f(y)v � y :

Trecând la limit¼a pentru u! x si v ! y; obtinem f 0+(x) � f 0�(y): �

Are loc urm¼atoarea teorem¼a de caracterizare a functiilor convexe deriva-bile (de o variabil¼a real¼a).

Teorema 2.2.8 Fie I un interval deschis si f : I ! R o functie.(i) Presupunând c¼a f este derivabil¼a pe I; atunci f este convex¼a dac¼a si

numai dac¼a f 0 este cresc¼atoare pe I:(ii) Presupunând c¼a f este de dou¼a ori derivabil¼a pe I atunci f este

convex¼a dac¼a si numai dac¼a f 00(x) � 0 pentru orice x 2 I:

Demonstratie În acest caz, al functiilor reale de o variabil¼a real¼a, tinândcont de echivalenta dintre monotonia lui f 0 si semnul lui f 00 este su�cient s¼aar¼at¼am c¼a f este convex¼a dac¼a si numai dac¼a f 0 este cresc¼atoare pe I: Dac¼af este convex¼a, monotonia derivatei rezult¼a din Propozitia 2.2.7. Invers,presupunem c¼a f 0 este cresc¼atoare si ar¼at¼am c¼a f este convex¼a. Fie a; b 2 I:De�nim g : [a; b]! R dat¼a prin

g(x) = f(x)� f(a)� (x� a)f(b)� f(a)b� a :

Evident, g(a) = g(b) = 0; iar

g0(x) = f 0(x)� f(b)� f(a)b� a :

Functia f satisface conditiile Teoremei lui Lagrange pe [a; b], deci exist¼ac 2 (a; b) a.î.

f(b)� f(a)b� a = f 0(c):

40

Prin urmare, g0(x) = f 0(x) � f 0(c): Din monotonia lui f 0 deducem c¼a geste descresc¼atoare pe intervalul (a; c) si cresc¼atoare pe intervalul (c; b); iardin g(a) = g(b) = 0 obtinem c¼a g este negativ¼a pe tot intervalul [a; b]: Fie� 2 (0; 1): Atunci

x = �a+ (1� �)b 2 (a; b):Înlocuim în expresia lui g si tinând cont c¼a g(x) � 0 deducem

f(�a+ (1� �)b)� f(a)� (1� �)(b� a)f(b)� f(a)b� a � 0;

relatie care se reduce la de�nitia convexit¼atii. �

Exemplul 2.2.9 Pe baza rezultatului de mai sus, deducem convexitateaurm¼atoarelor functii: f : R! R; f(x) = ax+ b; cu a; b 2 R; f : (0;1)! R;f(x) = � lnx; f : (0;1)! R; f(x) = x lnx; f : (0;1)! R; f(x) = xa; a �1; f : R! R; f(x) = ex; f : (�1; 1)! R; f(x) = �

p1� x2; f : (0; �)! R;

f(x) = sin�1 x:

Un alt exemplu este dat de rezultatul urm¼ator.

Propozitia 2.2.10 Fie D � Rp o multime convex¼a nevid¼a. Atunci functiadD : Rp ! R dat¼a prin dD(x) = d(x;D) este convex¼a.

Demonstratie Fie x; y 2 Rp si � 2 [0; 1]: Pentru orice " > 0; exist¼a dx;";dy;" 2 D a.î.

kdx;" � xk < dD(x) + "kdy;" � yk < dD(y) + ":

Dar, din convexitatea lui D;

dD(�x+ (1� �)y) � k�x+ (1� �)y � (�dx;" + (1� �)dy;")k� � kdx;" � xk+ (1� �) kdy;" � yk< �dD(x) + (1� �)dD(y) + "

Cum " este arbitrar putem trece la limit¼a cu "! 0 si obtinem concluzia. �

Caracteriz¼am acum functiile convexe diferentiabile generale.

Teorema 2.2.11 Fie D � Rp o multime convex¼a si deschis¼a si �e f : D !R o functie.

41

(i) Dac¼a f este diferentiabil¼a pe D atunci f este convex¼a dac¼a si numaidac¼a pentru orice x; y 2 D;

f(y) � f(x) +rf(x)(y � x):

(ii) Dac¼a f este diferentiabil¼a de ordinul al doilea pe D; atunci f esteconvex¼a dac¼a si numai dac¼a pentru orice x 2 D si y 2 Rp are loc

r2f(x)(y; y) � 0:

Demonstratie (i) Consider¼am pentru început cazul p = 1: Fix¼am x 2 D cuy 6= x si lu¼am � 2 (0; 1]. Cum f este convex¼a, obtinem

f (x+ � (y � x)) = f ((1� �)x+ �y)� (1� �) f(x) + �f(y) = f(x) + � (f (y)� f (x)) :

Prin urmare,

f (x+ � (y � x))� f (x)� (y � x) � (y � x) � f (y)� f (x) :

Trecând la limit¼a cu �! 0, obtinem f 0 (x) (y � x) � f (y)� f (x).Trecem acum la cazul general. Pentru x 2 D consider¼am functia 'y;x

din Propozitia 2.2.4 despre care stim c¼a este convex¼a. Mai mult, 'y;x estederivabil¼a pe intervalul deschis Iy;x si

'0y;x(t) = rf(ty + (1� t)x)(y � x):

Conform pasului anterior,

'y;x(1) � 'y;x(0) + '0y;x(0)

ceea ce înseamn¼a c¼a

f(y) � f(x) +rf(x)(y � x):

Reciproc, �x¼am x; y 2 D si � 2 [0; 1]. Astfel, din ipotez¼a,

f (x) � f (�x+ (1� �)y) + (1� �)rf (�x+ (1� �)y) (x� y)

si

f (y) � f (�x+ (1� �)y) + �rf (�x+ (1� �)y) (y � x) :

42

Înmultind prima inegalitate cu � si a doua inegalitate cu (1��) si adunândnoile inegalit¼ati, obtinem

�f (x) + (1� �)f (y) � f (�x+ (1� �)y) ;ceea ce demonstreaz¼a c¼a f este convex¼a.(ii) Cazul p = 1 este demonstrat în Teorema 2.2.8. Acum, pentru a

demonstra cazul general, �e x 2 D; y 2 Rp: Presupunem c¼a f este convex¼a.Cum D este deschis¼a, exist¼a � > 0 a.î. u := x + �y 2 D: Conform ipotezei'u;x este convex¼a si din cazul discutat mai sus, '00u;x(t) � 0 pentru oricet 2 Iu;x: Pentru t = 0; deducem

0 � '00u;x(0) = r2f(x)(u� x; u� x);

de unde se obtine concluzia. Invers, pentru x; y 2 D si t 2 Ix;y; '00x;y(t) � 0:Din cazul p = 1; obtinem c¼a 'x;y este convex¼a, deci f este convex¼a. Demon-stratia este complet¼a. �

Din aceste rezultate se observ¼a c¼a anumite propriet¼ati ale functiilor con-vexe au un caracter global, lucru ce se va constata si în continuare.S¼a mai constat¼am c¼a o functie diferentiabil¼a este convex¼a simultan cu

opusa sa dac¼a si numai dac¼a este a�n¼a. Într-adev¼ar, ambele propriet¼atiimplic¼a egalitatea

f(y) = f(x) +rf(x)(y � x); 8x; y 2 D;

adic¼a, �xând x;

f(y) = rf(x)(y) + (f(x)�rf(x)(x)) ; y 2 D;

ceea ce înseamn¼a c¼a f se scrie ca suma dintre o functie liniar¼a si o constant¼a.

În �nal, de�nim o proprietate mai tare decât convexitatea.

De�nitia 2.2.12 Fie D � Rp o multime convex¼a. O functie f : D ! R senumeste strict convex¼a dac¼a

f(�x+ (1� �)y) < �f(x) + (1� �)f(y); 8x; y 2 D; x 6= y; 8� 2 (0; 1):

De�nitia 2.2.13 Fie D � Rp o multime convex¼a. O functie f : D ! R senumeste strict concav¼a dac¼a �f este strict convex¼a.

Evident, orice functie strict convex¼a este convex¼a în timp ce reciproca estefals¼a: este su�cient s¼a consider¼am o functie convex¼a care s¼a �e constant¼a peun interval. Din nou, propriet¼atile functiilor strict concave se deduc dinpropriet¼atile functiilor strict convexe.Folosind argumente cu totul similare celor din rezultatele precedente de-

ducem urm¼atoarele caracteriz¼ari.

43

Teorema 2.2.14 Fie I un interval deschis si f : I ! R o functie derivabil¼a.Urm¼atoarele a�rmatii sunt echivalente:(i) f este strict convex¼a;(ii) f (x) > f (a) + f 0 (a) (x� a) ; pentru orice x; a 2 I; x 6= a;(iii) f 0 este strict cresc¼atoare.Dac¼a, în plus, f este de dou¼a ori derivabil¼a (pe I), atunci avem si

echivalenta cu(iv) f 00(x) � 0 pentru orice t 2 I si fx 2 I j f 00(x) = 0g nu contine niciun

interval propriu.

Exemplul 2.2.15 Folosind acest rezultat obtinem c¼a urm¼atoarele functiisunt strict convexe: f : (0;1)! R; f(x) = � lnx; f : (0;1)! R; f(x) =x lnx; f : (0;1)! R; f(x) = xa; a > 1; f : R! R; f(x) = ex; f : (0;1)!R; f(x) = (1 + xp)

1p ; p > 1:

Teorema 2.2.16 Fie D � Rp o multime convex¼a si deschis¼a si f : D ! Ro functie diferentiabil¼a. Urm¼atoarele a�rmatii sunt echivalente:(i) f este strict convex¼a;(ii) f (x) > f (a) +rf(a) (x� a) ; pentru orice x; a 2 D; x 6= a:Dac¼a, în plus, f este de dou¼a ori diferentiabil¼a (pe D), atunci cele dou¼a

a�rmatii de mai sus sunt implicate de relatia:(iii) r2f(x)(y; y) > 0 pentru orice x 2 D si y 2 Rp n f0g:

Urm¼atoarea propozitie, numit¼a si inegalitatea lui Jensen2 rezult¼a prinaplicarea de�nitiilor si a principiului inductiei matematice.

Propozitia 2.2.17 Fie D � Rp o multime convex¼a si f : D ! R: Dac¼afunctia f este convex¼a atunci

f(�1x1 + :::+ �mxm) � �1f(x1) + :::+ �mf(xm)

pentru orice m 2 N�; x1; :::; xm 2 D; �1; :::; �m � 0; �1 + ::: + �m = 1:Inegalitatea este strict¼a dac¼a functia f este strict convex¼a, cel putin dou¼a dinpunctele (xk) sunt distincte si scalarii (�k) corespunz¼atori sunt strict pozitivi.

De fapt, pentru convexitatea unei functii continue este su�cient s¼a aib¼aloc inegalitatea din de�nitie pentru � = 2�1:

Teorema 2.2.18 Fie I � R un interval si f : I ! R o functie continu¼a.Functia f este convex¼a dac¼a si numai dac¼a

f

�x+ y

2

�� f(x) + f(y)

2; 8x; y 2 I: (2.7)

2Johan Ludwig William Valdemar Jensen (1859 �1925), matematician si inginer danez.

44

Demonstratie Necesitatea conditiei (2.7) evident¼a. S¼a demonstr¼am su�cienta.Presupunem, prin reducere la absurd, c¼a f nu este convex¼a, ceea ce înseamn¼ac¼a (2.6) nu are loc. Atunci exist¼a x; y 2 I; x < y si u 2 (x; y) a.î.

f(u) > f(x) +f(y)� f(x)y � x (u� x): (2.8)

S¼a observ¼am c¼a variantele u = x si u = y sunt înl¼aturate tot de relatia (2.8).Fie atunci g : [x; y]! R;

g(t) = f(t)� f(x)� f(y)� f(x)y � x (t� x);

functie care este continu¼a si satisface relatiile g(x) = g(y) = 0: Din (2.8)si Teorema lui Weierstrass exist¼a z 2 (x; y) a.î. g(z) = supt2[x;y] g(t) > 0:Not¼am cu

w := inffz 2 (x; y) j g(z) = supt2[x;y]

g(t)g:

Din continuitatea lui g rezult¼a c¼a g(w) = supt2[a;b] g(t) > 0 si deci w 2 (x; y):Prin urmare, exist¼a h > 0 a.î. w + h;w � h 2 (x; y): Dar w = 2�1(w + h) +2�1(w � h) si g(w) � g(w + h) si g(w) > g(w � h): Prin urmare,

g(w � h) + g(w + h)2

< g(w) = f(w)� f(x)� f(y)� f(x)y � x (w � x)

� f(w + h) + f(w � h)2

� f(x)�

f(y)� f(x)y � x

�w + h+ w � h

2� x�

=g(w � h) + g(w + h)

2;

ceea ce reprezint¼a o contradictie. Asadar presupunerea f¼acut¼a este fals¼a, decif este convex¼a. �

Corolarul 2.2.19 Fie I � R un interval si f : I ! R o functie continu¼a.Functia f este convex¼a dac¼a si numai dac¼a pentru orice x 2 I si h > 0 cux+ h; x� h 2 I;

f(x+ h) + f(x� h)� 2f(x) � 0:

Evident, pentru cazul functiilor strict convexe, rezultatele se formuleaz¼acorespunz¼ator.

45

Propozitia 2.2.20 Fie I � R un interval si f : I ! R o functie continu¼a.Functia f este strict convex¼a dac¼a si numai dac¼a

f

�x+ y

2

�<f(x) + f(y)

2; 8x; y 2 I; x 6= y:

Corolarul 2.2.21 Fie I � R un interval si f : I ! R o functie continu¼a.Functia f este strict convex¼a dac¼a si numai dac¼a pentru orice x 2 I si h > 0cu x+ h; x� h 2 I;

f(x+ h) + f(x� h)� 2f(x) > 0:Pentru cazul tripletelor, are loc rezultatul urm¼ator care a fost demonstrat

în 1965 de c¼atre matematicianul român Tiberiu Popoviciu.

Teorema 2.2.22 Fie I � R un interval si f : I ! R o functie continu¼a.Functia f este convex¼a dac¼a si numai dac¼a pentru orice x; y; z 2 I;

2

3

�f

�x+ y

2

�+ f

�y + z

2

�+ f

�z + x

2

��� f

�x+ y + z

3

�+f(x) + f(y) + f(z)

3: (2.9)

Demonstratie Demonstr¼ammai întâi necesitatea conditiei (2.9): Ca si în cazulTeoremei 2.2.18, continuitatea nu este implicat¼a la acest pas. F¼ar¼a a restrân-ge generalitatea presupunem c¼a x � y � z: Dac¼a y � 3�1(x+ y + z); atunci

x+ y + z

3� x+ z

2� z si x+ y + z

3� y + z

2� z;

deci exist¼a s; t 2 [0; 1] a.î.x+ z

2= s

x+ y + z

3+ (1� s)z

y + z

2= tx+ y + z

3+ (1� t)z:

Prin sumare, obtinem

(x+ y � 2z)(s+ t� 2�13) = 0:Dac¼a x+ y = 2z atunci x = y = z si (2.9) este evident¼a. Dac¼a s+ t = 2�13;atunci sum¼am inegalit¼atile

f

�x+ z

2

�� sf

�x+ y + z

3

�+ (1� s)f(z)

f

�y + z

2

�� tf

�x+ y + z

3

�+ (1� t)f(z)

f

�x+ y

2

�� f(x) + f(y)

2

46

si prin înmultire cu 3�12 obtinem (2.9): Cazul y > 3�1(x+ y+ z) se studiaz¼asimilar.Pentru a demonstra su�cienta, s¼a observ¼am c¼a pentru y = z în (2.9)

obtinem1

4f(x) +

3

4f

�x+ 2y

3

�� f

�x+ y

2

�; 8x; y 2 I:

Din acest moment, putem urma, cu modi�c¼arile necesare, toate argumenteledin demonstratia su�cientei de la Teorema 2.2.18. �

Dac¼a f este strict convex¼a, atunci inegalitatea lui Popoviciu (2.9) estestrict¼a cu exceptia cazului x = y = z:

2.2.2 Inegalit¼ati

Ne propunem acum s¼a formul¼am diverse inegalit¼ati care se pot obtine pe bazarezultatelor generale deduse anterior. În multe cazuri, aceste inegalit¼ati pot�v¼azute ca exemple de probleme de optimizare discret¼a si au, în general, undomeniu vast de aplicabilitate în diverse ramuri matematice.

Începem cu o ra�nare a inegalit¼atii din Teorema 2.2.18, cunoscut¼a subnumele de Inegalitatea Hermite3-Hadamard4.

Teorema 2.2.23 (Hermite-Hadamard) Fie a; b 2 R; a < b si f : [a; b] ! Ro functie convex¼a. Atunci are loc inegalitatea

f

�a+ b

2

�� 1

b� a

Z b

a

f(x)dx � f(a) + f(b)

2:

Egalitatea are loc dac¼a si numai dac¼a f este a�n¼a.

Demonstratie Mai întâi s¼a preciz¼am c¼a, datorit¼a continuit¼atii lui f pe (a; b);integrala (în sens Riemann) are sens. Din convexitate, pentru orice � 2 [0; 1];

f(�a+ (1� �)b) � �f(a) + (1� �)f(b):

Prin integrare în raport cu �, obtinemZ 1

0

f(�a+ (1� �)b)d� � f(a) + f(b)

2:

3Charles Hermite (1822 �1901), matematician francez.4Jacques Salomon Hadamard (1865 �1963), matematician francez.

47

Pe de alt¼a parte, pentru orice �

f

�a+ b

2

�= f

��a+ (1� �)b

2+(1� �)a+ �b

2

�� 1

2f(�a+ (1� �)b) + 1

2f((1� �)a+ �b):

Integrând din nou în raport cu � si f¼acând o schimbare de variabil¼a,

f

�a+ b

2

�� 1

2

Z 1

0

f(�a+ (1� �)b)d�+ 12

Z 1

0

f((1� �)a+ �b)d�

=

Z 1

0

f(�a+ (1� �)b)d�:

Asadar,

f

�a+ b

2

��Z 1

0

f(�a+ (1� �)b)d� � f(a) + f(b)

2:

În sfârsit, facem schimbarea de variabil¼a �a + (1 � �)b = x în integral¼a siobtinem inegalit¼atile dorite.S¼a observ¼am c¼a a doua inegalitate poate �dedus¼a prin integrarea relatiei

(2.6) scris¼a pentru intervalul [a; b]:Pentru a doua concluzie, de�nim g : [a; b]! R;

g(x) := f(a) +f(b)� f(a)b� a (x� a):

În general, f(x) � g(x) pentru orice x 2 [a; b]: Dac¼a f este a�n¼a, atunci

f(x) = g(x); 8x 2 [a; b];

iar un calcul direct demonstreaz¼a egalitatea în acest caz. Invers, presupunemc¼a are loc egalitatea, dar f nu este a�n¼a. Atunci exist¼a x 2 (a; b) cu

f(x) < g(x):

Fie � > 0 a.î.f(x) < g(x)� �:

Din continuitatea ambilor membri în x; exist¼a " > 0 a.î. (x�"; x+") � (a; b)si

f(x) < g(x)� �; 8x 2 (x� "; x+ "):

48

Atunci Z b

a

f(x)dx =

Z x�"

a

f(x)dx+

Z x+"

x�"f(x)dx+

Z b

x+"

f(x)dx

�Z x�"

a

g(x)dx+

Z x+"

x�"(g(x)� �)dx+

Z b

x+"

g(x)dx

=

Z b

a

g(x)dx� 2�" = (b� a)f(a) + f(b)2

� 2�":

Deci, Z b

a

f(x)dx < (b� a)f(a) + f(b)2

;

ceea ce reprezint¼a o contradictie. �

Folosind inegalitatea lui Jensen (Teorema 2.2.17) pentru diverse functiiputem deduce unele inegalit¼ati clasice. Un astfel de exemplu este functiastrict convex¼a f : R! R; f(x) = ex: Fie n 2 N� si x1; x2; :::; xn 2 R;�1; �2; :::; �n > 0 cu

Pnk=1 �k = 1: Aplicând Teorema 2.2.17, deducem

ePnk=1 �kxk �

nXk=1

�kexk (2.10)

cu egalitate doar în cazul x1 = x2 = ::: = xn: Fie a1; a2; :::; an > 0 si xk = ln akpentru orice k 2 1; n: Atunci, din (2.10), deducem

a�11 a�22 :::a

�nn �

nXk=1

�kak: (2.11)

Din nou, egalitatea are loc dac¼a si numai dac¼a a1 = a2 = ::: = an: Aceast¼ainegalitate se mai numeste inegalitatea generalizat¼a a mediilor pentru c¼a,dac¼a se ia în (2:11) �1 = �2 = ::: = �n = n�1; se obtine inegalitatea cunoscut¼adintre media geometric¼a si media aritmetic¼a:

(a1a2:::an)1n � a1 + a2 + :::+ an

n:

Pentru transformarea xk ! x�1k în loc de (2:11) se obtine

a�11 a�22 :::a

�nn � 1Pn

k=1�kak

;

iar de aici (din nou pentru �1 = �2 = ::: = �n = n�1) inegalitatea dintremedia geometric¼a si media armonic¼a

n1a1+ 1

a2+ :::+ 1

an

� (a1a2:::an)1n :

49

Tot din (2:11) pentru n = 2; a1 = u > 0; a2 = v > 0; �1 =1p; �2 =

1qcu

p; q > 1; 1p+ 1

q= 1 se deduce

u1pv

1q � u

p+v

q: (2.12)

Înlocuind u = "ap; v = 1"bq cu a; b; " > 0 g¼asim

ab � "ap

p+1

"

bq

q;

iar pentru " = 1;

ab � ap

p+bq

q; 8p; q > 1; 1

p+1

q= 1; a; b > 0: (2.13)

Egalitatea are loc dac¼a si numai dac¼a ap = bq: Relatia (2.13) se numesteinegalitatea lui Young5.

Inegalitatea lui Hölder6 se poate obtine prin mai multe metode. Aici oprezent¼am ca o consecint¼a a inegalit¼atii (2.12). Fie p; q > 1; 1

p+ 1

q= 1;

x1; x2; :::; xn > 0 si y1; y2; :::; yn > 0: Atunci lu¼am, pentru un num¼ar naturalk �xat arbitrar, u := xpkPn

k=1 xpksi v := yqkPn

k=1 yqk: Din (2.12),

xk

(Pn

k=1 xpk)

1p

yk

(Pn

k=1 yqk)

1q

� 1

p

xpkPnk=1 x

pk

+1

q

yqkPnk=1 y

qk

:

Scriem aceast¼a relatie pentru k 2 1; n si sum¼am. G¼asim inegalitatea luiHölder:

nXk=1

xkyk �

nXk=1

xpk

! 1p

nXk=1

yqk

! 1q

:

Asa cum se poate observa, egalitatea are loc dac¼a si numai dac¼a elementele(xpk)k21;n si (y

qk)k21;n sunt proportionale.

De aici putem obtine inegalitatea lui Minkowski7. Fie p > 1 si x1; x2; :::; xn> 0; y1; y2; :::; yn > 0: Atunci, prin aplicarea inegalit¼atii precedente (folosind

5William Henry Young (1863 �1942), matematician englez.6Otto Ludwig Hölder (1859 �1937), matematician german.7Hermann Minkowski (1864 �1909), matematician german.

50

notatia q = pp�1),

nXk=1

(xk + yk)p =

nXk=1

xk(xk + yk)p�1 +

nXk=1

yk(xk + yk)p�1

�

nXk=1

xpk

! 1p

nXk=1

(xk + yk)(p�1)q

! 1q

+

nXk=1

ypk

! 1p

nXk=1

(xk + yk)(p�1)q

! 1q

=

0@ nXk=1

xpk

! 1p

+

nXk=1

ypk

! 1p

1A nXk=1

(xk + yk)p

! 1q

;

de unde nXk=1

(xk + yk)p

! 1p

�

nXk=1

xpk

! 1p

+

nXk=1

ypk

! 1p

:

Diverse inegalit¼ati se pot obtine si pe baza observatiei urm¼atoare caredecurge din inegalitatea lui Jensen: dac¼a f este o functie convex¼a pe (0;1)si x1; x2; :::; xn > 0 si y1; y2; :::; yn > 0 atunci

f

�Pnk=1 xkykPnk=1 xk

��Pn

k=1 xkf (yk)Pnk=1 xk

:

Un alt exemplu este inegalitatea

(x1x2:::xn)x1+x2+:::+xn

n � xx11 xx22 :::xxnn ; 8x1; x2; :::; xn > 0;

care se obtine combinând inegalitatea mediilor cu inegalitatea lui Jensenaplicat¼a pentru functia convex¼a f : (0;1)! R; f(x) = x lnx:

2.3 Principiul lui Banach de punct �x

Aceast¼a sectiune este dedicat¼a Principiului lui Banach de punct �x care esteunul dintre rezultatele fundamentale ale analizei neliniare.Fie f : Rp ! Rp. Un punct x 2 Rp pentru care f(x) = x se numeste

punct �x al lui f . Prin rezultat de punct �x vom întelege un rezultat careasigur¼a existenta punctelor �xe pentru o functie dat¼a.Teorema lui Banach de punct �x (sau Principiul lui Banach de punct

�x) este un rezultat care asigur¼a, în anumite conditii, atât existenta, cât si

51

unicitatea punctului �x. Aceast¼a teorem¼a st¼a la baza obtinerii a numeroaserezultate matematice remarcabile cum ar �, printre altele, teorema functiilorimplicite sau teoreme privind existenta si unicitatea solutiei unor ecuatii sisisteme diferentiale.

2.3.1 Contractii si puncte �xe

Începem cu o de�nitie.

De�nitia 2.3.1 Fie A � Rp. O aplicatie f : A! Rq se numeste contractiepe A dac¼a exist¼a o constant¼a real¼a � 2 (0; 1) asa încât kf(x)� f(y)k �� kx� yk, pentru orice x; y 2 A:

Remarc¼am c¼a � nu depinde de x si y; iar prin aplicarea functiei f uneiperechi de puncte din A, distanta dintre ele se micsoreaz¼a (se contract¼a).Notiunea de contractie este un caz particular al conceptului de functie Lip-schitz (De�nitia 1.3.25), deci, în particular, orice contractie este functie con-tinu¼a (Propozitia 1.3.26).

Are loc urm¼atoarea a�rmatie care este deseori utilizat¼a pentru a ar¼ata c¼ao functie este Lipschitz: dac¼a A � Rp este o multime convex¼a si deschis¼a,f : A ! R este de clas¼a C1 pe A si exist¼a M > 0 a.î. krf(x)k � Mpentru orice x 2 A; atunci f este Lipschitz pe A: Demonstratia acestui faptse sprijin¼a pe Formula lui Taylor: pentru orice dou¼a puncte x; y 2 A putemaplica Teorema 1.4.4 functiei f pe [x; y]; deci deducem existenta unui elementcx;y 2 (x; y) � A cu proprietatea c¼a

jf(x)� f(y)j = jrf(cx;y)(x� y)j �M kx� yk :

Prin urmare, f este Lipschitz pe A: Enunt¼am un caz particular imediat alacestei observatii.

Propozitia 2.3.2 Fie A � Rp multime convex¼a si deschis¼a si f : A! R declas¼a C1 pe A satisf¼acând conditia c¼a exist¼a M 2 (0; 1) a.î. krf(x)k � Mpentru orice x 2 A: Atunci f este contractie pe A:

Evident, pentru p = 1 putem considera ca multime A în propozitia ante-rioar¼a si intervale închise sau închise doar într-un singur cap¼at.

Exemplul 2.3.3 Functia f : Rp ! Rp de�nit¼a prin f(x) = 12x este o con-

tractie a lui Rp în el însusi întrucât:

kf(x)� f(y)k = 1

2kx� yk :

52

Exemplul 2.3.4 Fie A = [0;1) si functia f : A! A, de�nit¼a prin f(x) =1

1+x2. Functia f este contractie pe A, lucru pe care îl ar¼at¼am folosind Propo-

zitia 2.3.2. Pentru functia f de�nit¼a anterior derivata sa este

f 0(x) =

�1

1 + x2

�0= � 2x

(1 + x2)2

si deci

jf 0(x)j = 2x

(1 + x2)2:

De�nim functia auxiliar¼a g : [0;1) ! [0;1) dat¼a prin g(x) = 2x(1+x2)2

.Derivata acestei functii este

g0(x) =2(1 + x2)2 � 2x � 2(1 + x2) � 2x

(1 + x2)4

=2(1 + x2)(1 + x2 � 4x2)

(1 + x2)4= 2

1� 3x2(1 + x2)3

:

Observ¼am c¼a x = 1p3este punctul pozitiv de maxim pentru functia g si

g( 1p3) = 9

8p3< 1. Deci jf 0(x)j � 9

8p3< 1 oricare ar � x 2 [0;1). Rezult¼a

din Propozitia 2.3.2 c¼a f este contractie.

Formul¼am acum rezultatul principal anuntat. Mention¼am c¼a Teoremalui Banach de punct �x a fost demonstrat¼a de c¼atre matematicianul polonezStefan Banach în 1922 în cadrul spatiilor normate complete.

Teorema 2.3.5 (Teorema lui Banach de punct �x) Fie A � Rp o multimeînchis¼a nevid¼a si f : A ! A o contractie. Atunci f admite un unic punct�x.

Demonstratie Ca de obicei în cazul rezultatelor de existent¼a si unicitate,împ¼artim demonstratia în dou¼a etape. Ar¼at¼am mai întâi existenta si apoiunicitatea punctului �x. Conform de�nitiei, exist¼a un num¼ar real � 2 (0; 1)astfel încât

kf(x)� f(y)k � � kx� yk ;pentru orice x; y 2 A: S¼a consider¼am x0 2 A un punct arbitrar si s¼a not¼am cux1 = f(x0), x2 = f(x1); :::; xn = f(xn�1); operatie care se poate face pentruorice num¼ar natural n: Se observ¼a c¼a x2 = f(f(x0)) = f 2(x0) si, în general,xn = f

n(x0) (am notat f 2 în loc de f �f si în general fn în loc de f �f � :::�fde n ori). Ar¼at¼am c¼a (xn)n2N este un sir Cauchy. Au loc relatiile

kx2 � x1k = kf(x1)� f(x0)k � � kx1 � x0k ;

53

kx3 � x2k = kf(x2)� f(x1)k � � kx2 � x1k � �2 kx1 � x0k :Folosind metoda inductiei matematice se obtine inegalitatea

kxn+1 � xnk � �n kx1 � x0k

pentru orice n 2 N�. Pentru m;n 2 N�; numere naturale arbitrare, putemscrie succesiv:

kxm+n � xnk � kxn+1 � xnk+ kxn+2 � xn+1k+ � � �+ kxn+m � xn+m�1k� �n kx1 � x0k+ �n+1 kx1 � x0k+ � � �+ �n+m�1 kx1 � x0k

= kx1 � x0k (�n + �n+1 + � � �+ �n+m�1) = kx1 � x0k�n1� �m1� �

� kx1 � x0k�n

1� �:

Deci

kxn+m � xnk ��n

1� � kx1 � x0k (2.14)

pentru orice n;m 2 N�. Dac¼a kx1 � x0k = 0 rezult¼a c¼a f(x0) = x0; adic¼a x0este punct �x si deci existenta punctului �x este asigurat¼a. Dac¼a kx1 � x0k 6=0, atunci, folosind faptul c¼a � 2 (0; 1); deducem c¼a

limn!1

�n

1� � = 0;

deci

limn!1

�n

1� � kx1 � x0k = 0:

Scriind caracterizarea cu " a acestei convergente, rezult¼a c¼a pentru orice" > 0, exist¼a n" 2 N�, a.î. pentru orice n � n" avem

�n

1� � kx1 � x0k < ":

Combinând aceast¼a relatie cu relatia (2.14) rezult¼a c¼a pentru orice " > 0,exist¼a n" 2 N�, a.î. pentru orice n � n" si orice m 2 N, are loc

kxn+m � xnk < ":

Am obtinut astfel faptul c¼a (xn) este un sir Cauchy si cum Rp este un spatiucomplet, sirul (xn)n2N este convergent, deci exist¼a x 2 Rp cu limn!1 xn = x.Cum (xn) � A si A este închis¼a, deducem c¼a x 2 A: Reamintim c¼a sirul estedat prin relatia

x0 2 Rp; f(xn) = xn+1; 8n 2 N: (2.15)

54

Functia f este continu¼a deoarece orice contractie este continu¼a (a se vedeaPropozitia 1.3.26). Deci, din propriet¼atile functiilor continue, exist¼a limitasirului (f(xn))n si este egal¼a cu f(x). În relatia (2.15) trecem la limit¼a pentrun!1 si obtinem

limn!1

f(xn) = limn!1

xn+1;

adic¼af(x) = x;

deci x este punct �x. Existenta este demonstrat¼a.Pentru a demonstra unicitatea, s¼a presupunem c¼a ar exista dou¼a puncte

�xe diferite x si y. Atunci

kx� yk = kf(x)� f(y)k � � kx� yk :

Cum kx� yk > 0 rezult¼a 1 � � ceea ce este absurd. Prin urmare exist¼aun singur punct �x. �

Rezultatul de mai sus este foarte important si merit¼a comentat pe larg.Analiza enuntului, dar si a demonstratiei ne ofer¼a si alte concluzii utile. Maiîntâi, s¼a vedem cum a fost obtinut (în partea de existent¼a) punctul �x: pentru�ecare punct initial x0 2 A sirul dat de relatia (2.15) converge c¼atre uniculpunct �x x al aplicatiei f: Revenind la inegalit¼atile de mai sus, au loc relatiile:

kxn � x0k � kx1 � x0k+ kx2 � x1k+ � � �+ kxn � xn�1k� kx1 � x0k+ � kx1 � x0k+ � � �+ �n�1 kx1 � x0k

= kx1 � x0k (1 + �+ �2 + � � �+ �n�1) = kx1 � x0k1� �n1� � ;

de unde prin trecere la limit¼a cu n!1 deducem

kx0 � xk �1

1� � kx0 � f(x0)k :

Astfel, de fapt, pentru orice x 2 A are loc relatia

kx� xk � 1

1� � kx� f(x)k : (2.16)

În plus avem urm¼atoarele estim¼ari:

kxn � xk � kx1 � x0k�n

1� � (2.17)

pentru orice n 2 N� care rezult¼a din relatia (2.14) prin trecere la limit¼apentru m!1:

55

Estimarea "a priori" astfel obtinut¼a ajut¼a la determinarea num¼aruluimaxim de pasi ai iteratiei din relatia (2.15) pentru obtinerea preciziei doriteîn estimarea punctului �x, cunoscându-se valoarea initial¼a x0 si valoareax1 = f(x0); lucru de care ne vom folosi atunci când vom discuta unii al-goritmi. Mai exact, pentru o obtine o eroare mai mic¼a decât " > 0 estenevoie ca

kx1 � x0k�n

1� � < "

ceea ce conduce la concluzia c¼a este necesar un num¼ar de iteratii n mai maredecât valoarea ���� lg "+ lg(1� �)� lg(kx1 � x0k)lg �

���� : (2.18)

De exemplu, dac¼a dorim ca " sa �e de forma 10�m, ordinul de m¼arime a luin este de tip

m

jlg �j + constant¼a

iar, pentru a obtine o precizie suplimentar¼a de o zecimal¼a e nevoie s¼a supli-ment¼am num¼arul de iteratii cu jlg �j�1 : Astfel, cu cât � este mai aproapede 0 aceast¼a valoare este mai mic¼a si va trebui s¼a iter¼am de mai putine oripentru a avea precizia dorit¼a. De asemenea, se observ¼a din relatia (2.18) c¼ao valoare mic¼a a lui kx1 � x0k duce de asemenea la sc¼aderea num¼arului deiteratii necesare unei precizii prestabilite. Deci, în cazul unor algoritmi, estede preferat s¼a se plece cu puncte cât mai apropiate de punctul �x c¼autat.Asupra efectelor computationale descrise aici vom reveni cu exemple concreteîn penultimul capitol.Mai putem obtine si urm¼atoarea estimare:

kxn � xk ��

1� � kxn � xn�1k (2.19)

care se obtine tot prin trecere la limit¼a pentru m!1 în inegalitatea

kxn+m � xnk � kxn+1 � xnk+ kxn+2 � xn+1k+ � � �+ kxn+m � xn+m�1k� � kxn � xn�1k+ �2 kxn � xn�1k+ � � �+ �m kxn � xn�1k= (�+ �2 + :::+ �m) kxn � xn�1k :

Viteza de convergent¼a a sirului (xn) este dat¼a de aproximarea

kxn+1 � xk � � kxn � xk

care se deduce din sirul de relatii

kxn+1 � xk = kf(xn)� f(x)k � � kxn � xk :

56

Asupra vitezei de convergent¼a vom reveni pe larg în Capitolul 4.O alt¼a inegalitate ce se obtine imediat din de�nitia contractiei este

kxn � xk � �n kx0 � xk ; 8n 2 N:

În afar¼a de aceste observatii ce tin de modul de convergent¼a a iteratiilorc¼atre punctul �x, facem si câteva observatii privitoare la ipotezele teoremei.

Observatia 2.3.6 Teorema lui Banach de punct �x arat¼a nu numai exis-tenta si unicitatea punctului �x ci, în acelasi timp, ne ofer¼a o metod¼a pentruobtinerea cu aproximatie a punctului x si de asemenea ne permite punereaîn evident¼a a unei formule pentru aprecierea erorii ce se produce considerândrespectiva aproximatie. Aceast¼a metod¼a de aproximare a solutiei prin ter-menii sirului xn = fn(x0) se numeste metoda aproximatiilor succesive saumetoda aproximatiilor Picard dup¼a numele matematicianuui francez CharlesÉmile Picard care a initiat aceast¼a metod¼a în 1890.

Observatia 2.3.7 Ipoteza � < 1 este esential¼a atât pentru existenta câtsi pentru unicitatea punctului �x. Astfel se vede, spre exemplu, c¼a pentruaplicatia identic¼a f(x) = x, pentru orice x 2 R; orice punct al lui R estepunct �x, în timp ce aplicatia f(x) = x + 1, pentru orice x 2 R; nu posed¼aniciun punct �x. În ambele cazuri � = 1.

Observatia 2.3.8 Dac¼a A nu este închis¼a, se pierde argumentul de com-pletitudine si rezultatul Teoremei lui Banach nu se mai p¼astreaz¼a. Spre e-xemplu, aplicatia f : (0; 1] ! (0; 1] de�nit¼a prin f(x) = x

2nu are niciun

punct �x desi este contractie.

Tot pentru a ilustra conditiile din principiul lui Banach, introducem oproprietate mai slab¼a decât conceptul de contractie.

De�nitia 2.3.9 O functie f : Rp ! Rp se numeste contractie slab¼a dac¼a

8x; y 2 Rp; x 6= y; kf(x)� f(y)k < kx� yk :

Exemplul 2.3.10 Exist¼a contractii slabe, de�nite pe multimi închise, f¼ar¼apuncte �xe. Consider¼am urm¼atorul exemplu. Fie f : R! R, de�nit¼a prin

f(x) = 1 + x� x

1 + jxj :

Evident f(x) > x pentru orice x 2 R si deci f nu are puncte �xe. Pe de alt¼aparte, f este o contractie slab¼a, lucru care se arat¼a considerând în relatia

jf(x)� f(y)j =����(x� y)� � x

1 + jxj �y

1 + jyj

�����57

mai multe situatii.Dac¼a x; y � 0; avem:

jf(x)� f(y)j =����x� y � � x

1 + x� y

1 + y

����� = ����x� y � x� y(1 + x)(1 + y)

����=

����(x� y)�1� 1

(1 + x)(1 + y)

����� < jx� yjdeoarece x 6= y si

1� 1

(1 + x)(1 + y)2 (0; 1):

Dac¼a x; y < 0, avem:

jf(x)� f(y)j =����x� y � � x

1� x �y

1� y

����� = ����(x� y)� x� y(1� x)(1� y)

����=

����(x� y)�1� 1

(1� x)(1� y)

����� < jx� yjdeoarece x 6= y si

1� 1

(1� x)(1� y) 2 (0; 1):

Dac¼a x > 0 si y < 0; avem:

jf(x)� f(y)j <����x� y � � x

1 + x� y

1� y

����� = ����(x� y)� (x� y)� 2xy(1 + x)(1� y)

����= x� y � (x� y)� 2xy

(1 + x)(1� y) < x� y = jx� yj ;

unde ultima inegalitate se obtine prin calcul direct.S¼a observ¼am c¼a iteratiile Picard asociate lui f diverg la +1 pentru orice

dat¼a initial¼a x0: dac¼a x0 � 0 atunci (xn) este strict cresc¼ator, pozitiv si nupoate avea limit¼a �nit¼a, în timp ce dac¼a x0 < 0 atunci termenii sirului devinpozitivi de la un loc încolo, revenind astfel la situatia precedent¼a.

2.3.2 Cazul functiilor de o variabil¼a real¼a

Prezent¼am acum unele rezultate de punct �x pentru functii reale de o vari-abil¼a real¼a. Geometric, în acest context, punctele �xe ale unei functii f suntacele puncte x pentru care (x; f(x)) este pe prima bisectoare, adic¼a abciselepunctelor unde gra�cul lui f intersecteaz¼a prima bisectoare.

58

Evident, si în acest cadru, primul rezultat ce trebuie pomenit este par-ticularizarea Principiului lui Banach care functioneaz¼a pentru contractii ceaplic¼a o submultime închis¼a a lui R în ea îns¼asi. Primul rezultat diferit deprincipiul contractiilor este teorema de punct �x a lui Knaster8.

Teorema 2.3.11 Fie a; b 2 R; a < b si f : [a; b] ! [a; b] o functie cresc¼a-toare. Atunci f are cel putin un punct �x. Dac¼a f este descresc¼atoare rezul-tatul nu se mai p¼astreaz¼a.

Demonstratie De�nim multimea

A := fx 2 [a; b] j f(x) � xg:

Este clar, pe de o parte, c¼aA este nevid¼a (întrucât a 2 A) iar, pe de alt¼a parte,c¼a A este m¼arginit¼a (�ind submultime a lui [a; b]). Deci, conform axiomei decompletitudine, A admite margine superioar¼a în R. S¼a not¼am acest num¼arcu x: Asadar, x = supA si este clar c¼a x 2 [a; b]: Cum x � x pentru oricex 2 A; monotonia lui f ne permite s¼a scriem inegalitatea f(x) � f(x) � xpentru orice x 2 A: Asadar, f(x) este majorant pentru A; deci f(x) � x: Totdin monotonie, rezult¼a c¼a f(f(x)) � f(x); deci f(x) 2 A; adic¼a f(x) � x:Prin urmare, avem egalitatea f(x) = x si deci x este punct �x.Pentru a ar¼ata c¼a în cazul functiilor descresc¼atoare concluzia nu se mai

p¼astreaz¼a în general, avem contraexemplul urm¼ator: f : [0; 1] ! [0; 1] dat¼aprin

f(x) =

�1� x dac¼a x 2 [0; 12)12� x

2dac¼a x 2 [12 ; 1]:

Este clar c¼a f este descresc¼atoare pe [0; 1]; dar totusi nu admite puncte �xe.�

Urm¼atorul rezultat pe care îl prezent¼am este foarte simplu, dar util înmulte situatii.

Teorema 2.3.12 Fie a; b 2 R; a < b si f : [a; b]! [a; b] o functie continu¼a.Atunci exist¼a x 2 [a; b] a.î. f(x) = x; adic¼a f are cel putin un punct �x.

Demonstratie De�nim functia g : [a; b]! R dat¼a prin g(x) = f(x)� x: Esteevident c¼a g este continu¼a ca diferent¼a de functii continue si, în particular,are proprietatea lui Darboux. Evident, din cauz¼a c¼a f(a); f(b) 2 [a; b]; aveminegalit¼atile

g (a) = f(a)� a � 0g(b) = f(b)� b � 0;

8Bronis÷aw Knaster (1893 �1990), matematician polonez.

59

deci g(a) � g(b) � 0 si din proprietatea lui Darboux, deducem existenta unuipunct x 2 [a; b] având proprietatea c¼a g(x) = 0: Prin urmare, f(x) = x siteorema este demonstrat¼a. �

Observatia 2.3.13 S¼a observ¼am c¼a de aceast¼a dat¼a nu este asigurat¼a uni-citatea punctului �x. Exemplul imediat este functia identitate a intervalului[a; b]: Apoi, este esential ca intervalul s¼a �e închis. De exemplu, functiaf : [0; 1) ! [0; 1) dat¼a prin f(x) = x+1

2nu are puncte �xe. De asemenea

este esential ca intervalul s¼a �e m¼arginit: functia f : [1;+1) ! [1;+1)dat¼a prin f(x) = x + x�1 nu are puncte �xe. În sfârsit, rezultatul nu maieste valabil dac¼a functia nu este de�nit¼a pe un interval. De exemplu, f :[�2;�1] [ [1; 2]! [�2;�1] [ [1; 2]; f(x) = �x nu are puncte �xe.

Se poate observa o deosebire principial important¼a între demonstratiaPrincipiului de punct �x al lui Banach (bazat pe metoda aproximatiilor suc-cesive care ne permitea s¼a d¼am diverse estim¼ari ale preciziei procesului dedeterminare a punctului �x) si demonstratia Teoremei 2.3.12 dat¼a mai susîn care nu avem niciun fel de informatii legate de pozitia punctului �x sauvreo modalitate de a-l aproxima. Totusi, tehnica de la Principiul lui Banachpoate � reevaluat¼a în acest nou context. Reamintim c¼a metoda aproximatii-lor succesive din demonstratia lui Banach functioneaz¼a astfel: se porneste cuun punct arbitrar x0 (de data aceasta din intervalul [a; b]) si se construiesteapoi prin recurent¼a un sir (sirul aproximatiilor Picard) din [a; b] prin relatiaxn+1 = f(xn) pentru orice n 2 N: Toat¼a di�cultatea la Principiul lui Banachera s¼a ar¼at¼am c¼a sirul (xn) este convergent. În cazul în care stim acest lucru,atunci continuitatea lui f furnizeaz¼a concluzia c¼a limita lui xn; notat¼a x; estepunct �x pentru f . Într-adev¼ar, putem scrie:

f(x) = f( limn!1

xn) = limn!1

f(xn) = limn!1

xn+1 = x: (2.20)

Pentru a ar¼ata c¼a sirul aproximatiilor succesive este convergent se arat¼ade obicei c¼a acest sir este un sir Cauchy.

Teorema 2.3.14 (Teorema lui Picard) Fie a; b 2 R; a < b si f : [a; b] ![a; b] o functie continu¼a pe [a; b] si derivabil¼a pe (a; b) cu proprietatea c¼ajf 0(x)j < 1 pentru orice x 2 (a; b): Atunci f are un singur punct �x, iarsirurile iteratiilor Picard sunt convergente la unicul punct �x al lui f:

Demonstratie Existenta si unicitatea punctului �x rezult¼a din rezultateleanterioare. Not¼am cu x acest punct. Fie x0 2 [a; b] si �e (xn) sirul Picard

60

generat pornind cu termenul initial x0: Dac¼a pentru un n 2 N am aveaxn = xn+1; atunci xn ar � punctul �x, iar sirul ar deveni stationar, în acestcaz convergenta �ind evident¼a. Presupunem deci c¼a (xn) este nestationar.Din Teorema lui Lagrange aplicat¼a functiei f pe un interval determinat decapetele x si xn deducem existenta unui element cn 2 (a; b) pentru care putemscrie relatia:

xn+1 � x = f(xn)� f(x) = f 0(cn)(xn � x):

Aceast¼a inegalitate si ipoteza asupra derivatei lui f conduc la

jxn+1 � xj < jxn � xj : (2.21)

Ar¼at¼am acum c¼a (xn) converge la x: Cum (xn) este un sir m¼arginit (�indinclus în [a; b]) este su�cient s¼a ar¼at¼am c¼a orice subsir convergent are limitax: Fie asadar un subsir convergent (xnk)k al lui (xn) si num¼arul real x 2 [a; b]limita sa. Cum (nk) este strict cresc¼ator, aplicând inductiv inegalitatea (2.21)obtinem: ��xnk+1 � x�� � jxnk+1 � xj < jxnk � xj :Dar jxnk � xj

k!1! jx� xj ; iar��xnk+1 � x�� k!1! jx� xj în timp ce

jxnk+1 � xj = jf(xnk)� f(x)jk!1! jf(x)� f(x)j :

Din Teorema clestelui obtinem

jf(x)� f(x)j = jx� xj :

Dac¼a am � în situatia x 6= x; aplicând din nou Teorema lui Lagrange avem

jf(x)� f(x)j < jx� xj

ceea ce ar reprezenta o contradictie. Prin urmare x = x si teorema estedemonstrat¼a. �

Dorim s¼a evidentiem faptul c¼a dac¼a nu are loc conditia jf 0(x)j < 1 pentruorice x 2 (a; b) atunci, chiar dac¼a f are punct �x unic, sirul Picard poates¼a nu �e convergent la acel punct �x. De exemplu, �e functia f : [�1; 1] ![�1; 1] de�nit¼a prin f(x) = �x. Evident, f este derivabil¼a pe domeniulde de�nitie dar modulul derivatei este constant 1: Singurul punct �x al luif este x = 0: Construind iteratia Picard de la un termen initial x0 6= 0;sirul Picard are forma x0;�x0; x0;�x0; ::: si deci nu este convergent. S¼amai remarc¼am c¼a o functie care satisface conditiile teoremei precedente nueste neap¼arat contractie, deci Teorema lui Picard nu poate � obtinut¼a din

61

Principiul lui Banach. Pentru a ilustra acest aspect avem urm¼atorul exemplu.Fie f : [0; 1] ! [0; 1]; f(x) = 1

1+x: Evident jf 0(x)j 2 (0; 1) pentru orice

x 2 (0; 1); dar f nu este o contractie pentru c¼a

lim(x;y)!(0;0);x 6=y

jf(x)� f(y)jjx� yj = lim

(x;y)!(0;0);x 6=y

1

(x+ 1)(y + 1)= 1:

Totusi, pentru functia f am putea aplica Principiul lui Banach dac¼a res-trângem functia la un interval pe care este contractie. Se observ¼a c¼a pentrux 2 [1

2; 1]; f(x) 2 [1

2; 23]; deci putem de�ni f : [1

2; 1]! [1

2; 1] si s¼a observ¼am c¼a

aceast¼a restrictie este contractie pentru c¼a supx2[ 12;1] jf 0(x)j = 4

9< 1: Astfel,

exist¼a un punct �x unic al lui f în [12 ; 1] si cum functia initial¼a are un singurpunct �x, punctul �x al restrictiei coincide cu acesta.În unele cazuri, se poate întâmpla s¼a nu putem nici s¼a restrângem functia

la o contractie, nici s¼a g¼asim o iteratie care s¼a �e contractie, deci nu se poateaplica niciuna din cele dou¼a metode de la exemplul precedent. Ca exemplu,lu¼am functia f : [0; 1] ! [0; 1]; f(x) = x

1+x: Din nou, jf 0(x)j 2 (0; 1) pentru

orice x 2 (0; 1); iar pentru orice n 2 N� si orice x 2 [0; 1]; fn(x) = x1+nx

: Camai sus:

lim(x;y)!(0;0);x 6=y

jfn(x)� fn(y)jjx� yj = lim

(x;y)!(0;0);x 6=y

1

(nx+ 1)(ny + 1)= 1

si deci fn nu e contractie. În plus, nu putem g¼asi nicio restrictie a functiei fcare s¼a �e contractie de la o multime la ea îns¼asi deoarece punctul �x al lui feste x = 0; deci o eventual¼a astfel de restrictie ar trebui de�nit¼a pe un intervalcare s¼a contin¼a pe 0; lucru imposibil din cauza relatiei lim(x;y)!(0;0);x 6=y

jf(x)�f(y)jjx�yj =

1.

Totusi, functia din Teorema lui Picard este în mod necesar o contractieslab¼a si vom vedea mai jos cum am putea reobtine Teorema lui Picard fo-losind un rezultat mai general privind contractiile slabe (Teorema 2.3.16 siCorolarul 2.3.17).

O alt¼a observatie interesat¼a este urm¼atoarea. Asa cum am v¼azut, înconditiile Teoremei lui Picard, sirul iteratiilor este convergent la punctul �xal functiei f oricum am alege, în intervalul [a; b]; valoarea termenului initialx0: Totusi, pentru a obtine o convergent¼a mai rapid¼a este natural s¼a încerc¼ams¼a pornim cu acest prim termen cât mai apropiat de x: S¼a observ¼am c¼a dincauza egalit¼atii x = f(x); punctul x se a�¼a în imaginea lui f si cum x estepunct �x el se va a�a în imaginea functiilor fn pentru orice num¼ar naturalsi nenul n: Astfel, x se va a�a în intersectia tuturor imaginilor functiilorde mai sus. Deci, dac¼a putem calcula \n2N� Im fn; putem s¼a �m destul de

62

aproape de punctul �x. În cazul în care aceast¼a intersectie contine doar unpunct, acel punct este punctul �x c¼autat. Ca exemplu, s¼a consider¼am functiaf : [0; 1] ! [0; 1] dat¼a prin f(x) = x+1

4: Inductiv, se poate ar¼ata c¼a pentru

orice n 2 N�

fn(x) =3x+ 4n � 13 � 4n ;

iar

Im fn =

�1

3(1� 1

4n);1

3(1 +

2

4n)

�:

Dac¼a facem intersectia acestor intervale obtinem\n2N�

Im fn =

�1

3

�deci x = 1

3este punctul �x al functiei f:

Urm¼atorul rezultat aduce noi preciz¼ari privind partea decisiv¼a a ipotezeidin Teorema lui Picard, punând în lumin¼a o reciproc¼a partial¼a.

Propozitia 2.3.15 Fie f : R! R o functie continu¼a si x0 2 R: Dac¼a siruliteratiilor Picard de termen initial x0 este convergent la un num¼ar l 2 R;f¼ar¼a a � stationar si f este derivabil¼a în l; atunci jf 0(l)j � 1:

Demonstratie Presupunem prin reducere la absurd c¼a jf 0(l)j > 1: Este clar,din continuitatea lui f si dintr-un comentariu anterior, c¼a l trebuie s¼a �epunct �x pentru functia f: Cum

limx!l

f(x)� f(l)x� l = f 0(l)

obtinem

limx!l

����f(x)� f(l)x� l

���� = jf 0(l)j :Fie

" :=jf 0(l)j � 1

2> 0:

Atunci, pentru acest "; exist¼a � > 0 a.î. pentru orice x 2 (l � �; l + �) n flg;

jf 0(l)j � " <����f(x)� f(l)x� l

���� < jf 0(l)j+ "sau

jf 0(l)j+ 12

<

����f(x)� lx� l

���� :63

În particular, cum jf 0(l)j > 1;

jx� lj < jx� lj jf0(l)j+ 12

< jf(x)� f(l)j

pentru orice x 2 (l � �; l + �) n flg: Cum sirul (xn) al iteratiilor Picard cutermen initial x0 este convergent la l; f¼ar¼a a � stationar, exist¼a n� 2 N a.î.pentru orice n � n�;

xn 2 (l � �; l + �) n flg:Obtinem din relatiile de mai sus

jxn � lj < jf(xn)� f(l)j = jxn+1 � lj

pentru orice n � n�: În particular obtinem

jxn� � lj < jxn�+1 � lj < jxn � lj

pentru orice n > n� + 1: Trecând la limit¼a în ultima relatie pentru n ! 1ajungem la contradictia:

jxn� � lj < jxn�+1 � lj � 0:

Prin urmare, presupunerea f¼acut¼a este fals¼a, deci jf 0(l)j � 1: S¼a preciz¼am sifaptul c¼a în general nu se poate obtine inegalitatea asupra derivatei dac¼a siruleste stationar. Dac¼a lu¼am functia f : R! R; f(x) = x3 + 2x sirul iteratiilorPicard pornind din 0 este convergent (chiar stationar) la 0, dar f 0(0) = 2:�

Prezent¼am acum un rezultat foarte interesant datorat lui Beardon9 si careprecizeaz¼a c¼a în cazul unei contractii slabe pe R (care, asa cum am v¼azut înExemplul 2.3.10 poate s¼a nu aib¼a puncte �xe) procesul de iteratie Picard d¼atotusi acelasi punct limit¼a (posibil +1 sau �1) pentru orice alegere a dateiinitiale.

Teorema 2.3.16 (Teorema lui Beardon) Fie f : R! R o functie cu pro-prietatea c¼a este contractie slab¼a pe R; adic¼a pentru orice dou¼a numere realedistincte x si y are loc relatia

jf(x)� f(y)j < jx� yj :

Atunci exist¼a x 2 R a.î. pentru orice x 2 R sirul Picard generat de

xn = fn(x);8n 2 N�

are limita x:9Alan Frank Beardon (n. 1940), matematician britanic.

64

Demonstratie Presupunem mai întâi c¼a f are un punct �x, x 2 R: Evident c¼aacesta va � singurul punct �x al lui f: F¼ar¼a a restrânge generalitatea putemconsidera x = 0; deci

jf(x)j < jxjpentru orice x 6= 0: Fix¼am x 2 R. Atunci sirul (jfn(x)j)n este descresc¼ator,deci convergent c¼atre un num¼ar �(x) � 0: Vom ar¼ata c¼a �(x) = 0 pentruorice dat¼a initial¼a x: Presupunem prin reducere la absurd c¼a �(x) > 0: Atuncif(�(x)) =: y1; iar f(��(x)) =: y2; unde jy1j ; jy2j < j�(x)j : Din continuitatealui f; exist¼a dou¼a vecin¼at¼ati ale lui �(x) si respectiv ��(x) care sunt duseprin f în intervalul I := (��(x); �(x)) care contine y1 si y2: Atunci, pentru nsu�cient de mare, fn(x) se a�¼a de asemenea în I ceea ce este în contradictie cuinegalitatea jfn(x)j � j�(x)j : Asadar, pentru orice x 2 R are loc convergentafn(x)! 0:Presupunem acum c¼a f nu are puncte �xe. Atunci f(x) > x sau f(x) < x

pentru orice x real. Demonstr¼am numai situatia f(x) > x; cealalt¼a demon-strându-se analog. Este clar c¼a pentru orice num¼ar real x; sirul (fn(x)) estestrict cresc¼ator, deci are limita în (�1;+1]: Dac¼a limita ar �un num¼ar reall, atunci fn(x) 6= l pentru orice num¼ar natural si nenul n si obtinem��fn+1(x)� f(l)�� < jfn(x)� ljde unde prin trecere la limit¼a obtinem f(l) = l; adic¼a l este punct �x, ceeace reprezint¼a o contradictie. Deci fn(x) ! +1: Evident, în cazul f(x) < xobtinem fn(x)! �1: Cu aceasta, demonstratia este încheiat¼a. �

S¼a mai observ¼am din demonstratie c¼a dac¼a x 2 R; atunci x este cu nece-sitate singurul punct �x al lui f: De fapt, dac¼a f are punct �x (neap¼arat unicdin conditia de contractie) atunci toate iteratiile converg c¼atre acel punct�x, iar dac¼a f nu are punct �x atunci iteratiile Picard converg c¼atre +1 sau�1 dup¼a cum f(x) > x respectiv f(x) < x:

Pe baza acestui rezultat putem deduce urm¼atorul corolar.

Corolarul 2.3.17 Fie a; b 2 R; a < b si f : [a; b]! [a; b] o contractie slab¼a.Atunci f are un punct �x unic, iar pentru orice dat¼a initial¼a x 2 [a; b],sirurile iteratiilor Picard sunt convergente c¼atre acest punct �x.

Demonstratie Existenta si unicitatea punctului �x sunt asigurate de Teorema2.3.12 si de conditia de contractie. Repetând argumentele primei p¼arti ademonstratiei teoremei precedente obtinem concluzia privitoare la iteratiilePicard. �

65

S¼a mai remarc¼am c¼a din corolarul precedent se obtine inclusiv teorema luiPicard de convergent¼a (Teorema 2.3.14) pentru c¼a, în conditiile respectiveiteoreme, functia este contractie slab¼a.

66

Capitolul 3

Studiul unor probleme deoptimizare

Acest capitol joac¼a rolul central în cadrul lucr¼arii de fat¼a. În primasectiune, prezent¼am problemele de optimizare de care ne vom ocupa si de-ducem mai întâi conditii de existent¼a a punctelor de minim. Cu acest prilejdemonstr¼am în cadrul nostru de lucru (spatiile �nit dimensionale) PrincipiulVariational al lui Ekeland si discut¼am consecintele sale asupra problematiciinoastre. Trecem apoi la obtinerea de conditii necesare si de conditii su�-ciente de optimalitate (de ordinul I si de ordinul al II-lea) pentru problemecu functii obiectiv diferentiabile si cu restrictii geometrice (adic¼a restrictii detipul x 2 M; unde M este o multime arbitrar¼a). A doua sectiune este dedi-cat¼a obtinerii de conditii de optimalitate pentru cazul restrictiilor functionale(cu egalit¼ati si inegalit¼ati), iar principala preocupare este aceea de a obtineconditiile Karush-Kuhn-Tucker si de a investiga mai multe conditii de cali-�care care conduc la acestea, incluzând cazul problemelor cu date convexesau a�ne. Ulterior, deducem si conditii de ordinul al doilea pentru cazulrestrictiilor functionale. Ultima sectiune include exemple prin intermediulc¼arora sunt ilustrate aspectele teoretice prezentate anterior si care permitabordarea din diferite unghiuri a problemelor practice.

3.1 Conditii generale de optimalitate

Fie U � Rp o multime nevid¼a si deschis¼a, f : U ! R o functie si M � U omultime nevid¼a. Suntem interesati s¼a studiem problema minimiz¼arii functieif atunci când argumentul acesteia parcurge multimea M: Formal, vom scrie

67

aceast¼a problem¼a în forma urm¼atoare:

(P ) min f(x); x 2M:

Functia f se numeste functie obiectiv sau functie cost, iar multimea M se vanumi multimea punctelor fezabile ale problemei (P ) sau multimea constrân-gerilor sau, înc¼a, multimea restrictiilor.S¼a spunem de la început c¼a ne vom ocupa de minimizarea functiei f; dar

rezultate referitoare la maximizarea sa pot �obtinute aplicând rezultatele deminimizare functiei �f în baza relatiei max f = �min(�f): Pentru început,s¼a de�nim notiunea de solutie asociat¼a problemei (P ):

De�nitia 3.1.1 Spunem c¼a x 2 M este solutie local¼a (sau, simplu, solutie)pentru problema (P ) sau punct de minim pentru functia f pe multimea Mdac¼a exist¼a o vecin¼atate V a punctului x astfel încât f(x) � f(x) pentru oricex 2M \ V:

Baza teoriei optimiz¼arii o constituie dou¼a rezultate fundamentale: Teo-rema lui Weierstrass care asigur¼a existenta punctelor de extrem si Teoremalui Fermat care furnizeaz¼a o conditie necesar¼a pentru ca un punct s¼a �eextrem local. Astfel, euristic vorbind, teoria urmeaz¼a directiile principaledeschise de aceste rezultate fundamentale: studiul conditiilor de existent¼a sistudiul conditiilor necesare si a conditiilor su�ciente de optimalitate.S¼a reamintim notiunile implicate si aceste rezultate de baz¼a. Dac¼a V =

Rp; se mai spune c¼a x este solutie global¼a pentru problema (P ) sau punct deminim global pentru f pe M . Teorema clasic¼a a lui Weierstrass, formulat¼asi mai sus, spune c¼a o functie continu¼a pe un interval compact admite punctde minim (global). În capitolul anterior am ar¼atat c¼a unele conditii pot �relaxate. Relu¼am aici acel rezultat.

Teorema 3.1.2 (Teorema lui Weierstrass) Dac¼a f : K � Rp ! R estecontinu¼a si K este o multime compact¼a, atunci f este m¼arginit¼a pe K (i.e.f(K) este o multime m¼arginit¼a) si îsi atinge marginile (adic¼a exist¼a a; b 2 K;astfel încât sup

x2Kf(x) = f(a) si inf

x2Kf(x) = f(b)).

Observatia 3.1.3 În lipsa compactit¼atii multimii concluzia nu se p¼astreaz¼a:functia ar putea s¼a nu �e m¼arginit¼a nici superior si nici inferior pe intervalulrespectiv. Ca exemplu în acest sens consider¼am functia f : (0; 1] ! R;f(x) = x�1 sin(x�1): Este clar c¼a inf

(0;1]f(x) = �1; iar sup

(0;1]

f(x) = +1:

Formul¼am în continuare Teorema lui Fermat. Cazul particular al functi-ilor de o variabil¼a real¼a a fost prezentat si în introducere. Demonstratiarezultatului care urmeaz¼a va �prezentat¼a mai jos într-un cadru mai general.

68

Teorema 3.1.4 (Teorema lui Fermat) Fie U � Rp si a 2 intU . Dac¼af : U ! R este de clas¼a C1 pe o vecin¼atate a lui a; iar a este punct deminim local pentru f; atunci rf(a) = 0:

Câteva observatii sunt necesare pentru a delimita câmpul de aplicabilitatea Teoremei lui Fermat.

Observatia 3.1.5 1. Reciproca teoremei lui Fermat nu este adev¼arat¼a: deexemplu derivata functiei f : R ! R; f(x) = x3 se anuleaz¼a în 0; f¼ar¼a caacest punct s¼a �e punct de extrem.2. Conditia ca a s¼a �e interior multimii U este esential¼a, adic¼a în lipsa

acestei ipoteze concluzia nu se mai p¼astreaz¼a: de exemplu f : [0; 1] ! [0; 1];f(x) = x are în x = 0 un punct de minim în care derivata nu se anuleaz¼a.3. Dac¼a clU este multime compact¼a (i.e. U este m¼arginit¼a) si f este

continu¼a pe clU si diferentiabil¼a pe U se poate întâmpla ca rf(x) 6= 0 pentruorice x 2 U; caz în care punctele de extrem a c¼aror existent¼a este garantat¼ade Teorema lui Weierstrass se a�¼a pe frontiera lui U .

S¼a mai spunem c¼a în general ne vom ocupa de situatia în care f estesu�cient de neted¼a (mergând pân¼a la cazul în care f 2 C2).

Observatia 3.1.6 În general, vom distinge dou¼a mari situatii pentru studiulproblemei (P ) : cazul în care M = U si cazul în care M este o intersectiedintre o multime închis¼a a lui Rp si U: În primul caz vom spune c¼a problemade optimizare (P ) este f¼ar¼a restrictii (sau constrângeri) în timp ce în aldoilea caz vorbim despre o problem¼a cu restrictii (constrângeri). S¼a maiobserv¼am c¼a în De�nitia 3.1.1, dac¼a x 2 intM; atunci x este solutie local¼asi a problemei f¼ar¼a restrictii (este su�cient s¼a micsor¼am vecin¼atatea V astfelîncât V � M). Deci în cazul problemelor cu restrictii cazul interesant (carenu se reduce la cazul unei probleme f¼ar¼a restrictii) este cazul în care x 2 FrM:Dac¼a x 2 intM mai spunem si c¼a restrictia este inactiv¼a.

Pentru început, vom trata împreun¼a cele dou¼a cazuri, urmând ulterior cadiscutia s¼a se despart¼a.Mai întâi discut¼am, pe scurt, alte câteva aspecte legate de existenta

punctelor de minim.

Teorema 3.1.7 Fie f : Rp ! R o functie continu¼a si M � Rp o multimenevid¼a si închis¼a. Dac¼a exist¼a � > infx2M f(x) a.î. multimea de nivel a luif relativ la M; adic¼a M \N�f = fx 2M j f(x) � �g; este m¼arginit¼a, atuncif îsi atinge minimul global pe M:

69

Demonstratie Este clar c¼a eventualul minim global al lui f peM este totunacu minimul global al lui f peM \N�f: Cum aceast¼a multime este compact¼a,iar f este continu¼a, deducem c¼a f îsi atinge minimul global peM \N�f; decipe M . �

Evident, în teorema de mai sus, dac¼a M este m¼arginit¼a, atunci ipotezaeste automat veri�cat¼a. Cazul interesant este acela în careM este nem¼argini-t¼a, situatie în care ipoteza este veri�cat¼a dac¼a impunem functiei f o conditiede coercivitate.

Propozitia 3.1.8 Fie f : Rp ! R o functie si M � Rp o multime nevi-d¼a, închis¼a si nem¼arginit¼a. Dac¼a limx2M;kxk!1 f(x) = 1; atunci multimeaN�f \M este m¼arginit¼a pentru orice � > infx2M f(x):

Demonstratie Fie � > infx2M f: Dac¼a multimea N�f \M ar � nem¼arginit¼a,ar exista (xk) � N�f \M cu kxkk ! 1: Atunci, pe de o parte, din ipotez¼a,lim f(xk) = 1 iar, pe de alt¼a parte, f(xk) � �; pentru orice k 2 N; ceea ceeste absurd. �

Rezultatele de mai sus asigur¼a existenta punctelor de minim în conditii decompactitate a multimilor de nivel. Evident, m¼arginirea inferioar¼a a functieieste conditie necesar¼a pentru existenta minimului, dar este clar c¼a m¼arginireamultimilor de nivel nu este o astfel de conditie. De exemplu functia f :(0;1)! R; f(x) = (x�1)2e�x îsi atinge minimul în x = 1; valoarea minim¼aeste 0; dar N�f nu este m¼arginit¼a pentru nicio valoare � > 0 = infff(x) jx 2 (0;1)g:

Trecem acum la a doua parte a acestei sectiuni în care ne propunems¼a prezent¼am conditii necesare si conditii su�ciente de optimalitate. Pentruînceput, deducem conditii necesare de optimalitate pentru care utiliz¼am ideiledezvoltate în leg¼atur¼a cu studiul conului tangent în sens Bouligand.

Teorema 3.1.9 (Conditia necesar¼a de ordinul I) Dac¼a x este solutie local¼apentru problema (P ) si f este diferentiabil¼a în x; atunci rf(x)(u) � 0 pentruorice u 2 TM(x):

Demonstratie Fie V o vecin¼atate a lui x pentru care f(x) � f(x) pentruorice x 2 V \M: Fie u 2 TM(x): Atunci exist¼a si (tn) � (0;1) cu tn ! 0 si(un)! u a.î. pentru orice n;

x+ tnun 2M:

70

Evident sirul (tnun) converge la 0 în Rp si, de la un loc încolo, x+ tnun esteîn V: Tinând cont de diferentiabilitatea lui f în x; exist¼a (�n) � Rp; �n ! 0a.î. pentru orice n 2 N;

f(x+ tnun) = f(x) + tnrf(x)(un) + tn kunk�n;

de unde,rf(x)(un) + kunk�n � 0;

pentru orice n su�cient de mare. Trecând la limit¼a cu n ! 1; obtinemconcluzia. �

Conditia se mai scrie, echivalent,

�rf(x) 2 NM(x):

Observatia 3.1.10 Tinând cont de Propozitia 2.1.12, dac¼a în teorema demai sus, x 2 intM (restrictie inactiv¼a), obtinem rf(x)(u) � 0 pentru oriceu 2 Rp: Din liniaritatea lui rf(x); deducem rf(x) = 0; adic¼a Teorema luiFermat.

Prezent¼am acum o conditie necesar¼a de optimalitate de ordinul al doileapentru problema f¼ar¼a restrictii.

Teorema 3.1.11 (Conditia necesar¼a de ordinul al II-lea) Fie U � Rp des-chis¼a si x 2 U . Dac¼a f : U ! R este de clas¼a C2 pe o vecin¼atate a lui x;iar x este punct de minim local pentru f; atunci rf(x) = 0 si r2f(x) estepozitiv semide�nit¼a (adic¼a r2f(x)(u; u) � 0 pentru orice u 2 Rp).

Demonstratie Fie V � U o vecin¼atate a lui x pentru care f(x) � f(x) pentruorice x 2 V si pe care f este de clas¼a C2: Faptul c¼a rf(x) = 0 rezult¼a dinteorema precedent¼a. Ca mai sus, �e u 2 Rp si (tn) � (0;1) cu tn ! 0: DinTeorema lui Taylor 1.4.4, pentru orice n 2 N exist¼a cn 2 (x; x+ tnu) a.î.

f(x+ tnu)� f(x) = tnrf(x)(u) +1

2t2nr2f(cn)(u; u)

=1

2t2nr2f(cn)(u; u):

Cum pentru n su�cient de mare, f(x+ tnu)� f(x) � 0; deducem c¼a

r2f(cn)(u; u) � 0;

de unde prin trecere la limit¼a cu n ! 1, obtinem c¼a cn ! x si cum f estede clas¼a C2; obtinem

r2f(x)(u; u) � 0;

71

deci r2f(x) este pozitiv semide�nit¼a. �

Evident, cu o demonstratie similar¼a, se constat¼a c¼a dac¼a x 2 intU estepunct de maxim local pentru f; atunci rf(x) = 0 si r2f(x) este negativsemide�nit¼a (adic¼a r2f(x)(u; u) � 0 pentru orice u 2 Rp). Se poate cuusurint¼a observa, din rezultatul de mai sus si din demonstratia sa, c¼a dac¼ar2f(x) nu este nici pozitiv semide�nit¼a nici negativ semide�nit¼a (caz în carespunem c¼a este nede�nit¼a) atunci x nu este punct de extrem.Practic, multe din rezultatele prezentate în aceast¼a carte în continuare

sunt generaliz¼ari, ra�n¼ari ale rezultatelor de mai sus sau r¼aspunsuri la diversechestiuni care se ivesc din analiza acestora.O prima întrebare este dac¼a reciprocele acestor rezultate sunt adev¼arate.

R¼aspunsul este negativ. Astfel, este su�cient s¼a consider¼am acelasi exempluca mai sus: f : R! R; f(x) = x3 si x = 0:Se pot îns¼a impune conditii suplimentare asa încât s¼a avem unele echiva-

lente si cel mai important caz este cel al functiilor convexe.

Teorema 3.1.12 Fie U � Rp o multime convex¼a si deschis¼a si �e f : U ! Ro functie convex¼a si diferentiabil¼a pe U: Urm¼atoarele a�rmatii sunt echiva-lente:(i) x este un minim global al lui f pe U ;(ii) x este un minim local al lui f ;(iii) x este punct critic al lui f (i.e. rf(x) = 0).

Demonstratie Implicatia (i)) (ii) este evident¼a si nu are nevoie de conditiisuplimentare, iar (ii) ) (iii) rezult¼a din Teorema lui Fermat. În sfârsit,implicatia (iii)) (i) rezult¼a din Teorema 2.2.11. �

Asa cum se observ¼a, în cazul functiilor convexe, conditia de ordinul I (încazul f¼ar¼a constrângeri) este necesar¼a si su�cient¼a pentru optimalitate. Înaceast¼a situatie, conditia de ordinul al II-lea nu aduce nimic nou, ea �indautomat sa�sf¼acut¼a de functiile convexe (conform Teoremei 2.2.11).

Privitor la natura punctelor de extrem pentru o functie convex¼a, d¼amrezultatele de mai jos.

Propozitia 3.1.13 Fie M � Rp o multime convex¼a si �e f : M ! R ofunctie convex¼a. Dac¼a x 2 M este punct de minim local pentru f pe Matunci x este punct de minim global pentru f pe M: Dac¼a u 2 intM estepunct de maxim local pentru f , atunci u este punct de minim global pentruf:

72

Demonstratie Fie x un punct de minim local pentru f pe M: Atunci exist¼aV o vecin¼atate convex¼a a lui x a.î. pentru orice x 2 V \M; f(x) � f(x): Fiex 2M: Exist¼a � 2 (0; 1) a.î. y := (1� �)x+ �x 2M \ V: Deci,

f(x) � f(y) = f((1� �)x+ �x) � (1� �)f(x) + �f(x);

adic¼a,�f(x) � �f(x);

de unde se obtine concluzia.Pentru a doua parte, exist¼a o vecin¼atate convex¼a si simetric¼a V a lui 0 (o

bil¼a centrat¼a în 0) a.î. pentru orice v 2 V; f(u+v) � f(u) si f(u�v) � f(u):Atunci

f(u) = f

�1

2(u+ v) +

1

2(u� v)

�� 1

2f(u+ v) +

1

2f(u� v) � f(u);

pentru orice v 2 V: Deci f(u+ v) = f(u) pentru orice v 2 V: Asadar, u esteminim local (deci global) pentru f: �

Propozitia 3.1.14 Fie M � Rp o multime convex¼a si �e f : M ! R ofunctie convex¼a. Multimea punctelor de minim ale lui f pe M este convex¼a.Dac¼a, în plus, f este strict convex¼a, atunci aceast¼a multime are cel mult unelement.

Demonstratie Din rezultatul precedent, dac¼a x1; x2 2 M sunt puncte deminim (global) pentru f pe M; atunci f(x1) = f(x2): Convexitatea implic¼af(x) = f(x1) pentru orice x 2 [x1; x2]: Astfel, prima parte este demonstrat¼a.Dac¼a f este strict convex¼a si presupunem c¼a avem dou¼a minime globaledistincte, atunci obtinem c¼a f(x) < f(x1) pentru orice x 2 (x1; x2); ceea ceeste imposibil. �

În cazul cu restrictii, pentru functiile convexe conditia necesar¼a de opti-malitate de ordinul I se scrie într-o form¼a special¼a si, în plus, este si conditiesu�cient¼a.

Propozitia 3.1.15 Fie U � Rp o multime convex¼a si deschis¼a si �e f :U ! R o functie convex¼a si diferentiabil¼a pe U: Fie M convex¼a. Elementulx 2M este punct de minim pentru f pe M dac¼a si numai dac¼a

�rf(x) 2 NM(x):

73

Demonstratie Fie x 2 M , punct de minim local pentru f pe M: Atunci,conform Teoremei 3.1.9, rf(x)(u) � 0 pentru orice u 2 TM(x); adic¼a

�rf(x) 2 TM(x)� = NM(x):

Invers, stim, din convexitatea lui f (Teorema 2.2.11); c¼a

f(x) � f(x) +rf(x)(x� x); 8x 2 U:

Dar, folosind ipoteza si convexitatea lui M (Propozitia 2.1.15),

�rf(x) 2 NM(x) = fu 2 Rp j hu; x� xi � 0; 8x 2Mg;

deci rf(x)(x� x) � 0 pentru orice x 2 M: Din aceste relatii, avem f(x) �f(x) pentru orice x 2M: �

Revenind la Teoremele 3.1.9 si 3.1.11, înt¼arind conditiile din concluziilerezultatelor precedente, obtinem o relatie mai tare decât simpla minimalitate.Introducem mai întâi o de�nitie.

De�nitia 3.1.16 Fie � > 0: Spunem c¼a x 2 M este o solutie strict¼a local¼ade ordin � pentru (P ) sau punct de minim local strict de ordin � pentru fpe M dac¼a exist¼a r; l > 0 astfel încât pentru orice x 2M \B(x; r);

f(x) � f(x) + l kx� xk� :

Rezultatele anuntate sunt urm¼atoarele.

Teorema 3.1.17 Presupunem c¼a f este diferentiabil¼a în x 2M si

rf(x)(u) > 0; 8u 2 TM(x) n f0g:

Atunci x este solutie strict¼a local¼a de ordinul � = 1 pentru problema (P ):

Demonstratie Presupunem, prin reducere la absurd, c¼a x nu este solutiestrict¼a de ordin 1: Atunci, negând de�nitia, deducem c¼a exist¼a un sir (xn)!x; (xn) �M a.î. pentru orice n 2 N�;

f(xn) < f(x) + n�1 kxn � xk :

În virtutea acestei inegalit¼ati,

xn 6= x; 8n 2 N�:

74

Cum f este diferentiabil¼a, exist¼a un sir de numere reale ( n)! 0 a.î. pentruorice n 2 N;

f(xn) = f(x) +rf(x)(xn � x) + n kxn � xk :

Combinând cele dou¼a relatii, avem

n�1 kxn � xk > rf(x)(xn � x) + n kxn � xk ;

de unde, prin împ¼artire la num¼arul nenul kxn � xk deducem

n�1 > rf(x)�xn � xkxn � xk

�+ n; 8n 2 N�: (3.1)

Cum sirul�

xn�xkxn�xk

�este m¼arginit, exist¼a un subsir convergent al acestuia.

Limita, notat¼a u; a respectivului subsir este nenul¼a (chiar de norm¼a 1) si,în plus, din faptul c¼a kxn � xk ! 0; deducem c¼a u 2 TM(x): Prin urmareu 2 TM(x) n f0g si trecând la limit¼a în relatia (3:1) avem

0 � rf(x)(u);

ceea ce contrazice ipoteza. �

S¼a observ¼am c¼a pentru functii diferentiabile notiunea de solutie strict¼alocal¼a de ordin 1 este speci�c¼a cazului cu restrictii active (adic¼a x 2 M nintM): dac¼a f este diferentiabil¼a în x 2 intM; atunci x nu poate � solutiestrict¼a local¼a de ordin 1. Într-adev¼ar, dac¼a x 2 intM ar � solutie strict¼alocal¼a de ordin 1; atunci, pe de o parte, rf(x) = 0 (din Teorema lui Fermat),iar, pe de alt¼a parte, rf(x) 6= 0 din de�nitia solutiei stricte.În privinta conditiilor de ordinul al doilea, are loc urm¼atorul rezultat.

Teorema 3.1.18 Presupunem c¼a f este de clas¼a C2; rf(x) = 0 si

r2f(x)(u; u) > 0; 8u 2 TM(x) n f0g:

Atunci x este solutie strict¼a local¼a de ordinul � = 2 pentru problema (P ):

Demonstratie Ca mai sus, presupunem prin reducere la absurd c¼a nu are locconcluzia. Atunci, exist¼a (xn)! x; (xn) �M n fxg a.î. pentru orice n 2 N�;

f(xn) < f(x) + n�1 kxn � xk2 :

Din Teorema lui Taylor 1.4.4, pentru orice n 2 N exist¼a cn pe segmentul ceuneste x cu xn a.î.

f(xn)� f(x) = rf(x)(xn � x) +1

2r2f(cn)(xn � x; xn � x)

=1

2r2f(cn)(xn � x; xn � x):

75

Obtinem

n�1 kxn � xk2 >1

2r2f(cn)(xn � x; xn � x);

de unde, pentru �nalizarea demonstratiei, împ¼artim la kxn � xk2 si repet¼amargumentele de mai sus. �

În cazul f¼ar¼a restrictii, rezultatul de mai sus se reduce la urm¼atorul coro-lar.

Corolarul 3.1.19 Fie U � Rp o multime nevid¼a si deschis¼a, f : U ! R ofunctie de clas¼a C2. Dac¼a x 2 U este punct critic pentru f si r2f(x) estepozitiv de�nit¼a (i.e. r2f(x)(u; u) > 0 pentru orice u 2 Rp n f0g), atunci xeste solutie strict¼a local¼a de ordinul � = 2 pentru f:

Asa cum am spus, r2f(x) se identi�c¼a cu matricea hessian¼a a lui f în x :�@2f

@xi@xj(x)�i;j21;p

; iar o conditie su�cient¼a ca aceast¼a matrice simetric¼a s¼a �e

pozitiv de�nit¼a este dat¼a de urm¼atorul criteriu: toti determinantii matricilor�@2f

@xi@xj(x)�i;j21;k

; k 2 1; p sunt strict pozitivi. Analog, rationând eventual

pentru �f avem conditia: dac¼a determinantii matricilor�

@2f@xi@xj

(x)�i;j21;k

;

k 2 1; p sunt nenuli si îsi alterneaz¼a semnul începând cu semnul minus,atunci x este punct de maxim. Se poate de asemenea ar¼ata c¼a dac¼a acestideterminanti sunt nenuli, atunci orice alt¼a con�guratie a semnelor decât celedescrise mai sus conduce la concluzia c¼a punctul nu este de extrem local.

3.2 Restrictii functionale

Problema (P ) considerat¼a în sectiunea precedent¼a are restrictia x 2 M: Decele mai multe ori în practic¼a aceast¼a multime M a punctelor fezabile estede�nit¼a prin intermediul unor functii. Fie asadar g : Rp ! Rn si h : Rp !Rm functii de clas¼a C1: Evident, g si h pot � gândite ca �ind de formag = (g1; g2; :::; gn); respectiv h = (h1; h2; :::; hm) unde unde gi : Rp ! R(i 2 1; n) si hj : Rp ! R (j 2 1;m) sunt de clas¼a C1.Consider¼am c¼a multimea punctelor fezabile este

M := fx 2 U j g(x) � 0; h(x) = 0g � Rp:

Se observ¼a c¼a avem dou¼a tipuri de restrictii: restrictii cu inegalit¼ati si res-trictii cu egalit¼ati. Fie x 2 M: Dac¼a pentru un indice i 2 1; n; gi(x) < 0;atunci, din continuitatea lui g; exist¼a o întreag¼a vecin¼atate V a lui x astfelîncât gi(y) < 0 pentru orice y 2 V: Aceasta face ca, în cazul în care cercet¼am

76

dac¼a x este solutie local¼a a problemei (P ); restrictia gi � 0 s¼a nu in�uentezeefectiv multimea punctelor u pentru care trebuie s¼a compar¼am f(x) cu f(u):De aceea, în acest caz, spunem c¼a restrictia gi � 0 este inactiv¼a în x:Astfel, neintereseaz¼a ca astfel de restrictii s¼a �e eliminate din discutie. Pentru x 2M;not¼am multimea indicilor restrictiilor inegalit¼ati active prin

A(x) = fi 2 1; n j gi(x) = 0g:

Vom determina dou¼a tipuri de conditii de optimalitate pentru problema(P ) în forma descris¼a mai sus, conditii care, desi apropiate ca form¼a, difer¼aîn unele aspecte care se dovedesc esentiale pentru determinarea punctelor deextrem. Vom începe astfel cu unele conditii de optimalitate, numite conditiileFritz John, în care functia obiectiv nu ocup¼a, asa cum ar trebui, un rol maiimportant decât restrictiile. Vom semnala neajunsurile acestor conditii, iarîn sectiunea urm¼atoare vom impune ipoteze suplimentare pentru a le elimina,obtinând astfel conditiile Karush-Kuhn-Tucker ce îsi vor dovedi e�cienta înrezolvarea efectiv¼a a problemelor de optimizare neliniar¼a.

3.2.1 Conditiile Fritz John

Rezultatul acestei subsectiuni se refer¼a la conditii necesare de optimalitatepentru problema (P ) cu restrictii functionale f¼ar¼a nicio ipotez¼a în plus în afaracadrului general precizat mai sus. Aceste conditii au fost obtinute de c¼atreFritz John în 1948, motiv pentru care poart¼a numele acestui matematiciangerman.

Teorema 3.2.1 Fie x 2 M solutie a problemei (P ): Atunci exist¼a �0 2 R;�0 � 0; � = (�1; �2; :::; �n) 2 Rn; � = (�1; �2; :::; �m) 2 Rm; cu proprietateac¼a j�0j+ k�k+ k�k 6= 0 a.î.

�0rf(x) +nXi=1

�irgi(x) +mXj=1

�jrhj(x) = 0

si�i � 0; �igi(x) = 0; pentru orice i 2 1; n.

Demonstratie Fie � > 0 a.î. D(x; �) � U si pentru orice x 2 M \ D(x; �);f(x) � f(x): Pentru �ecare k 2 N� consider¼am functia 'k : D(x; �) ! Rdat¼a prin

'k(x) = f(x) +k

2

nXi=1

�g+i (x)

�2+k

2

mXj=1

(hj(x))2 +

1

2kx� xk2 ;

77

unde g+i (x) = maxfgi(x); 0g: Evident, 'k îsi atinge minimul pe D(x; �) sinot¼am cu xk un astfel de punct de minim. Observ¼am de asemenea c¼a

0 � 'k(xk) = f(xk) +k

2

nXi=1

�g+i (xk)

�2+k

2

mXj=1

(hj(xk))2 +

1

2kxk � xk2

� 'k(x) = f(x):

Din faptul c¼a (xk) este un sir m¼arginit, iar f este continu¼a pe D(x; �); de-ducem c¼a (f(xk)) este un sir m¼arginit. F¼acând k !1 în relatia de mai sus,obtinem

limk!1

nXi=1

�g+i (xk)

�2= 0

limk!1

mXj=1

(hj(xk))2 = 0:

Tot m¼arginirea lui (xk) asigur¼a faptul c¼a putem extrage un subsir convergental acestui sir. F¼ar¼a a mai modi�ca indicii, putem scrie xk ! x� 2 D(x; �);iar relatiile anterioare asigur¼a faptul c¼a x� 2 M: Deci, prin trecere la limit¼aîn inegalitatea de mai sus,

f(x�) +1

2kx� � xk2 � f(x):

Dar, pe de alt¼a parte, f(x) � f(x�); deci kx� � xk = 0; adic¼a x� = x: Prinurmare, xk ! x.O observatie esential¼a este c¼a 'k este diferentiabil¼a întrucât functiile

(scalare) care ar putea pune probleme, i.e., g+i (x); sunt ridicate la p¼atratsi r

�g+i (x)

�2= g+i (x)rg(x): Cum xk este minim pentru 'k pe D(x; �); de-

ducem c¼a�r'k(xk) 2 ND(x;�)(xk):

Pentru k su�cient de mare, xk se a�¼a în interiorul bilei D(x; �) si con-cluzion¼am c¼a pentru acele numere k; ND(x;�)(xk) = f0g: Punând aceste lucruriîmpreun¼a, putem scrie

rf(xk) + knXi=1

g+i (xk)rg(xk) + kmXj=1

hj(xk)rhj(xk) + xk � x = 0; (3.2)

pentru orice k su�cient de mare. Not¼am pentru i 2 1; n; j 2 1;m; �ki :=kg+i (xk), �

kj := khj(xk) si

k =q1 +

Pni=1

��ki�2+Pm

j=1

��ki�2: Este clar c¼a

78

k > 1 si not¼am �k0 :=1 k; �ki :=

�ki k; �kj :=

�kj k: Se observ¼a c¼a

��k0�2+

nXi=1

��ki�2+

mXj=1

��kj�2= 1;

deci sirurile (�k0); (�ki ); (�

kj ) (i 2 1; n; j 2 1;m) sunt m¼arginite. Prin urmare,

vor exista subsiruri (indexate la fel) convergente în R la niste scalari pe careîi not¼am

�0; �1; �2; :::; �n; �1; �2; :::; �m

si care nu pot � simultan zero. Pozitivitatea sirurilor (�k0); (�ki ) (i 2 1; n)

atrage pozitivitatea limitelor �0; �1; �2; :::; �n: Acum, împ¼artind relatia (3.2)la k; se obtine

�k0rf(xk) +nXi=1

�kirg(xk) +mXj=1

�kjrhj(xk) +1

k(xk � x) = 0:

Prin trecere la limit¼a (k ! 1) se obtine prima relatie c¼autat¼a. Ar¼at¼amacum a doua relatie. Fie i 2 1; n: Dac¼a �i = 0; atunci nu avem nimic dedemonstrat. Contrar, dac¼a �i > 0; din de�nitia lui �i deducem c¼a pentru ksu�cient de mare g+i (xk) > 0; deci g

+i (xk) = gi(xk): Relatia

0 < gi(xk)! gi(x) � 0

conduce la concluzia gi(x) = 0: Deci, si cea de-a doua concluzie are loc siteorema este complet demonstrat¼a. �Inconvenientul major al teoremei de mai sus este acela c¼a nu elimin¼a posi-

bilitatea ca scalarul asociat functiei obiectiv s¼a �e nul. Astfel, exist¼a risculca prea multe puncte fezabile s¼a veri�ce conditiile Fritz John, iar aplicareateoremei s¼a nu aduc¼a preciz¼ari importante. De exemplu, dac¼a un punct fe-zabil x satisface rgi(x) = 0 pentru un i 2 A(x) sau rhj(x) = 0 pentru unj 2 1;m; atunci el satisface conditiile Fritz-John (cu �0 = 0), functia obiectivnemaiavând nici un rol de jucat. În subsectiunea urm¼atoare vom impune oconditie suplimentar¼a pentru a evita situatia �0 = 0.Înainte de asta, ilustr¼am modul de functionare a Teoremei 3.2.1 prin dou¼a

exemple concrete.

Exemplul 3.2.2 Fie problema de minimizare a functiei f : R2 ! R;

f(x1; x2) = (x1 � 3)2 + (x2 � 2)2

cu restrictia g(x) � 0; unde g : R2 ! R4;

g(x1; x2) = (x21 + x

22 � 5; x1 + 2x2 � 4;�x1;�x2):

79

Se poate observa c¼a x = (2; 1) este solutie a problemei, iar A(x) = f1; 2g:Dorim s¼a veri�c¼am conditiile Fritz-John în acest punct. Astfel, din a douaconditie, cum 3; 4 =2 A(x); deducem c¼a �3 = �4 = 0: Cum rf(x) = (�2;�2);rg1(x) = (4; 2); rg2(x) = (1; 2); trebuie s¼a g¼asim numere reale pozitive�0; �1; �2 � 0, nu toate nule, a.î.

�0(�2;�2) + �1(4; 2) + �2(1; 2) = (0; 0):Obtinem �1 =

13�0 si �2 = 2

3�0; deci alegând �0 > 0; prima conditie Fritz

John este îndeplinit¼a.S¼a vedem acum dac¼a punctul x = (0; 0) satisface conditiile. De aceast¼a

dat¼a A(x) = f3; 4g; deci �1 = �2 = 0: Avem rf(x) = (�6;�4); rg3(x) =(�1; 0); rg4(x) = (0;�1): Un calcul simplu arat¼a c¼a ecuatia

�0(�6;�4) + �3(�1; 0) + �4(0;�1) = (0; 0)nu admite solutie (�0; �3; �4) nenul¼a cu toate componentele pozitive. Decix nu îndeplineste conditiile Fritz-Fohn, deci nu este punct de minim pentruproblema dat¼a.

Exemplul 3.2.3 Fie problema de minimizare a functiei f : (0;1)�(0;1)!R; f(x1; x2) = �2x2 cu restrictia g(x) � 0; unde g : R2 ! R3; g(x1; x2) =(x1 � x2 � 2;�x1 + x2 + 2; x1 + x2 � 6): Multimea M a punctelor fezabileeste segmentul [(2; 0); (4; 2)] n f(2; 0)g si punctul de minim este x = (4; 2):Este usor de observat c¼a orice punct fezabil satisface conditiile Fritz John,dar solutia este singurul pentru care putem alege �0 6= 0: Într-adev¼ar, dac¼ax este un punct fezabil diferit de solutie, atunci �3 = 0; �1 = �2 si �0 = 0:

3.2.2 Conditiile Karush-Kuhn-Tucker

Asa cum se vede din discutia anterioar¼a, este foarte important s¼a avem unrezultat de tip Fritz John cu �0 6= 0: Evident, am putea ad¼auga direct oipotez¼a în Teorema 3.2.1 pentru a asigura acest lucru. Prefer¼am îns¼a o alt¼aabordare pentru a putea lucra cu ipoteze mai slabe.Fie multimile

G(x) =

� Pi2A(x) �irgi(x) +

Pmj=1 �jrhj(x) j

�i � 0;8i 2 A(x); �j 2 R;8j 2 1;m

�� Rp

(unde s-a identi�cat L(Rp;R) cu Rp) si

D(x) = fu 2 Rp jrgi(x)(u) � 0; 8i 2 A(x) sirhj(x)(u) = 0; 8j 2 1;mg:

Din Lema lui Farkas observ¼a c¼a putem avea una si numai una dintreurm¼atoarele dou¼a posibilit¼ati:

80

(A) �e �rf(x) 2 G(x);

(B) �e exist¼a d 2 D(x) cu rf(x)(d) < 0:

În continuare, vom vedea c¼a dac¼a x este solutie a problemei (P ) cu res-trictiile functionale de mai sus, atunci ad¼augând o conditie suplimentar¼a vomputea elimina conditia (B). Orice astfel de conditie se numeste conditie decali�care. Înainte de a da rezultatul principal avem nevoie de o propozitieajut¼atoare.

Propozitia 3.2.4 Pentru orice x 2M avem:(i) G(x) = D(x)�;(ii) TM(x) � D(x):

Demonstratie (i) Cum G(x) este con convex si închis, în baza Teoremei 2.1.6,este su�cient s¼a ar¼at¼am c¼a D(x) = (G(x))�: Fie u 2 D(x) si s 2 G(x); exist¼a�i � 0;8i 2 A(x); �j 2 R;8j 2 1;m a.î.

hu; si =Xi2A(x)

�irgi(x)(u) +mXj=1

�jrhj(x)(u):

Din de�nitia lui D(x); obtinem c¼a hu; si � 0; deci u 2 (G(x))�: Invers, dac¼au 2 (G(x))�; atunci

hu; si � 0; 8s 2 G(x):Cum pentru orice j 2 1;m atâtrhj(x) cât si�rhj(x) sunt înG(x); deducemrhj(x)(u) = 0: Mai mult, cum pentru orice i 2 A(x);rgi(x) 2 G(x); avemrgi(x)(u) � 0. Concluzion¼am c¼a u 2 D(x) si egalitatea este demonstrat¼a.(ii) Evident, 0 2 D(x): Fie u 2 TM(x)nf0g: Din de�nitia conului tangent,

exist¼a (tn) � (0;1) cu tn ! 0 si (un)! u a.î. pentru orice n;

x+ tnun 2M:

Evident, sirul (tnun) converge la 0 în Rp: Tinând cont de diferentiabilitatealui h în x; exist¼a (�n) � Rp; �n ! 0 a.î. pentru orice n 2 N;

h(x+ tnun) = h(x) + tnrh(x)(un) + tn kunk�n:

Cum h(x + tnun) = h(x) = 0; împ¼artind prin tn si trecând la limit¼a pentrun!1 obtinem rh(x)(u) = 0: Acum pentru �ecare i 2 A(x) exist¼a (�in) �R; �in ! 0 a.î. pentru orice n 2 N;

gi(x+ tnun) = gi(x) + tnrgi(x)(un) + tn kunk�in:

81

Ca mai sus, tinând cont c¼a gi(x+ tnun) � 0 si gi(x) = 0 avem rgi(x)(u) � 0si propozitia este demonstrat¼a. �

Urm¼atorul exemplu arat¼a c¼a reciproca punctului (ii) de mai sus este, îngeneral, fals¼a.

Exemplul 3.2.5 Fie g : R2 ! R; g(x1; x2) = �x1 � x2 si h : R2 ! R;h(x1; x2) = x1x2 si punctul fezabil x = (0; 0): Atunci:

D(x) = f(u1; u2) j �u1 � u2 � 0g;TM(x) = f(u1; u2) j u1 � 0; u2 � 0; u1u2 = 0g:

Stabilim acum o form¼a generalizat¼a a unui rezultat clasic cunoscut subdenumirea de Teorema Karush-Kuhn-Tucker întrucât a fost obtinut (sub oipotez¼a ceva mai tare) de c¼atre matematicienii americani William Karush,Harold William Kuhn si Albert William Tucker. De precizat c¼a WilliamKarush a obtinut teorema în 1939, dar comunitatea matematic¼a a devenitconstient¼a de importanta acesteia dup¼a ce Harold William Kuhn si AlbertWilliam Tucker au reg¼asit rezultatul pe o cale independent¼a in 1950.

Teorema 3.2.6 (Teorema Karush-Kuhn-Tucker) Fie x 2M solutie a prob-lemei (P ): Presupunem c¼a TM(x)� = D(x)�: Atunci exist¼a � = (�1; �2; :::; �n)2 Rn; � = (�1; �2; :::; �m) 2 Rm; a.î.

rf(x) +nXi=1

�irgi(x) +mXj=1

�jrhj(x) = 0 (3.3)

si�i � 0; �igi(x) = 0; pentru orice i 2 1; n. (3.4)

Demonstratie Ar¼at¼am c¼a alternativa (B) nu poate avea loc. Din Teorema3.1.9, rf(x)(u) � 0 pentru orice u 2 TM(x); deci �rf(x) 2 TM(x)� si deci�rf(x) 2 D(x)�: Deducem c¼a rf(x)(u) � 0 pentru orice u 2 D(x); deci(B) nu poate avea loc. Astfel, singura posibilitate este alternativa (A); deci�rf(x) 2 G(x): Prin urmare, exist¼a �i � 0; i 2 A(x); �j 2 R; j 2 1;mîncât �rf(x) =

Pi2A(x) �irgi(x) +

Pmj=1 �jrhj(x). Dac¼a pentru indicii

i 2 1; n n A(x) consider¼am �i = 0; obtinem concluzia. �

Dac¼a compar¼amTeorema 3.2.6 cu Teorema 3.2.1 observ¼am exact diferentaanuntat¼a: scalarul asociat functiei obiectiv este de aceast¼a dat¼a nenul.Functia L : U � Rn+m ! R;

L(x; (�; �)) := f(x) +nXi=1

�igi(x) +mXj=1

�jhj(x)

82

se numeste lagrangianul problemei (P ): Astfel, concluzia din relatia (3:3) sepoate scrie

rxL(x; (�; �)) = 0;

iar elementele (�; �) 2 Rn+ � Rm se numesc multiplicatori Lagrange. Denu-mirea se datoreaz¼a faptului c¼a pentru prima dat¼a o astfel de metod¼a de aconverti o problem¼a de optimizare cu restrictii într-o problem¼a f¼ar¼a restrictiiprin intermediul unor noi nedeterminate a ap¼arut în unele dintre lucr¼arilelui Lagrange legate de probleme de calculul variatiilor. Este clar c¼a teoremaprecedent¼a nu asigur¼a unicitatea acestor multiplicatori. Vom nota cu M(x)multimea multiplicatorilor lui Lagrange în punctul x; i.e.

M(x) := f(�; �) 2 Rn+ � Rm j rxL(x; (�; �)) = 0g:

Pe de alt¼a parte, L(x; (�; �)) este o functie a�n¼a în variabilele (�; �):Putem face urm¼atoarea observatie asupra c¼areia vom reveni mai târziu: dac¼ax 2M si (�; �) este un punct de maxim pe Rn+�Rm pentru aplicatia (�; �) 7!L(x; (�; �)) atunci �igi(x) = 0; pentru orice i 2 1; n.Teorema 3.2.6 asigur¼a conditii necesare de optimalitate pentru problema

(P ): Dac¼a în loc de minimizare dorim s¼a maximiz¼am functia obiectiv sub ace-leasi restrictii, atunci, din faptul c¼a max f = �min(�f); conditia necesar¼a(3.3) se scrie

�rf(x) +nXi=1

�irgi(x) +mXj=1

�jrhj(x) = 0:

S¼a mai observ¼am c¼a în lipsa constrângerilor inegalit¼ati, tinând seama defaptul c¼a h(x) = 0 este totuna cu �h(x) = 0; conditia necesar¼a se poatescrie, atât pentru minime cât si pentru maxime, în forma

rf(x) +mXj=1

�jrhj(x) = 0:

Revenind la rezultatul principal, s¼a observ¼am dou¼a lucruri. Mai întâi,dac¼a problema nu are restrictii (de exemplu, U = M = Rp), atunci relatia(3.3) se reduce la conditia necesar¼a de optimalitate de ordinul I (Teorema luiFermat): rf(x) = 0: A doua observatie este c¼a relatia (3.3) nu are loc îngeneral f¼ar¼a ipoteze suplimentare (de exemplu, conditii de cali�care).

Exemplul 3.2.7 Fie f : R2 ! R si g : R2 ! R2 de�nite prin f(x1; x2) = x1si g(x1; x2) = (�x2+(1�x1)3; x2): Se veri�c¼a faptul c¼a x = (1; 0) este punctde minim pentru problema asociat¼a, dar conditia (3.3) nu are loc. Evident,conditiile Fritz John sunt îndeplinite cu �0 = 0:

83

Aceast¼a observatie ne îndeamn¼a s¼a discut¼am mai în am¼anunt diverseconditii de cali�care în sectiunea urm¼atoare.Înainte, s¼a observ¼am c¼a în anumite ipoteze, conditia Karush-Kuhn-Tucker

este si su�cient¼a.

Teorema 3.2.8 Presupunem c¼a U este convex¼a, f este convex¼a pe U; heste a�n¼a si functiile gi; i 2 1; n sunt convexe. Fie x 2 M: Dac¼a exist¼a(�; �) 2 Rn � Rm a.î. au loc relatiile (3:3) si (3:4) atunci x este minimpentru (P ) (sau minim al lui f pe M).

Demonstratie Conditia (3:3) exprim¼a faptul c¼a

rxL(x; (�; �)) = 0:

În ipotezele date, L este o functie convex¼a în x; deci conform Teoremei 3.1.12,x este un punct de minim pentru x 7! L(x; (�; �)): Deci pentru orice x 2 U;

L(x; (�; �)) = f(x) +

nXi=1

�igi(x) +mXj=1

�jhj(x)

� L(x; (�; �)) = f(x):

Dar, pentru x 2M;nXi=1

�igi(x) +mXj=1

�jhj(x) � 0;

deci f(x) � f(x): Demonstratia este complet¼a. �

3.2.3 Conditii de cali�care

Conditia de cali�care TM(x)� = D(x)� impus¼a în Teorema 3.2.6 se nu-meste conditia Guignard în punctul x (dup¼a numele matematicienei francezeMonique Guignard care a introdus-o în 1969) si este una dintre cele mai slabeconditii de acest tip pe care le putem întâlni în literatur¼a. Dorim acum s¼aconsider¼am si alte conditii de cali�care si s¼a le compar¼am între ele. Evident,relatia TM(x) = D(x) este la rândul s¼au o conditie de cali�care (numit¼aconditia de cvasi-regularitate) întrucât implic¼a conditia utilizat¼a mai sus.Cele dou¼a conditii nu sunt îns¼a echivalente, asa cum se poate observa dinexemplul urm¼ator (a se vedea si Exemplul 2.1.7).

84

Exemplul 3.2.9 Fie g : R2 ! R2; g(x1; x2) = (�x1; x2) si h : R2 ! R;h(x1; x2) = x1x2: S¼a consider¼am punctul fezabil x = (0; 0): Atunci:

D(x) = f(u1; u2) j u1 � 0; u2 � 0g;TM(x) = f(u1; u2) j u1 � 0; u2 � 0; u1u2 = 0g

siTM(x)

� = D(x)� = f(u1; u2) j u1 � 0; u2 � 0g:

Evident, conditiile de cali�care sunt legate de punctul de referint¼a (x încazul nostru): De �ecare dat¼a când nu vor � dubii cu privire la punctul dereferint¼a vom evita precizarea acestuia, pentru usurarea expunerii. Dou¼adintre cele mai importante conditii de cali�care sunt prezentate mai jos.Prima dintre acestea se numeste conditia de liniar¼a independent¼a (în x) si seformuleaz¼a astfel: multimea frgi(x) j i 2 A(x)g [ frhj(x) j j 2 1;mg esteliniar independent¼a. A doua se numeste conditia de cali�care Mangasarian-Fromovitz (în x): multimea frhj(x) j j 2 1;mg este liniar independent¼a siexist¼a u 2 Rp a.î.

rh(x)(u) = 0 si rgi(x)(u) < 0; 8i 2 A(x):

(Matematicienii americani Olvi Leon Mangasarian si Stanley Fromovitz aupublicat aceast¼a conditie în 1967.)Mai întâi vom stabili relatiile dintre aceste conditii si apoi vom dovedi c¼a

sunt conditii de cali�care.

Teorema 3.2.10 Dac¼a are loc conditia de liniar¼a independent¼a în x 2 M;atunci are loc conditia Mangasarian-Fromovitz în x.

Demonstratie F¼ar¼a a restrânge generalitatea, presupunem c¼aA(x) = f1; :::; qg:Fie T matricea (q+m)�p având drept linii rgi(x); i 2 1; q; rhj(x); j 2 1;msi �e b vectorul coloan¼a cu bi = �1; i 2 1; q; bj = 0; j 2 q + 1; q +m: Cumliniile lui T sunt liniar independente, sistemul Td = b are solutie. Dac¼a ueste o astfel de solutie, atunci

rgi(x)(ut) = �1; 8i 2 1; q si rhj(x)(ut) = 0; 8j 2 1;m;

deci conditia Mangasarian-Fromovitz în x este satisf¼acut¼a. �

Totusi, cele dou¼a conditii nu sunt echivalente.

Exemplul 3.2.11 Fie gi : R2 ! R; i 2 1; 3 de�nite prin:

g1(x) = (x1 � 1)2 + (x2 � 1)2 � 2g2(x) = (x1 � 1)2 + (x2 + 1)2 � 2g3(x) = �x1

85

si punctul fezabil x = (0; 0): Este usor de veri�cat c¼a multimea

frg1(x);rg2(x);rg3(x); i 2 1; 3g

este liniar dependent¼a. Pe de alt¼a parte, pentru u = (1; 0); rgi(x)(u) < 0pentru orice i 2 1; 3:

Având în vedere Teorema 3.2.10, pentru a demonstra c¼a cele dou¼a conditiisunt de cali�care, este su�cient s¼a ar¼at¼am acest lucru pentru conditia Man-gasarian-Fromovitz. Acest lucru este evident dac¼a aplic¼am Teorema 3.2.1 siration¼am prin reducere la absurd: dac¼a �0 = 0 atunciX

i2A(x)

�irgi(x) +mXj=1

�jrhj(x) = 0:

Înmultind scalar cu vectorul u din conditia Mangasarian-Fromovitz deducemc¼a X

i2A(x)

�i hrgi(x); ui = 0

de unde se obtine �i = 0 pentru orice i 2 A(x): DecimXj=1

�jrhj(x) = 0;

iar conditia de liniar¼a independent¼a asupra gradientilor frhj(x) j j 2 1;mgatrage faptul c¼a �j = 0 pentru orice j 2 1;m: Reunind aceste deductiiajungem la contradictie cu relatia j�0j+ k�k+ k�k 6= 0: Deci �0 6= 0:Pentru a clasi�ca mai precis conditiile impuse pân¼a acum, vom ar¼ata c¼a

din conditia Mangasarian-Fromovitz se obtine conditia de cvasi-regularitate.Formul¼am mai întâi un rezultat ajut¼ator.

Lema 3.2.12 Fie " > 0 si : (�"; ") ! Rp o functie diferentiabil¼a astfelîncât (0) = x, 0(0) = u 6= 0. Atunci exist¼a un sir (xk) � Rpnfxg; (xk)! xsi

xk � xkxk � xk

! u

kuk :

Demonstratie Avem

limt!0

(t)� xt

= limt!0

(t)� (0)t

= 0(0) = u 6= 0:

86

În particular, pentru t 6= 0 su�cient de mic, (t) 6= x: Consider¼am un sir(tk)! 0 de numere pozitive si de�nim xk = (tk): Atunci:

xk � xkxk � xk

=xk � xtk

tkkxk � xk

! u

kuk ;

ceea ce încheie demonstratia �

Teorema 3.2.13 Dac¼a x 2 M satisface conditia Mangasarian-Fromovitz,atunci TM(x) = D(x):

Demonstratie Asa cum am v¼azut mai sus, o incluziune este adev¼arat¼a în-totdeauna. Invers, �e u 2 D(x) si �e u 2 Rp vectorul dat de conditiaMangasarian-Fromovitz. Fie � 2 (0; 1) si d� := (1 � �)u + �u: Vom ar¼atac¼a d� 2 TM(x) pentru orice � 2 (0; 1); apoi f¼acând � ! 0 si tinând cont deînchiderea lui TM(x) va rezulta concluzia. Presupunem c¼a d 6= 0:Fie P operatorul de�nit de matricea (de tipm�p) care are drept linii vec-

torii din Rp; rhj(x); j 2 1;m: Acesti vectori �ind liniari independenti, repre-zint¼a o baz¼a în spatiul Im(P ): Evident, tot din liniara independent¼a, m � p:Cum p = dim(Im(P )) + dim(Ker(P )); complet¼am multimea liniar indepen-dent¼a de mai sus pân¼a la o baz¼a cu o multime de vectori fv1; v2; :::; vp�mg sinot¼am cu Z matricea (de tip (p � m) � p) care are drept linii vectori care

formeaz¼a o baz¼a în Ker(P ): Atunci matricea p¼atratic¼a�PZ

�este nesingu-

lar¼a. De�nim ' : Rp+1 ! Rp prin

'(x; �) = (h(x); (Z(x� x� �d�)t)t):

Atunci rx'(x; 0) =

�PZ

�este matrice nesingular¼a, deci, din Teorema

functiilor implicite (Teorema 1.4.5), exist¼a " > 0 si o functie diferentiabil¼a : (�"; ")! Rp a.î.

' ( (�); �) = 0;

pentru orice � 2 (�"; "): Atunci

h( (�)) = 0 si Z( (�)� x� �d�)t = 0: (3.5)

Cum '(x; 0) = 0; din unicitatea lui ; deducem (0) = x: Conform relatiilor(3.5) avem, pe de o parte (prin derivare)

P 0(0) = 0

si pe de alt¼a parte, prin împ¼artire la � 6= 0 si trecere la limit¼a,

Z 0(0)t = Zdt�:

87

Cum u; u 2 D(x); P (d�) = 0: Obtinem deci�PZ

�( 0(0)) =

�PZ

�(d�);

adic¼a d� = 0(0): Conform lemei precedente exist¼a un sir (xk) � Rp nfxg; (xk)! x si

xk � xkxk � xk

! d�kd�k

:

Din constructia f¼acut¼a în demonstratia lemei precedente, h(xk) = 0. Pentrua obtine u 2 TM(x); este su�cient s¼a mai ar¼at¼am c¼a pentru k su�cient demare g(xk) � 0: Dac¼a i =2 A(x); atunci gi(x) < 0 si din continuitatea lui gi;gi(xk) < 0 pentru k su�cient de mare. Dac¼a i 2 A(x); hrgi(x); ui � 0 sihrgi(x); ui < 0; deci hrgi(x); d�i < 0: Cum gi este de clas¼a C1; exist¼a un sir(�k)! 0 a.î. pentru orice k 2 N;

gi(xk) = gi(x) +rgi(x)(xk � x) + �k kxk � xk :

Deci,

gi(xk)

kxk � xk=rgi(x)(xk � x)kxk � xk

+ �kk!1! rgi(x)

�d�kd�k

�< 0:

Prin urmare, gi(xk) < 0 pentru k su�cient de mare. Cum exist¼a un num¼ar�nit de indici i, recompunând rationamentele f¼acute, obtinem concluzia. �

Pentru a ar¼ata c¼a toate cele patru conditii de cali�care introduse pân¼aacum sunt diferite, mai trebuie s¼a veri�c¼am c¼a cvasi-regularitatea nu implic¼aconditia Mangasarian-Fromovitz.

Exemplul 3.2.14 Fie g : R2 ! R2; g(x1; x2) = (�x21 + x2;�x21 � x2) sipunctul fezabil x = (0; 0): Atunci, D(x) = f(u1; 0) j u1 2 Rg: Pe de alt¼aparte, se veri�c¼a simplu c¼a TM(x) � D(x) (deci are loc egalitatea), dar nuexist¼a u 2 R2 cu rg(x)(u) < 0:

Sistematizând, am ar¼atat c¼a au loc urm¼atoarele implicatii:

Conditia de liniar¼a independent¼a+

Conditia Managasarian-Fromovitz+

Conditia de cvasi-regularitate+

Conditia Guignard

si niciuna dintre reciproce nu este adev¼arat¼a.

88

Observatia 3.2.15 S¼a mai remarc¼am c¼a, în particular, Teorema 3.2.13arat¼a c¼a dac¼a h : Rp ! R este o functie de clas¼a C1 si x 2 Rp are pro-prietatea c¼a rh(x) 6= 0; atunci conul tangent în sens Bouligand la curba denivel fx 2 Rp j h(x) = h(x)g în x este multimea (hiperplanul) fu 2 Rp jrh(x)(u) = 0g (sau Kerrh(x)). Astfel, rh(x) este un vector normal laacest hiperplan. Reamintim c¼a subspatiul a�n (a lui Rp+1) tangent la gra�cullui h în (x; h(x)) are ecuatia

y = h(x) +rh(x)(x� x);

iar un vector normal la acesta este (rh(x);�1):

Asadar, conditia Mangasarian-Fromovitz asigur¼a faptul c¼a M(x) este ne-vid¼a într-un punct x care este minim local pentru problema (P ):

S¼a discut¼am acum dou¼a conditii speciale referitoare la cazuri particulareale datelor problemei. Mai întâi, vom considera situatia în care restrictiilecu inegalit¼ati sunt exprimate prin functii convexe în timp ce restrictiile cuegalit¼ati sunt date cu functii a�ne.Spunem c¼a are loc conditia Slater dac¼a h este a�n¼a, functiile gi; i 2 1; n

sunt convexe si exist¼a u 2 Rp astfel încât h(u) = 0 si g(u) < 0: Aceast¼aconditie a fost introdus¼a în 1950 de c¼atre matematicianul american MortonSlater.

Teorema 3.2.16 Conditia Slater implic¼a TM(x) = D(x) pentru orice x 2Mdeci, în particular, este o conditie de cali�care.

Demonstratie Fie x 2 M: Incluziunea TM(x) � D(x) este deja ar¼atat¼a. Fiev 2 D(x). Din conditia Slater si convexitatea functiilor gi deducem (Teorema2.2.11)

0 > gi(u) � gi(x) +rgi(x)(u� x);deci pentru i 2 A(x); rgi(x)(u � x) < 0: Not¼am w = u � x; iar pentru� 2 (0; 1); de�nim

w� = (1� �)v + �w:Vom ar¼ata c¼a w� 2 TM(x) pentru orice � 2 (0; 1): Pentru i 2 A(x);

rgi(x)(v) � 0; rgi(x)(w) < 0;

deci rgi(x)(w�) < 0: Din formula lui Taylor, exist¼a t > 0 a.î. gi(x+ tw�) <gi(x) = 0 pentru orice i 2 A(x): Fie (tk) � (0;1); tk ! 0: Atunci

xk := (1� tk)x+ tk(x+ tw�) = x+ tktw�k!1! x:

89

Pentru a �naliza, trebuie s¼a ar¼at¼am c¼a de la un loc încolo, toti termenii sirului(xk) sunt în M . Pentru i =2 A(x), din continuitatea lui g; pentru k su�cientde mare, gi(xk) < 0; iar pentru i 2 A(x);

gi(xk) � (1� tk)gi(x) + tkgi(x+ tw�) < 0:

Din faptul c¼a h este a�n¼a, iar h(x) = 0; obtinem

h(xk) = h(x+ tktw�) = tktrh(x)(w�):

Cum v 2 D(x); rh(x)(v) = 0; deci

rh(x)(w�) = �rh(x)(w) = �rh(x)(u� x) = �h(u) = 0:

Obtinem c¼a h(xk) = 0 pentru orice k; deci, în �nal, (xk)k�k0 � M; ceea ceînseamn¼a c¼a w� 2 TM(x): Facem acum �! 0; din faptul c¼a TM(x) este închisdeducem c¼a v 2 TM(x); ceea ce încheie demonstratia. �

S¼a consider¼am acum cazul problemelor de optimizare cu restrictii a�ne.Astfel, vom considera o matrice A de tip n � p; o matrice B de tip m � psi b 2 Rn; c 2 Rm: Astfel multimea M devine M = fx 2 Rp j Axt � bt;Bxt = ctg; unde relatia "�" este înteleas¼a ca având loc pe componente. Decig(x) = Axt � bt; h(x) = Bxt � ct:

Teorema 3.2.17 În forma de mai sus a multimii M; orice punct de minimx pentru problema (P ) satisface concluziile Teoremei 3.2.6.

Demonstratie Ca si mai sus, este su�cient s¼a ar¼at¼am c¼a D(x) � TM(x): Fiev 2 D(x). Atunci Avt � 0; Bvt = 0: Dac¼a v = 0 nu este nimic de ar¼atat. Încaz contrar, de�nim

xk := x+1

kv; 8k 2 N�:

RelatiileAxtk � bt; Bxtk = ct; xk ! x

dovedesc faptul c¼a v 2 TM(x): �

Asadar, în cazul restrictiilor a�ne nu este nevoie de nicio conditie decali�care.

90

3.3 Aplicatii si exemple

Ne propunem s¼a ilustr¼am rezultatele teoretice discutate mai sus prin inter-mediul a diverse exemple, �ecare dintre ele subliniind un aspect teoreticspeci�c. Mai multe aplicatii pot � g¼asite în sectiunea a patra a ultimuluicapitol. Pe de alt¼a parte, evidentiem si unele rezultate de natur¼a teoretic¼aavând rolul de a contura mai bine rezultatele principale parcurse anterior.Din nou, vom marca o distinctie net¼a între problemele f¼ar¼a restrictii si celecu restrictii.

3.3.1 Probleme f¼ar¼a restrictii

În prima parte a sectiunii curente urm¼am planul anuntat mai sus pentruprobleme de optimizare f¼ar¼a constrângeri.Primul exemplu marcheaz¼a o diferent¼a important¼a între extremele globale

ale unei functii reale de o variabil¼a real¼a si cele ale functiilor de mai multevariabile. Dac¼a o functie derivabil¼a f : R ! R are un singur punct critic xcare este punct de extrem local, atunci acesta este în mod necesar punct deextrem global. Într-adev¼ar, dac¼a x nu ar � punct de minim global, atunciar exista u 2 R cu f(u) < f(x): Putem presupune c¼a u < x: Dar, dinconditia de minim local pentru x; exist¼a v 2 R; u < v < x a.î. f(x) < f(v)(în caz contrar, f ar � constant¼a pe un interval de forma (x � "; x) si xnu ar mai � unicul punct critic care este si extrem local). Prin urmare,f(u) < f(x) < f(v); deci valoarea f(x) se atinge în intervalul (u; v); în-tr-un punct notat w: Aplicând Teorema lui Rolle functiei f pe [w; x]; exist¼at 2 (w; x) cu f 0(t) = 0; ceea ce reprezint¼a o contradictie. Exemplul (si �gura)de mai jos demonstreaz¼a c¼a în mai multe dimensiuni, aceast¼a observatie numai este adev¼arat¼a.

Exemplul 3.3.1 Fie p � 2 si f : Rp ! R; de�nit¼a prin

f(x) = (1 + xp)3

p�1Xk=1

x2k + x2p:

Atunci 0 2 Rp este singurul punct critic al lui f; este punct de minim localstrict (de ordinul � = 2); dar nu este punct de minim global (o ilustraregra�c¼a pentru cazul p = 2 este dat¼a în �gura de mai jos).

91

Avem o problem¼a de optimizare f¼ar¼a restrictii. S¼a calcul¼am

@f

@xk(x) = 2xk(1 + xp)

3; 8k 2 1; p� 1;

@f

@xp(x) = 3(1 + xp)

2

p�1Xk=1

x2k + 2xp:

Singurul punct critic (i.e. rf(x) = 0; deci @f@xk(x) = 0 pentru k 2 1; p) este

x = 0: Un calcul simplu arat¼a c¼a matricea hessian¼a asociat¼a lui f în x estematricea p¼atratic¼a de tip p�p care are num¼arul 2 pe diagonala principal¼a si 0în rest, deci este pozitiv de�nit¼a. Conform Corolarului 3.1.19, deducem c¼a xeste solutie local¼a strict¼a de ordinul al doilea. S¼a observ¼am c¼a f(1; 1; :::; xp) =(p� 1)(1 + xp)3 + x2p; expresie care �ind un polinom de gradul al treilea, ia,atunci când xp variaz¼a în R; toate valorile dintre �1 si +1: Deci f nu poateavea minim global. �

Urm¼atoarele exemple folosesc structura particular¼a a problemei pentru adecide dac¼a un punct critic este de extrem.

Exemplul 3.3.2 Fie f : R2 ! R; f(x1; x2) = 3x41 � 4x21x2 + x22: S¼a g¼asimpunctele de minim ale lui f .Calcul¼am punctele critice: sistemul(

@f@x1(x1; x2) = 0

@f@x2(x1; x2) = 0

are ca unic¼a solutie punctul x = (0; 0): Totusi, conditia necesar¼a de ordinulal doilea nu este satisf¼acut¼a pentru c¼a hessiana lui f în x este matricea�0 00 2

�: Asadar, nu putem decide din Corolarul 3.1.19 dac¼a punctul x

este punct de minim. În astfel de cazuri, ne folosim de structura problemeipentru a concluziona. Astfel, se observ¼a c¼a f(x1; x2) = (x21 � x2)(3x21 � x2);iar pentru sirul xk = (

pk�1;�k�1)! x

f(xk) =8

k2> f(x)

în timp ce pentru sirul xk = (p(2k)�1; k�1)! x;

f(xk) = �1

4k2< f(x):

Deci, x nu este punct de extrem local pentru f: Pe �gur¼a se observ¼a "pliul"din jurul punctului critic.

92

Exemplul 3.3.3 Fie f : R2 ! R; f(x1; x2) = (1� x1)2 + 100(x2 � x21)2:Sistemul (

@f@x1(x1; x2) = 0

@f@x2(x1; x2) = 0

este echivalent cu ��2(1� x1)� 400x1(x2 � x21) = 0200(x2 � x21) = 0

care are solutia unic¼a (x1; x2) = (1; 1): Se poate observa c¼a f(1; 1) = 0; iarf(x1; x2) � 0 pentru orice (x1; x2) 2 R2; deci (1; 1) este minim global. Dealtfel, matricea hessian¼a în punctul respectiv,�

802 �400�400 200

�este pozitiv de�nit¼a, de unde putem deduce c¼a (1; 1) este solutie local¼a strict¼ade ordinul al doilea. Aceast¼a functie se numeste functia lui Rosenbrock1

si este folosit¼a pentru testarea algoritmilor numerici pentru determinarea(aproximarea) solutiilor. În general, din cauza faptului c¼a punctul de minimse a�¼a într-o regiune relativ plat¼a (a se vedea gra�cul), acesta este di�cil deaproximat numeric.

Discut¼am acum un caz special de problem¼a de optimizare f¼ar¼a restrictii,numit¼a metoda celor mai mici p¼atrate, care apare foarte des în practica m¼a-sur¼atorilor si experimentelor din stiintele naturii: �zic¼a, chimie, astronomie,biologie. De altfel, din punct de vedere istoric, acest tip de problem¼a a ap¼arutîn leg¼atur¼a cu studiul misc¼arii planetelor si în chestiuni legate de tehnici denavigatie. Matematicianul care a pus bazele acestei tehnici de studiu se con-sider¼a a � Gauss2, dar metoda a fost publicat¼a pentru prima dat¼a de c¼atreLegendre3. În putine cuvinte, este vorba de urm¼atoarea situatie: avem ladispozitie un num¼ar de date v1; v2; :::; vN provenite în urma unor m¼asur¼atorif¼acute la momentele t1; t2; :::; tN : Obiectivul este acela de a determina ceamai bun¼a functie model de forma t 7! '(t; x) (unde x = (x1; x2; :::; xk) suntparametri ajustabili) care se potriveste cu datele m¼asurate. Astfel, pentru�ecare i 2 1; N se de�neste abaterea (reziduul) dintre o dat¼a m¼asurat¼a lamomentul ti si data descris¼a de model la acelasi moment ca �ind

ri := vi � '(ti; x);1Dup¼a numele matematicianului englez Howard Harry Rosenbrock (1920 �2010).2Carl Friedrich Gauss (1777 �1855), matematician, �zician si astronom german.3Adrien-Marie Legendre (1752 �1833), matematician francez.

93

iar problema este de a minimiza functia

f(x) =NXi=1

r2i =

NXi=1

[vi � '(ti; x)]2 :

Ca o parantez¼a, s¼a spunem c¼a o alt¼a posibil¼a functie obiectiv (poate mai�reasc¼a) ar �

NXi=1

jvi � '(ti; x)j

îns¼a aceast¼a constructie nu conserv¼a diferentiabilitatea. Acesta este mo-tivul pentru care se prefer¼a suma p¼atratelor reziduurilor, de unde si numelemetodei.Consider¼am aici cazul unei dependente liniare. Presupunem c¼a s-au f¼acut

N m¼asur¼atori la momentele diferite t1; t2; :::; tN > 0 si, corespunz¼ator, s-auobtinut valorile v1; v2; :::; vN : Stiind c¼a dependenta dintre cele dou¼a seturi devalori este liniar¼a ne intereseaz¼a s¼a determin¼am o dreapt¼a care "se potriveste"cel mai bine acestei colectii de date observate. Fie deci o dreapt¼a oarecarev = at+ b: Ca mai sus, abaterea la momentul ti dintre valoarea m¼asurat¼a visi valoarea corespunz¼atoare a dependentei liniare este vi � (ati + b): Pentrua "m¼asura" suma abaterilor, consider¼am functia f : R2 ! R;

f(a; b) =NXi=1

[vi � (ati + b)]2 :

Dreapta fat¼a de care abaterea m¼asur¼atorilor va � cea mai mic¼a va � dreaptac¼autat¼a. Astfel ajungem la problema minimiz¼arii (f¼ar¼a restrictii) a functieif: Calcul¼am derivatele partiale:

@f

@a(a; b) =

NXi=1

2(�ti) [vi � (ati + b)]

@f

@b(a; b) =

NXi=1

�2 [vi � (ati + b)]

si determinarea punctelor critice revine la rezolvarea sistemului:8<:�PN

i=1 t2i

�a+

�PNi=1 ti

�b =

PNi=1 tivi�PN

i=1 ti

�a+Nb =

PNi=1 vi:

94

Determinantul matricei sistemului de mai sus este

� := N

NXi=1

t2i

!�

NXi=1

ti

!2

=

NXi=1

12

! NXi=1

t2i

!�

NXi=1

ti

!2:

Din inegalitatea lui Hölder, acest num¼ar este pozitiv (egalitatea s-ar obtinedac¼a si numai dac¼a toate valorile ti sunt egale, lucru exclus de la bun început).Asadar, sistemul de mai sus admite solutie unic¼a:�

ab

�=

� PNi=1 t

2i

PNi=1 tiPN

i=1 ti N

��1� PNi=1 tiviPNi=1 vi

�:

S¼a mai observ¼am c¼a functia f este coerciv¼a, adic¼a limk(a;b)k!1 f(a; b) =1; deci, conform Teoremei 3.1.7, admite punct de minim, care nu poate �decât punctul critic determinat mai sus. Asadar perechea (a; b) de mai susreprezint¼a solutia problemei.S¼a mai observ¼am c¼a pentru exemplul general de mai sus, o parte din

calcule s-ar p¼astra dac¼a am avea o dependent¼a de tipul v = a � p(t) + b � q(t);unde p; q : R! R; obtinându-se sistemul� PN

i=1 p2(ti)

PNi=1 p(ti)q(ti)PN

i=1 p(ti)q(ti)PN

i=1 q2(ti)

��ab

�=

� PNi=1 p(ti)viPNi=1 q(ti)vi

�:

Din nou folosind inegalitatea lui Hölder, matricea este inversabil¼a dac¼a sinumai dac¼a (p2(ti))i=1;N si (q

2(ti))i=1;N nu sunt proportionale.În general, pentru dependente mai complicate (neliniare în parametrul x)

metoda celor mai mici p¼atrate nu are o solutie care s¼a poat¼a � atât de usordedus¼a, asa încât, în astfel de situatii sunt folositi diversi algoritmi care s¼afurnizeze aproxim¼ari ale solutiei (a se vedea sectiunea urm¼atoare).

3.3.2 Probleme cu restrictii

Trecem acum la ilustrarea si completarea rezultatelor pentru probleme curestrictii functionale. Primul exemplu se refer¼a la o problem¼a cu restrictiigeometrice (de tip x 2M) care va � tratat¼a în dou¼a moduri.

Exemplul 3.3.4 Fie f : R2 ! R;

f(x) = �x1 � 2x2 � 2x1x2 +x212+x222

95

si multimea restrictiilor

M :=�x 2 R2 j x1 + x2 � 1; x1 � 0; x2 � 0

:

S¼a consider¼am, ca în discutia teoretic¼a, problema (P ) a minimiz¼arii lui f peM:S¼a remarc¼am c¼a pentru orice x 2 R2;

r2f(x) =

�1 �2�2 1

�:

Cum aceast¼a matrice nu este pozitiv de�nit¼a (determinantul este negativ),functia nu este convex¼a. Dac¼a ar exista un punct de minim x în interiorullui M atunci acel punct ar � un minim f¼ar¼a restrictii (conform Observatiei3.1.6), deci, din Teorema lui Fermat rf(x) = 0: Dar

rf(x) = (�1 + x1 � 2x2;�2� 2x1 + x2)

si rezolvând sistemul g¼asim solutia x = (�53;�4

3) care nu apartine lui M:

Deci problema nu are solutii în intM: Totusi f este continu¼a, iar M estecompact¼a, deci problema (P ) admite cel putin o solutie.Putem aborda problema în dou¼a moduri.Prima variant¼a este urm¼atoarea. Datorit¼a faptului c¼a inegalit¼atile ce de-

�nesc multimea M sunt liniare, avem o imagine geometric¼a clar¼a a multimii(un triunghi dreptunghic cu vârfurile în punctele (0; 0); (0; 1); (1; 0)). Atunciputem calcula relativ simplu conurile tangent si normal la M în punctele depe frontier¼a si apoi s¼a veri�c¼am îndeplinirea conditiei necesare de optimali-tate: �rf(x) 2 NM(x) (Teorema 3.1.9).Astfel, dac¼a punctul x este

�pe segmentul deschis de capete (0; 1); (1; 0) :

TM(x) = fu 2 R2 j u1 + u2 � 0g; NM(x) = R+f(1; 1)g;

�pe segmentul deschis de capete (0; 0); (0; 1) :

TM(x) = fu 2 R2 j u1 � 0g; NM(x) = R+f(�1; 0)g;

�pe segmentul deschis de capete (0; 0); (1; 0) :

TM(x) = fu 2 R2 j u2 � 0g; NM(x) = R+f(0;�1)g;

�punctul (0; 1) :

TM(x) = fu 2 R2 j u1 + u2 � 0; u1 � 0gNM(x) = fa(1; 1) + b(�1; 0) j a; b � 0g ;

96

�punctul (1; 0) :

TM(x) = fu 2 R2 j u1 + u2 � 0; u2 � 0gNM(x) = fa(1; 1) + b(0;�1) j a; b � 0g ;

�punctul (0; 0) :

TM(x) = fu 2 R2 j u1 � 0; u2 � 0g;NM(x) = fa(�1; 0) + b(0;�1) j a; b � 0g :

Prin calcul direct, se veri�c¼a faptul c¼a un singur punct satisface conditianecesar¼a de optimalitate: x =

�13; 23

�: Prin urmare, conform discutiei prece-

dente, acesta este singurul punct de minim al problemei.Putem, de asemenea, s¼a ne punem problema maximului global al lui f pe

M (a c¼arui existent¼a este asigurat¼a de Teorema lui Weierstrass), problem¼aechivalent¼a cu g¼asirea minimului lui �f peM: Repetând discutia precedent¼a,g¼asim dou¼a puncte ce veri�c¼a conditia necesar¼a de optimalitate (i.e. rf(x) 2NM(x)): x = (0; 0) si x = (1; 0): Dar f(0; 0) = 0; iar f(1; 0) = �2�1; deci(0; 0) este punctul de maxim.A doua variant¼a este s¼a consider¼am functia

g : R2 ! R3; g(x) = (x1 + x2 � 1;�x1;�x2)

si s¼a reinterpret¼am problema ca având constrângerea g(x) � 0: Cum gisunt liniare nu e nevoie s¼a veri�c¼am conditii de cali�care (conform Teoremei3.2.17). Atunci, dac¼a x =2 intM este solutie a problemei, exist¼a (�1; �2; �3) 2R3+ a.î. �

rf(x) + �1rg1(x) + �2rg2(x) + �3rg3(x) = 0�igi(x) = 0; i 2 1; 3:

Discutia se împarte acum din nou pe cele sase cazuri de mai sus. De exem-plu dac¼a punctul x este pe segmentul deschis de capete (0; 1); (1; 0); atuncig2(x) < 0; g3(x) < 0; deci �2 = �3 = 0; iar sistemul de mai sus se reduce la8<:

�1� 2x2 + x1 + �1 = 0�2� 2x1 + x2 + �1 = 0x1 + x2 � 1 = 0

care are solutia �1 = 2; x =�13; 23

�: La fel, se arat¼a c¼a în celelalte situ-

atii sistemul provenit din conditiile Karush-Kuhn-Tucker nu are solutie, iarconcluzia este ca mai sus.

În unele cazuri, în functie de multimea constrângerilor, conditiile de op-timalitate pot lua o form¼a special¼a.

97

Exemplul 3.3.5 Fie f : Rp ! R convex¼a si diferentiabil¼a. Dac¼a dorim s¼aminimiz¼am aceast¼a functie pe simplexul unitate (a se vedea Exemplul 2.1.16),atunci, conform Propozitiei 3.1.15, x 2M este punct de minim pentru f peM dac¼a si numai dac¼a �rf(x) 2 NM(x): Din forma particular¼a a lui NM(x);deducem c¼a aceast¼a conditie se scrie

@f

@xi(x) = c; (constant¼a), 8i =2 I(x)

@f

@xi(x) � c; 8i 2 I(x):

Urm¼atorul exemplu este asem¼an¼ator, ca idee, Exemplului 3.2.7.

Exemplul 3.3.6 Fie functia obiectiv f : R2 ! R; f(x1; x2) = x1 + x22

si functia ce de�neste restrictia h : R2 ! R; h(x1; x2) = x31 � x22: DeciM = fx 2 R2 j h(x) = 0g: Pentru a avea loc conditia de cali�care legat¼ade constrângerile cu egalit¼ati într-un punct x 2 M este necesar si su�cientca diferentiala h în x s¼a �e nenul¼a. Acest lucru se întâmpl¼a pentru toatepunctele lui M cu exceptia lui x = (0; 0): Pentru moment excludem acestpunct. Dac¼a x 2 M n f(0; 0)g este punct de minim pentru problema (P )atunci, conform Teoremei 3.2.6, exist¼a � 2 R a.î.

rf(x) + �rh(x) = 0:

Un calcul simplu ne arat¼a c¼a sistemul rezultat nu are solutie. Deci (P ) nuare solutie diferit¼a de (0; 0): S¼a observ¼am acum c¼a x = (0; 0) este solutie(chiar global¼a) pentru c¼a f(x) = 0; iar pentru x 2 M; x31 = x22 � 0; decif(x) = x1+x

22 � 0: Asadar, solutia este un punct în care nu au loc conditiile

de cali�care.

Exemplul 3.3.7 Fie n1; :::; np 2 N�;Pp

i=1 ni = N > 0 si �e f : Rp ! R;f(x) = �xn11 xn22 :::x

npp : S¼a minimiz¼am aceast¼a functie pe simplexul unitate

din Rp: Evident c¼a problema are solutie, f �ind continu¼a, iar M compact¼a.Cum f este nul¼a dac¼a m¼acar una dintre componentele argumentului estezero, solutiile se vor g¼asi în multimea(

x 2 Rp j xi > 0; 8i 2 1; p;pXi=1

xi = 1

):

Cu notatiile din Exemplul 2.1.16, aceasta înseamn¼a I(x) = ;: Mai întâi,conditia necesar¼a de optimalitate �rf(x) 2 NM(x); se scrie, tinând cont deexpresia conului normal (Exemplul 2.1.16)

nixif(x) = c; constant¼a, 8i 2 1; p;

98

adic¼anixi= c0; constant¼a, 8i 2 1; p:

CumPp

i=1 xi = 1 siPp

i=1 ni = N; g¼asim

xi =niN; 8i 2 1; p:

Cum problema are solutie si un singur punct veri�c¼a conditia necesar¼a, de-ducem c¼a acel punct este solutia c¼autat¼a.O alt¼a abordare const¼a în transformarea restrictiei geometrice într-una

functional¼a. Fie h : Rp ! R; h(x) =Pp

i=1 xi � 1: Este clar c¼a M = fx 2Rp j h(x) = 0g: Fie x solutie a problemei. Cum rh(x) 6= 0; putem aplicaTeorema 3.2.6 pentru a deduce c¼a exist¼a � 2 R a.î.

rf(x) + �rh(x) = 0;

adic¼a�nixif(x) = �; constant¼a, 8i 2 1; p:

Astfel, se obtine aceeasi concluzie ca mai sus.

Exemplul 3.3.8 Fie a > 4�1; f; g : R2 ! R; f(x) = x21 + ax22 + x1x2 + x1 sig(x) = x1 + x2 � 1: Ca de obicei, consider¼am problema (P ); cu notatiile demai sus.S¼a observ¼am c¼a

r2f(x) =

�2 11 2a

�este pozitiv de�nit¼a, deci f este convex¼a (Teorema 2.2.11). Cum si cealalt¼adat¼a a problemei este convex¼a (a�n¼a, de fapt), conform Teoremelor 3.2.6 si3.2.8, un punct x este solutie a problemei (P ) dac¼a si numai dac¼a exist¼a� � 0 a.î. �

rf(x) + �rg(x) = 0�g(x) = 0:

Acest sistem se scrie, dup¼a cum x 2 intM (i.e. g(x) < 0) sau x 2 FrM (i.e.g(x) = 0) 8<:

x1 + x2 � 1 < 02x1 + x2 + 1 = 0x1 + 2ax2 = 0

respectiv 8>><>>:x1 + x2 � 1 = 02x1 + x2 + 1 + � = 0x1 + 2ax2 + � = 0� � 0:

99

Primul sistem admite solutie pentru a > 3�1 si aceasta este x =�� 2a4a�1 ;

14a�1

�:

Al doilea sistem are solutie în cazul a 2 (4�1; 3�1] si aceasta este x =�1� 1

a; 1a

�; � = 1�3a

a:

Exemplul 3.3.9 Fie acum f; g : R2 ! R; f(x) = x31+x22 si g(x) = x21+x22�9:Dorim s¼a studiem minimele lui f sub restrictia g(x) � 0:Remarc¼am pentru început c¼a multimea punctelor fezabile M este com-

pact¼a. Cum f este continu¼a, problema admite solutie. Se observ¼a c¼a g esteconvex¼a întrucât hessiana sa este pozitiv semide�nit¼a în orice punct. Cumg(0; 0) < 0; conditia Slater este îndeplinit¼a, deci x 2 M; o solutie a lui (P );veri�c¼a conditiile Karush-Kuhn-Tucker, adic¼a exist¼a � � 0 a.î.�

rf(x) + �rg(x) = 0�g(x) = 0:

Ca în exemplul anterior, distingem cele dou¼a cazuri si obtinem solutiile

x = (0; 0); � = 0 si x = (�3; 0); � = 9

2:

Dar (0; 0) nu este solutie, lucru care se observ¼a considerând sirurile (xn) =( 1n; 0)! (0; 0) si (yn) = (� 1

n; 0)! (0; 0) pentru care

f(yn) < f(0; 0) < f(xn); 8n 2 N�:

Concluzia este c¼a x = (�3; 0) este singura solutie a problemei.

Exemplul 3.3.10 Conditiile Karush-Kuhn Tucker spun c¼a o solutie a pro-blemei este punct critic în raport cu x pentru functia lagrangian. De remarcatîns¼a c¼a punctul respectiv nu este neap¼arat punct de minim (f¼ar¼a restrictii)pentru x 7! L(x; (�; �)). Astfel, �e f : R2 ! R; f(x1; x2) = x21 � x22 � 3x2 sih : R2 ! R; h(x1; x2) = x2: Atunci, este clar c¼a (0; 0) este punct de minimpentru f cu restrictia liniar¼a h(x1; x2) = 0: Dac¼a implement¼am conditiileKarush-Kuhn-Tucker, atunci obtinem multiplicatorul � = 3; dar (0; 0) nueste punct de minim pentru functia f(x1; x2) + 3h(x1; x2) = x21 � x22:Exist¼a si situatii când acest lucru se întâmpl¼a. Fie f : R2 ! R; f(x1; x2) =

5x21 + 4x1x2 + x22 si h : R2 ! R; h(x1; x2) = 3x1 + 2x2 + 5: Evident,

f(x1; x2) = (2x1+x2)2+x21 satisface conditiile Propozitiei 3.1.8, deci problema

are solutii. Cum constrângerea h(x) = 0 este a�n¼a, putem aplica Teorema3.2.6, si ajungem la sistemul liniar8<:

10x1 + 4x2 + 3� = 04x1 + 2x2 + 2� = 03x1 + 2x2 + 5 = 0

100

care are solutia (x1; x2; �) = (1;�4; 2): Atunci functia lagrangian în variabila(x1; x2) este l : R2 ! R;

l(x1; x2) = 5x21 + 4x1x2 + x

22 + 6x1 + 4x2 + 10

= (2x1 + x2 + 2)2 + (x1 � 1)2 + 5;

iar (1;�4) este minim global al s¼au f¼ar¼a restrictii.

Concluzion¼am cu dou¼a exemple geometrice cu o relevant¼a teoretic¼a maiaccentuat¼a.

Exemplul 3.3.11 Fie u 2 Rp n f0Rpg si a 2 R: Consider¼am multimea (nu-mit¼a hiperplan)

M := fx 2 Rp j hu; xi = ag:Aceast¼a multime este convex¼a si închis¼a, deci, conform Teoremei 2.1.5, pentruorice v 2 Rp nM; exist¼a proiectia lui v pe M; pe care o not¼am cu va: Nepropunem s¼a determin¼am expresia explicit¼a a acestui element si valoareadistantei de la v la M; adic¼a kv � vak :Fix¼am asadar v 2 Rp: Atunci va este solutia unic¼a (conform Teoremei

2.1.5) a problemei de minimizare a functiei

f(x) =1

2kx� vk2 ;

pentru x 2M: Alegerea functiei ca mai sus are aceeasi motivatie ca si în cazulmetodei celor mai mici p¼atrate. Cum constrângerea (privit¼a functional) esteliniar¼a, iar f este convex¼a, elementul va este caracterizat de�

hu; vai = a9� 2 R;rf(va) + �u = 0:

Atunci, diferentiind functia f;�hu; vai = ava � v + �u = 0:

Din a doua relatie deducem

hva � v; ui+ � kuk2 = 0;

deci

� =hu; vi � akuk2

:

101

Revenind, obtinem

va = v �hu; vi � akuk2

u:

În �nal, distanta de la v la M are valoarea

kv � vak =jhu; vi � aj

kuk :

Exemplul 3.3.12 Fie acum a1; a2; :::; ap 2 (0;1) si multimea (elipsoidulgeneralizat)

M :=

(x 2 Rp j

pXi=1

�xiai

�2� 1):

Evident aceast¼a multime este convex¼a si compact¼a. Fie v =2 M: ConformTeoremei 2.1.5, exist¼a v 2M; proiectia lui v pe M: Din nou, dorim s¼a g¼asimo expresie a acestui element.Ca mai sus, v este solutie a problemei de optimizare a functiei f(x) =

kx� vk2 sub constrângerea x 2 M: Dac¼a ar exista o solutie x în intM;atunci rf(x) = 0; deci x � v = 0; adic¼a v 2 M; ceea ce este fals. Prinurmare, restrictia este activ¼a în v; adic¼a

Ppi=1

�viai

�2= 1: În plus, functia

care de�neste (cu inegalitate) constrângerea x 2M; g : Rp ! R;

g(x) =

pXi=1

�xiai

�2� 1

este convex¼a si are loc conditia Slater. În plus, functia f este de asemeneaconvex¼a, asa încât putem trage concluzia c¼a v este solutie a problemei dac¼asi numai dac¼a exist¼a � � 0 a.î. pentru orice indice i;

vi � vi + �via2i= 0:

Cum v 6= v; � > 0 sivi =

a2i via2i + �

:

Pe de alt¼a parte, cumPp

i=1

�viai

�2= 1;

pXi=1

a2i v2i

(a2i + �)2 = 1;

102

deci a-l g¼asi pe � presupune a rezolva ecuatia de mai sus în necunoscuta �:În sfârsit, s¼a remarc¼am c¼a ecuatia are solutie unic¼a întrucât functia

0 � � 7!pXi=1

a2i v2i

(a2i + �)2

este strict descresc¼atoare, iar valoarea sa în 0 este strict supraunitar¼a (pentruc¼a v =2 M) în timp ce limita sa la +1 este 0: Revenind, a-l determina pe vrevine la rezolvarea unei ecuatii de grad 2p; lucru în general imposibil. Atuncivom � interesati de metode de aproximare a r¼ad¼acinilor ecuatiilor neliniare,lucru de care ne vom ocupa în capitolul urm¼ator.

103

Capitolul 4

Algoritmi

Scopul capitolului de fat¼a este acela de a prezenta unele idei fundamentaledin teoria algoritmilor pentru probleme de optimizare. Consider¼am pentruînceput studiul iteratiilor Picard (introduse si discutate în capitolul al doilea)pentru aproximarea r¼ad¼acinilor ecuatiilor neliniare, iar discutia ne va conduceîn mod natural la prezentarea unor procedee de accelerare a vitezei de con-vergent¼a a sirului initial. Iteratiile Newton sunt apoi interpretate în acelasicadru. Pentru problemele de optimizare f¼ar¼a restrictii, ne intereseaz¼a metodac¼aut¼arii directiei de descrestere pe care o discut¼am în am¼anunt, iar pentruproblemele cu restrictii date sub form¼a de inegalit¼ati, prezent¼am metodapunctului interior. Toate elementele teoretice sunt apoi discutate si veri�-cate prin intermediul unor simul¼ari scrise în cod Scilab.

Cazurile de mai sus au fost situatii fericite, în sensul c¼a am putut rezolva(cu unele exceptii) ecuatiile ale c¼aror solutii d¼adeau punctele candidate la a �solutii. Apoi, folosind mijloacele teoretice pe care le-am dezvoltat anterior amfost capabili s¼a rezolv¼am complet problemele date. Totusi, de foarte multe oripot ap¼area probleme pentru care nu putem rezolva sistemele ce dau punctelecritice ale functiei obiectiv (în cazul problemelor f¼ar¼a restrictii) sau punctelecritice ale lagrangianului (la problemele cu restrictii). Am v¼azut un astfel deexemplu chiar în �nalul sectiunii precedente sau cu ocazia discutiei privindmetoda celor mai mici p¼atrate. Pentru astfel de probleme, sunt necesarialgoritmi pentru aproximarea solutiilor. Ca de obicei, si pentru proiectareaalgoritmilor, exist¼a o net¼a diferent¼a între problemele cu restrictii si cele f¼ar¼arestrictii.Toti algoritmii cer precizarea unui punct de start pe care îl not¼am cu

x0: Este bine ca acest punct s¼a �e el însusi o cât mai bun¼a aproximare asolutiei c¼autate (mai ales dac¼a aceasta nu este unic¼a). De exemplu, functia

104

f : R! R;

f(x) =x4

4� x

3

3� x2

are dou¼a puncte de minim: x = �1 este minim local, iar x = 2 este minimglobal. Dac¼a se pleac¼a cu o valoare x0 apropiat¼a de unul dintre aceste puncte,atunci este probabil ca algoritmul s¼a g¼aseasc¼a o aproximare a acelui punct.Revenind la discutia general¼a, dup¼a alegerea lui x0, algoritmul genereaz¼a

un sir de iteratii (xk)k2N care au scopul de a se apropia de solutie. Generareaacestui sir se va opri atunci când nu se mai pot face progrese în încercareade apropiere de solutie (conform regulii interne a algoritmului de generarea iteratiilor) sau când a fost atins¼a o anumit¼a acuratete dinainte stabilit¼a.Orice algoritm trebuie s¼a implementeze o regul¼a intern¼a de generare a uneinoi iteratii utilizând iteratiile deja existente. În general, �ecare nou¼a iteratietrebuie s¼a realizeze o apropiere de solutie, dar exist¼a si algoritmi nemonotoni,pentru care descresterea nu trebuie s¼a se produc¼a neap¼arat la �ecare pas.S¼a mai spunem c¼a studiul algoritmilor pentru detectarea (aproximarea)

solutiilor problemelor de optimizare constituie un subiect vast în sine. Vomda aici doar unele idei fundamentale. Majoritatea algoritmilor performantisunt implementati în functiile de optimizare ale programelor de calcul sti-inti�c cum ar �Scilab sau Matlab si vom ilustra, pentru Scilab, aceste functiiîn �nalul capitolului.Dou¼a sunt problemele atunci când se studiaz¼a un algoritm întrucât ne

intereseaz¼a atât dac¼a algoritmul este global (i.e. este convergent pentru oricedat¼a initial¼a x0), cât si viteza de convergent¼a. Astfel, pentru un sir (xk) � Rpconvergent la x 2 Rp cu xk 6= x pentru orice k 2 N�; se numeste ordin deconvergent¼a cel mai mare num¼ar natural q pentru care

limk!1

kxk+1 � xkkxk � xkq

2 [0;1):

Dac¼a q = 1 spunem c¼a avem o convergent¼a liniar¼a, iar pentru q = 2 oconvergent¼a p¼atratic¼a. Vom vedea îns¼a c¼a sarcina proiect¼arii unor algoritmiglobali care s¼a aib¼a vitez¼a bun¼a de convergent¼a (cel putin p¼atratic¼a) este unadi�cil¼a.Începem îns¼a cu studiul unor metode de a determina cu aproximatie

r¼ad¼acinile unor ecuatii neliniare. Câteva dintre ideile prezentate în sectiuneaurm¼atoare fac leg¼atura dintre unele rezultate anterioare si cazul unor algo-ritmi de optimizare. Mention¼am c¼a o ecuatie neliniar¼a nerezolvabil¼a a ap¼arutla Exemplul 3.3.12. În plus, s¼a mai remarc¼am c¼a Teorema 3.2.6 transform¼ao problem¼a de optimizare în problema rezolv¼arii ecuatiei L(x; (�; �)) = 0(de cele mai multe ori neliniare si chiar imposibil de rezolvat exact). Unalt argument ar � si acela c¼a, în fond, problema rezolv¼arii unei ecuatii de

105

forma f(x) = 0 este echivalent¼a cu problema determin¼arii solutiilor globaleale problemei de optimizare f¼ar¼a restrictii min f 2:

4.1 Algoritmi pentru ecuatii neliniare

A rezolva o ecuatie de tipul g(x) = 0 este echivalent cu a g¼asi punctele �xeale functiei f(x) = g(x) + x; asa încât prima parte a discutiei se refer¼a laconvergenta iteratiilor Picard al c¼arei studiu teoretic a fost început cu prilejuldiscut¼arii problemelor de punct �x pentru functii de o variabil¼a real¼a. Rea-mintim c¼a dac¼a f : [a; b]! [a; b] este o functie derivabil¼a astfel încât derivatasa este m¼arginit¼a (în modul) pe [a; b] de o constant¼a strict subunitar¼a, atuncipentru orice dat¼a initial¼a x0 2 [a; b] iteratia Picard de�nit¼a de xk+1 = f(xk);k � 0 este convergent¼a c¼atre unicul punct �x x al lui f din [a; b]: În plus,se poate observa f¼ar¼a di�cultate c¼a dac¼a punctul �x nu este atins (sirul estenestationar), atunci

xk+1 � xxk � x

=f(xk)� xxk � x

k!1! f 0(x):

Astfel, în general, avem de-a face cu o convergent¼a liniar¼a: pentru k su�cientde mare, eroarea la pasul (k+1) se comport¼a ca eroarea la pasul k înmultit¼acu o constant¼a subunitar¼a. Acest tip de convergent¼a este destul de lent.S¼a consider¼am contractia f : [0;1)! [0;1) dat¼a prin f(x) = 1

1+x2: Din

principiul lui Banach, f are un singur punct �x pe [0;1) si acesta este unicasolutie pozitiv¼a a ecuatiei x3 + x � 1 = 0 care are valoarea aproximativ¼ax � 0:6823278: În plus, ca mai sus, pentru iteratiile Picard avem

xk+1 � xxk � x

k!1! f 0(x) =�2x

(1 + x2)2= �2x3 � �0:63534438165:

Deci, practic pentru k su�cient de mare, la �ecare pas al iteratiei, eroarease multiplic¼a (în valoare absolut¼a) cu aproximativ 0:6353: Din contra, dac¼astudiem cazul restrictiei functiei sin x la intervalul [0; 1] care este contractieslab¼a cu x = 0 punct �x, deducem c¼a

xk+1 � xxk � x

k!1! f 0(x) = 1

si nu ne astept¼am s¼a avem o vitez¼a de convergent¼a rezonabil¼a. În ultimasectiune a capitolului vor � ilustrate aceste predictii teoretice.

106

Observatia 4.1.1 Asadar, viteza convergentei iteratiilor Picard este dat¼ade valoarea lui f 0(x): În cazul cel mai bun în care f 0(x) = 0 putem aveaconvergente mai bune decât convergenta liniar¼a. În general, în contextul demai sus, dac¼a f 0(x) = 0 si f este de dou¼a ori derivabil¼a atunci, aplicând dedou¼a ori regula lui L�Hôspital avem:

limx!x

f(x)� x(x� x)2 =

f 00(x)

2; (4.1)

deci pentru orice iteratie Picard nestationar¼a

limk!1

xk+1 � x(xk � x)2

=f 00(x)

2;

adic¼a o convergent¼a p¼atratic¼a.În fond, pentru convergenta p¼atratic¼a de mai sus este su�cient s¼a existe

limx!xf(x)�x(x�x)2 ; sau, mai general, limx!x

jf(x)�xj(x�x)2 : Acest lucru se poate întâmpla

si f¼ar¼a ca f s¼a �e de dou¼a ori derivabil¼a: de exemplu pentru functia f : R! R

f(x) =

�x2; x � 0�x2; x < 0

exist¼a limita

limx!x

jf(x)� xj(x� x)2 = 1

în x = 0; f¼ar¼a ca functia s¼a �e derivabil¼a de dou¼a ori în 0: Aceast¼a observatieva � foarte important¼a un pic mai târziu.

Dac¼a f 0(x) 6= 0; viteza de convergent¼a a iteratiilor Picard este lent¼a. Vomprezenta în continuare o metod¼a de îmbun¼at¼atire a convergentei iteratiilorPicard în cazul f 0(x) 6= 0, metod¼a ce se numeste metoda lui Aitken de ac-celerare, �ind descoperit¼a de matematicianul neo-zeelandez Alexander CraigAitken în 1926.Fie asadar f : [a; b] ! [a; b] o functie derivabil¼a a.î. derivata sa pe

[a; b] este strict subunitar¼a în modul. Pentru orice x0 2 [a; b] iteratia Pi-card de�nit¼a de xk+1 = f(xk); k � 0 este convergent¼a c¼atre unicul punct �xx al lui f din [a; b]: Presupunem c¼a f 0(x) 6= 0; deci jf 0(x)j 2 (0; 1): Dac¼a (xk)este nestationar,

xk+1 � xxk � x

=f(xk)� xxk � x

k!1! f 0(x): (4.2)

Deci, putem scrief(xk)� x = �k(xk � x);

107

unde �kk!1! f 0(x); ceea ce revine la

x =f(xk)� �kxk1� �k

;

adic¼a

x = xk +f(xk)� xk1� �k

: (4.3)

Ideea initial¼a a lui Aitken a fost de a c¼auta un alt sir (�k) care s¼a aproximezef 0(x): Rezultatul este dat în propozitia de mai jos.

Propozitia 4.1.2 Dac¼a (xk) este un sir Picard nestationar, atunci sirulde�nit de

�k =f(f(xk))� f(xk)f(xk)� xk

; 8k 2 N

are limita f 0(x):

Demonstratie Cum xk+1 = f(xk); avem xk+2 = f(f(xk)) si din de�nitia lui�k deducem c¼a

�k =xk+2 � x� (xk+1 � x)(xk+1 � x)� (xk � x)

=

xk+2�xxk+1�x � 11� xk�x

xk+1�x;

iar din relatia (4.2), obtinem

lim�k =f 0(x)� 11� 1

f 0(x)

= f 0(x):

Propozitia este demonstrat¼a. �

Acum relatia (4:3) si rezultatul de mai sus sugereaz¼a s¼a consider¼am sirul:

yk = xk +f(xk)� xk

1� f(f(xk))�f(xk)f(xk)�xk

= xk �(f(xk)� xk)2

f(f(xk))� 2f(xk) + xk

=xkf(f(xk))� f(xk)2f(f(xk))� 2f(xk) + xk

:

Vom demonstra c¼a sirul (yk) este de asemenea convergent c¼atre punctul�x x; dar mai repede decât (xk):

108

Teorema 4.1.3 Fie (xk) un sir Picard nestationar convergent la un elementx a.î.

limxk+1 � xxk � x

= f 0(x) 2 (�1; 1) n f0g:

Dac¼a sirul (yk) dat prin

yk = xk �(f(xk)� xk)2

f(f(xk))� 2f(xk) + xk

este bine de�nit, atunci el converge la x si, în plus,

limyk � xxk � x

= 0:

Demonstratie Ar¼at¼am mai întâi c¼a (yk) converge la x: În relatia de de�nitiea lui (yk); sc¼adem si adun¼am x si apoi împ¼artim atât la numitor cât si lanum¼ar¼ator prin xk+1 � x: Obtinem

yk = xk +

�1 + x�xk

xk+1�x

�(xk+1 � xk)�

1 + x�xkxk+1�x

���xk+2�xxk+1�x � 1

�si trecând la limit¼a (si notând f 0(x) := � pentru usurinta scrierii) deducem:

lim yk = x+1� ��1

1� ��1 � �+ 1 lim(xk+1 � xk) = x:

S¼a ar¼at¼am acum c¼a (yk) converge mai repede decât (xk): Avem:

yk � xxk � x

=xk � x� (f(xk)�xk)2

f(f(xk))�2f(xk)+xkxk � x

= 1 +

(f(xk)�xk)2(xk+1�xk)�(xk+2�xk+1)

xk � x:

Cu acelasi procedeu de mai sus obtinem

yk � xxk � x

= 1 +

�1 + x�xk

xk+1�x

���1 + xk+1�x

xk�x

��1 + x�xk

xk+1�x

����1 + xk+2�x

xk+1�x

� ;deci,

limyk � xxk � x

= 1 +(1� ��1)(�1 + �)2� �� ��1 = 0:

109

Prin urmare, (yk) converge mai repede decât (xk): �

Desi (yk) produce o accelerare a vitezei de convergent¼a, totusi ordinul deconvergent¼a nu se modi�c¼a: efectuând calcule asem¼an¼atoare celor de mai susse obtine

limyk+1 � xyk � x

= f 0(x);

adic¼a tot o convergent¼a liniar¼a. Plecând totusi de la aceast¼a idee, vom con-sidera o iteratie Picard, dar pentru functia

h(x) =xf(f(x))� f(x)2f(f(x))� 2f(x) + x

(de aceast¼a dat¼a, exponentul marcheaz¼a ridicarea la putere). Dup¼a cum sevede, functia h nu poate �de�nit¼a formal în punctul x; dar poate �prelungit¼aprin continuitate în acel punct pentru c¼a

limx!x

h(x) =f(f(x)) + xf 0(f(x))f 0(x)� 2f(x)f 0(x)

f 0(f(x))f 0(x)� 2f(x)f 0(x) + 1

=x+ x(f 0(x))2 � 2xf 0(x)(f 0(x))2 � 2f 0(x) + 1 = x;

(am presupus c¼a jf 0(x)j < 1). Deci, cu aceast¼a prelungire (h(x) = x), punctul�x al lui f este punct �x pentru h: Presupunem acum c¼a exist¼a o vecin¼atateV := [x��; x+�] a lui x (� > 0) cu proprietatea c¼a pentru orice x 2 V nfxg;f(f(x)) � 2f(x) + x 6= 0 (în particular, x este singurul punct �x al lui f înV ). Acum are loc si reciproca: dac¼a u este punct �x al lui h din V; atunciegalitatea h(u) = u conduce la (f(u)� u)2 = 0: Prin urmare, singurul punct�x al lui h din V este x: Este de asemenea clar c¼a h este derivabil¼a pe V nfxg:Presupunem în plus c¼a f este de clas¼a C2 pe V: Vom ar¼ata c¼a h este

derivabil¼a în x si derivata h0(x) = 0: Scriem formula lui Taylor pentru f înjurul lui x : pentru orice " cu j"j < �; exist¼a �" 2 (0; 1) a.î.

f(x+ ") = f(x) + f 0(x)"+f 00(x+ �"")

2"2

= x+ f 0(x)"+f 00(x+ �"")

2"2:

Fix¼am " nenul. Not¼am, pentru usurinta calculelor, not¼am

f 00(x+ �"")

2=: A" si f 0(x)"+

f 00(x+ �"")

2"2 =: �":

Este clar c¼a pentru " su�cient de mic, j�"j < �; deci

f(x+ �") = x+ f0(x)�" + A�"�

2" :

110

Revenind la expresia lui h si efectuând calculele, avem

h(x+ ") =(x+ ")f(x+ �")� (x+ �")2f(x+ �")� 2(x+ �") + (x+ ")

= x� �2" � f 0(x)"�" � A�""�2""� 2�" + f 0(x)�" + A�"�2"

= x� "2(f 0(x) + A"")�A" � A�"f 0(x)� A�"A""

(1� f 0(x))2 � "(2A" � A"f 0(x)� A�"f 0(x)2 + 2A"A�"f 0(x)"+ A�"A2""2):

Scriem acum raportul h(x+")�x"

si trecem la limit¼a cu " ! 0: Atunci, cumf 0(x) 6= 1 si

A""!0! f 00(x)

2;A�"

"!0! f 00(x)

2

deducem c¼a exist¼a

lim"!0

h(x+ ")� x"

= 0:

A�rmatia de mai sus este demonstrat¼a. În plus,

limx!x

h(x)� x(x� x)2 = lim"!0

h(x+ ")� x"2

= �f00(x)

2

f 0(x)

1� f 0(x) 2 R:

În particular, micsorând eventual vecin¼atatea V; h este o contractie de laV la V: Deci, folosind acest rezultat si Observatia 4.1.1, sirul (xk) de�nit prin

xk+1 = xk �(f(xk)� xk)2

f(f(xk))� 2f(xk) + xk

cu o dat¼a initial¼a aleas¼a potrivit este convergent c¼atre x; având o rat¼a p¼a-tratic¼a de convergent¼a, i.e.

limjxk+1 � xj(xk � x)2

2 [0;1):

Inconvenientul este acela c¼a x0 trebuie ales din V; deci trebuie s¼a �e su�cientde aproape de x (a.î. ecuatia f(f(x))�2f(x)+x = 0 s¼a nu aib¼a alt¼a r¼ad¼acin¼aîn V în afar¼a de x), acesta �ind pretul pl¼atit pentru a avea o vitez¼a deconvergent¼a atât de bun¼a. S¼a remarc¼am c¼a, la prima vedere, aceast¼a cerint¼apare foarte exigent¼a: de vreme ce-l c¼autam pe x, nu e tocmai �resc s¼a cerems¼a plec¼am cu un punct apropiat de solutia respectiv¼a. O posibilitate ar � s¼agener¼am, pentru câtiva pasi, iteratiile Picard standard pentru a ne apropia

111

de x si apoi s¼a aplic¼am metoda lui Aitken. O alt¼a ipotez¼a suplimentar¼a afost legat¼a de cresterea ordinului de derivabilitate a functiei. Caracteristiciasem¼an¼atoare vom g¼asi si la urm¼atoarea metod¼a (bazat¼a tot pe o iteratiePicard) ce are vitez¼a de convergent¼a p¼atratic¼a.

Este vorba de celebra metod¼a a lui Newton, care este unul dintre celemai cunoscute procedee iterative de a aproxima r¼ad¼acinile unei functii careare propriet¼ati su�ciente de derivabilitate. Din nou vom vedea c¼a aceast¼ametod¼a este una local¼a (algoritmul nu este global, în sensul c¼a pentru a aveao convergent¼a a sirului de iteratii c¼atre o anume r¼ad¼acin¼a trebuie ca punctulde plecare s¼a �e su�cient de apropiat de r¼ad¼acina respectiv¼a), dar are o rat¼ade convergent¼a p¼atratic¼a. S¼a consider¼am o functie f : R! R de clas¼a C2si �e x o r¼ad¼acin¼a simpl¼a a lui f (i.e. f(�x) = 0; f 0(x) 6= 0). Consider¼am ovaloare x0 su�cient de apropiat¼a de x: Sirul iteratiilor Newton pleac¼a de laecuatia tangentei la gra�cul lui f: Cerinta este de a considera de �ecare dat¼aca punct urm¼ator al iteratiei valoarea în care tangenta la punctul curent aliteratei intersecteaz¼a axa Ox: Astfel, pentru xk dat, avem ecuatia:

0 = f(xk) + f0(xk)(xk+1 � xk):

Aceast¼a ecuatie, din care trebuie s¼a scoatem expresia lui xk+1; arat¼a de ce sesolicit¼a ca solutia s¼a �e simpl¼a si s¼a se plece dintr-un punct apropiat lui x :trebuie s¼a ne plas¼am într-o vecin¼atate a lui x în care f 0 nu se anuleaz¼a, orio astfel de vecin¼atate exist¼a tocmai datorit¼a faptului c¼a f 0 este continu¼a sinenul¼a în x: Astfel, se de�neste iteratia Newton prin formula:

xk+1 = xk �f(xk)

f 0(xk):

Fie L 2 (0; 1): S¼a not¼am cu V un interval închis centrat în x pentru caref 0(x) 6= 0 pentru orice x 2 V si����f(x)f 00(x)f 0(x)2

���� < L; 8x 2 V: (4.4)

Relatia de mai sus este posibil¼a tocmai pentru c¼a f(x) = 0. Fie acum functiag : V ! R

g(x) = x� f(x)

f 0(x):

Evident, aceast¼a functie este bine de�nit¼a pe V si cum

g0(x) = 1� f0(x)2 � f(x)f 00(x)

f 0(x)2=f(x)f 00(x)

f 0(x)2;

112

din alegerea lui V; deducem c¼a g este o contractie. Pe de alt¼a parte g(x) = x,deci, în particular,

jg(x)� xj � L jx� xj ; 8x 2 V

ceea ce înseamn¼a c¼a g aplic¼a V în V: Acum, dac¼a plec¼am cu x0 2 V; s¼aobserv¼am c¼a iteratia Newton este de fapt o iteratie Picard asociat¼a functieig: Aplicând teoria dezvoltat¼a anterior, iteratia Newton (pentru orice dat¼ainitial¼a x0 2 V ) converge la punctul �x al lui g care este tocmai r¼ad¼acina luif din V (adic¼a x). Asa cum am spus anterior,

g0(x) = 0

si putem aplica Observatia 4.1.1 pentru a deduce c¼a are loc o convergent¼ap¼atratic¼a, adic¼a

limk

xk+1 � x(xk � x)2

= limx!x

g(x)� x(x� x)2

= limx!x

1

f 0(x)

xf 0(x)� f(x)� xf 0(x)(x� x)2 =

f 00(x)

2f 0(x)2 R:

Discutia de mai sus indic¼a faptul c¼a pentru a � siguri c¼a iteratia Newtonconverge c¼atre solutia dorit¼a cu vitez¼a p¼atratic¼a, trebuie ca x0 s¼a �e dintr-ovecin¼atate V a solutiei în care s¼a nu se anuleze derivata si în care s¼a aib¼a locconditia (4.4). Astfel, pentru functii care au mai multe zerouri, în functie dedata initial¼a aleas¼a putem g¼asi diferite solutii.Se poate întâmpla ca metoda lui Newton s¼a functioneze si pentru cazul

unei r¼ad¼acini multiple, dar convergenta în acest caz poate s¼a nu mai �ep¼atratic¼a. Astfel, s¼a presupunem c¼a f este de forma f(x) = (x � x)qu(x);unde q > 1; u este de clas¼a C2 si u(x) 6= 0: Atunci functia g se scrie

g(x) = x� (x� x)u(x)qu(x) + (x� x)u0(x)

iar, dup¼a calcule,

g0(x) =

�1� 1

q

�+ (x� x)2u

0(x)qu(x)

+ (x� x)2 u00(x)

q2u(x)h1 + (x� x) u0(x)

qu(x)

i2 :

Pentru valori su�cient de apropiate de x; jg0(x)j < 1; deci iteratiile Picardgenerate de g converg la punctul �x al lui g care este x (în vecin¼atatea

113

considerat¼a). Pe de alt¼a parte, g0(x) = 1� 1q6= 0; deci convergenta este doar

liniar¼a. Asadar, procedura Newton converge p¼atratic doar pentru r¼ad¼acinisimple. Dac¼a pentru o r¼ad¼acin¼a x se cunoaste ordinul de multiplicitate q,atunci se poate considera functia

gq(x) = x� qf(x)

f 0(x)= x� q (x� x)u(x)

qu(x) + (x� x)u0(x) ;

iar un calcul rapid arat¼a c¼a g0q(x) = 0; deci, folosind considerentele anterioare,se reobtine convergenta p¼atratic¼a.

Ca si la metoda lui Aitken încheiem cu discutarea unor posibilit¼ati dea alege punctul x0 su�cient de aproape de solutie astfel încât metoda luiNewton s¼a convearg¼a la punctul c¼autat. O prim¼a posibilitate (empiric¼a) esteaceea de a studia gra�cul functiei si de a alege o valoare x0 care pare a �destul de apropiat¼a solutiei. O alt¼a variant¼a ar � de a aplica o alt¼a metod¼ade aproximare a r¼ad¼acinilor unei functii a c¼arei convergent¼a este mai lent¼a,dar care totusi dup¼a câteva iteratii ne duce în apropierea solutiei, momentdin care putem alege x0 si aplica metoda lui Newton pentru accelerareaconvergentei. O astfel de metod¼a, este, de exemplu, metoda înjum¼at¼atiriiintervalului. S¼a presupunem c¼a avem o functie continu¼a f si dou¼a numerereale a < b pentru care f(a)f(b) < 0: Atunci, f are o r¼ad¼acin¼a în (a; b):Pentru usurinta expunerii, presupunem c¼a aceast¼a solutie este unic¼a. Vomgenera dou¼a siruri (ak) si (bk) astfel: a0 = a; b0 = b: Fie x0 = 2�1(a0 + b0):Dac¼a f(x0) = 0 atunci x0 este solutia c¼autat¼a si iterarea se opreste. Astfel,dac¼a f(a0)f(x0) < 0 alegem a1 = a0 si b1 = x0; iar dac¼a f(x0)f(b0) < 0alegem a1 = x0 si b1 = b0: Continu¼am procedeul luând x1 = 2�1(a1 + b1):Procedând recurent, ne apropiem cu (xk) de solutie, înjum¼at¼atind la �ecarepas intervalul în care se g¼aseste solutia. În general, aceast¼a convergent¼a nueste foarte rapid¼a, deci e de preferat s¼a o folosim doar pret de câteva iteratiipentru a g¼asi un punct relativ apropiat de solutie care s¼a foloseasc¼a ca dat¼ainitial¼a pentru mult mai rapida convergent¼a Newton.

4.2 Algoritmi în probleme de optimizare

Exist¼a mai multe modele generale de proiectare a algoritmilor pentru opti-mizarea liber¼a de constrângeri, dar noi ne vom concentra mai ales pe modelulnumit "c¼autarea directiei de descrestere". Scopul acestui algoritm este acelade a realiza la �ecare pas o descrestere a functiei obiectiv f : Rp ! R; declas¼a C2 (i.e. f(xk+1) < f(xk)): Algoritmul calculeaz¼a la �ecare pas k; odirectie pk (un vector de norm¼a 1) si un pas �k > 0 de miscare pe directia

114

pk: Astfel, plecând de la iteratia xk; noua iteratie va �

xk+1 = xk + �kpk: (4.5)

În cadrul acestei scheme sunt importante atât alegerea directiei cât si a pa-sului. Din formula lui Taylor, pentru �; p �xate, exist¼a t 2 (0; �)

f(xk + �p) = f(xk) + �rf(xk)(p) +1

2�2r2f(xk + tp)(p; p): (4.6)

Oprindu-ne cu evaluarea la diferentiala de ordinul întâi, directia pe care fdescreste cel mai mult este dat¼a de solutia problemei de minimizare pe bilaunitate închis¼a a functiei (în variabila p), p 7! rf(xk)(p). Cum

rf(xk)(p) = kpk krf(xk)k cos � = krf(xk)k cos �

unde � este unghiul dintre p si rf(xk); este clar c¼a minimul este atins pentru

p = � rf(xk)krf(xk)k

dac¼a krf(xk)k 6= 0: Deci dac¼a s-a atins un punct critic, atunci nu putemînainta. În caz contrar, alegerea lui pk de forma de mai sus se numeste metodacelei mai bune descresteri. Pe de alt¼a parte, orice alt¼a directie pentru careunghiul cu rf(xk) este mai mare de �

2(i.e. cos � < 0) produce o descrestere

a functiei f dac¼a � este su�cient de mic (conform (4.6)), întrucât ultimultermen contine �2; deci tinde mai rapid c¼atre zero decât �rf(xk)(p): O astfelde directie (pentru care rf(xk)(pk) < 0) se numeste directie de descrestere.Apare acum problema alegerii lui �k: Alegerea ideal¼a ar � minimul, pentru� > 0; al functiei � 7! f(xk + �pk); dar, din nou, problema aceasta nu esteneap¼arat una simplu de rezolvat. O alt¼a posibilitate care ar � mai simpl¼aeste aceea de a alege un num¼ar � > 0 pentru care f(xk + �pk) < f(xk); daraceast¼a alegere ar putea s¼a nu conduc¼a la o descrestere rezonabil de rapid¼a afunctiei. Între aceste posibilit¼ati extreme, o variant¼a de mijloc este alegerealui �k satisf¼acând

f(xk + �pk) < f(xk) + c1�rf(xk)(pk); (4.7)

unde c1 2 (0; 1): Inegalitatea de mai sus se numeste conditia Armijo (�indintrodus¼a de matematicianul american Larry Armijo în 1966), iar posibili-tatea alegerii lui � care s¼a îndeplineasc¼a (4:7) este asigurat¼a de (4.6) si derf(xk)(pk) < 0: În general, conditia (4:7) poate � satisf¼acut¼a de prea multevalori asa încât c1 se alege foarte mic. Chiar si asa exist¼a riscul select¼arii unei

115

valori � prea mici, asa încât în mod uzual se impune si o a doua conditie detipul

c2rf(xk)(pk) � rf(xk + �pk)(pk); (4.8)

unde c2 2 (c1; 1): Aceast¼a conditie, numit¼a conditia de curbur¼a, spune c¼aderivata functiei � 7! f(xk + �pk) în � este mai mare decât produsul dintrec2 si derivata aceleiasi functii în 0: Este clar c¼a, cu cât valoarea luirf(xk)(pk)este mai mic¼a, cu atât descresterea lui f este mai accentuat¼a, deci în conditia(4.8) este de preferat s¼a se aleag¼a c2 apropiat de 1: Conditiile (4.7) si (4.8)reunite se mai numesc conditiile Wolfe (dup¼a numele matematicianului a-merican Philip Wolfe care le-a introdus în 1968). Dac¼a în locul lui (4.8) seia

jrf(xk + �pk)(pk)j � jc2rf(xk)(pk)jatunci vorbim despre conditiile Wolfe tari.Consistenta acestor conditii este ar¼atat¼a riguros mai jos.

Propozitia 4.2.1 Fie f : Rp ! R de clas¼a C1; pk o directie de descrestereîn xk si 0 < c1 < c2 < 1: Dac¼a f este m¼arginit¼a inferior pe multimeafxk + �pk j � > 0g atunci exist¼a � > 0 care satisface conditiile Wolfe siconditiile Wolfe tari.

Demonstratie Conform ipotezei, functia � 7! f(xk + �pk) este m¼arginit¼ainferior pe (0;1): Cum c1 > 0 si rf(xk)(pk) < 0; pentru � su�cient de mic

f(xk + �pk) < f(xk) + c1�rf(xk)(pk)

deci, tinând cont de proprietatea de m¼arginire, ecuatia (în �)

f(xk + �pk) = f(xk) + c1�rf(xk)(pk)

are cel putin o solutie strict pozitiv¼a. Din continuitatea (în �) a functiilorimplicate, exist¼a o cea mai mic¼a solutie pozitiv¼a pe care o not¼am cu �0:Evident, pentru orice � 2 (0; �0); are loc conditia (4.7). Aplicând din nouFormula lui Taylor, exist¼a �00 2 (0; �0) cu

f(xk + �0pk) = f(xk) + �

0rf(xk + �00pk)(pk);

decirf(xk + �00pk)(pk) = c1rf(xk)(pk) > c2rf(xk)(pk):

Deci, pentru �00 are loc si conditia (4.8). Cum pentru �00 inegalit¼atile dinambele conditii (4.7) si (4.8) sunt stricte, exist¼a chiar un interval în jurulacestui punct pe care aceste conditii sunt îndeplinite. Din faptul c¼a rf(xk+

116

�00pk)(pk) < 0; deducem c¼a au loc conditiile Wolfe tari pe un interval în jurullui �00. �

Un algoritm rudimentar (f¼ar¼a o conditie explicit¼a de oprire) poate � for-mulat dup¼a cum urmeaz¼a:Alegem c 2 (0; 1); x0 2 Rp: Fie k = 0:Pentru �ecare k 2 N facem urm¼atorii pasi:- dac¼a xk este punct critic, atunci algoritmul se opreste;- contrar,

- se g¼aseste o directie pk de descrestere;- se g¼aseste �k > 0 a.î. f(xk + �kpk) < f(xk) + c�krf(xk)(pk);- se alege xk+1 = xk + �kpk:

Câteva propriet¼ati generale pot � ar¼atate pentru acest algoritm.

Propozitia 4.2.2 Fie (xk)k2N un sir de numere distincte generate de algo-ritmul precedent. Dac¼a x este un punct de acumulare al acestui sir, atuncif(x) � f(xk) pentru orice k 2 N si f este constant¼a pe multimea punctelorde acumulare ale lui (xk):

Demonstratie Din presupunerea f¼acut¼a rezult¼a implicit c¼a niciun punct xk nueste critic. Prima parte rezult¼a din regula de descrestere a lui f pe iteratiile(xk): Fie x un punct de acumulare pentru (xk): Atunci, exist¼a un subsir(xkl)! x: Pentru orice l 2 N si l0 > l avem kl0 � l0 > l deci f(xkl0 ) < f(xl):Atunci, din continuitatea lui f; f(x) � f(xl) pentru orice l: Fie acum y unalt punct de acumulare si (xkr)! y: Atunci f(y) � f(xr) pentru orice r: Seobtine f(y) � f(x) si schimbând rolurile lui x si y se obtine concluzia. �

Discut¼am acum convergenta algoritmului de c¼autare a directiei de des-crestere.

Teorema 4.2.3 Fie iteratia (4.5) în care (pk) sunt directii de descrestere,iar (�k) sunt pasi ce satisfac conditiile Wolfe. Presupunem c¼a f este de clas¼aC1 si m¼arginit¼a inferior, iar rf este Lipschitz. Atunci seria

1Xk=0

cos2 �k krf(xk)k2

(unde �k noteaz¼a unghiul dintre rf(xk) si pk) este convergent¼a.

Demonstratie Din conditiile Wolfe, pentru �ecare k 2 N�;

rf(xk + �kpk)(pk)�rf(xk)(pk) � (c2 � 1)rf(xk)(pk);

117

adic¼arf(xk+1)(pk)�rf(xk)(pk) � (c2 � 1)rf(xk)(pk);

iar din conditia Lipschitz asupra diferentialei exist¼a o constant¼a L astfel încât,

krf(xk+1)�rf(xk)k � L kxk+1 � xkk ;

de unde,(rf(xk+1)�rf(xk)) (pk) � �kL kpkk2 :

Deducem

�k �c2 � 1L

rf(xk)(pk)kpkk2

:

Din (4:7); tinând din nou seama de inegalitatea rf(xk)(pk) < 0;

f(xk+1) � f(xk) + c1c2 � 1L

(rf(xk)(pk))2

kpkk2:

Dar(rf(xk)(pk))2

kpkk2= cos2 �k krf(xk)k2 ;

decif(xk+1)� f(xk) � c1

c2 � 1L

cos2 �k krf(xk)k2 :

Sumând relatiile, deducem

f(xk+1) � f(x0) + c1c2 � 1L

kXi=0

cos2 �i krf(xi)k2 :

Cum c2� 1 < 0; din m¼arginirea inferioar¼a a functiei f; deducem convergentaseriei din enunt. �

Teorema de mai sus asigur¼a faptul c¼a

cos2 �k krf(xk)k2 ! 0:

Dac¼a alegerea lui pk se face astfel încât cos �k > " pentru orice k si pentru un" pozitiv �xat, atunci rf(xk)! 0: O astfel de situatie este alegerea directieide cea mai bun¼a descrestere pentru care cos �k = �1: Oricum, algoritmul nugaranteaz¼a convergenta c¼atre un punct de minim, ci faptul c¼a obtinem un sirde puncte cu gradientul din ce în ce mai mic, asa încât ne îndrept¼am c¼atreun punct critic. Evident, un astfel de punct poate � punct sa, deci nu unminim. În plus, convergenta poate � relativ lent¼a.

118

Încheiem sectiunea acordând (din nou) o atentie special¼a cazului functi-ilor convexe. Evident, algoritmii de mai sus se aplic¼a si acestor functii, darforma particular¼a a convexit¼atii permite elaborarea unor algoritmi speci�ciputernici. Ne oprim asupra unui algoritm devenit deja clasic, numit algorit-mul de punct proximal. Acest algoritm a fost introdus de c¼atre matemati-cianul francez Bernard Martinet în anul 1970 si ulterior generalizat de c¼atrematematicianul american Ralph Tyrrell Rockafellar în 1976.Fie f : Rp ! R o functie convex¼a diferentiabil¼a. Atunci, pentru �ecare

y 2 Rp �xat consider¼am functia gy : Rp ! R;

gy(x) = f(x) +1

2kx� yk2 :

Aceast¼a nou¼a functie este convex¼a si diferentiabil¼a (ca sum¼a de functii cuaceste propriet¼ati). În plus, gy este strict convex¼a, pentru c¼a x 7! 1

2kx� yk2

are aceast¼a proprietate (a se vedea Teorema 2.2.16 (iv)).Presupunem c¼a f satisface conditia de coercivitate din Propozitia 3.1.8,

deci îsi atinge minimul global pe Rp: Este usor de v¼azut c¼a aceeasi conditieeste satisf¼acut¼a si de gy; prin urmare exist¼a un punct de minim global al luigy pe Rp: Din faptul c¼a gy este strict convex¼a, acest punct de minim esteunic (Propozitia 3.1.14) si îl not¼am xy: În plus, conform Teoremei 3.1.12 siregulilor de diferentiere, xy este caracterizat de relatia

rf(xy) + xy � y = 0:

Gener¼am acum un sir de iteratii dup¼a urm¼atoarea regul¼a: x0 2 Rp sipentru orice k � 0; xk+1 = xxk ; deci

rf(xk+1) + xk+1 � xk = 0:

Fie x un punct de minim pentru f (care exist¼a, conform ipotezelor de maisus). Are loc relatia:

kxk+1 � xk2 = kxk � xk2 � kxk+1 � xkk2 + 2 hxk+1 � x; xk+1 � xki ; 8k:

Darhxk+1 � x; xk+1 � xki = �rf(xk+1)(xk+1 � x) � 0

(conform Teoremei 2.2.11), deci

kxk+1 � xk2 � kxk � xk2 � kxk+1 � xkk2 � kxk � xk2 ; 8k:

Desprindem de aici urm¼atoarele concluzii: sirul (kxk � xk)k este descresc¼a-tor, deci convergent (�ind pozitiv), iar sirul (kxk+1 � xkk)k are limita 0: În

119

particular, sirul (xk)k este m¼arginit. Vom ar¼ata c¼a (xk) este convergent la unpunct de minim al lui f: Fie x 2 Rp arbitrar. Atunci

rf(xk+1)(x� xk+1) = hxk � xk+1; x� xk+1i � �kxk � xk+1k kx� xk+1k :

Fie z 2 Rp un punct limit¼a al lui (xk) (existenta unui astfel de punct esteasigurat¼a de m¼arginirea sirului). Trecând la limit¼a în relatia de mai sus,folosind faptul c¼a kxk+1 � xkk ! 0 si (kx� xk+1k) este m¼arginit, deducem

rf(z)(x� z) � 0:

Cum x este arbitrar, obtinem rf(z) = 0; adic¼a z este un punct critic, decieste punct de minim. Presupunem acum c¼a (xk) are cel putin dou¼a punctelimit¼a diferite z1 si z2: Conform pasului anterior, ambele sunt puncte deminim pentru f: Repetând rationamentul f¼acut pentru x; deducem c¼a sirurile(kxk � z1k)k si (kxk � z2k)k sunt convergente. Dar

kxk � z2k2 = kxk � z1k2 + 2 hxk � z1; z1 � z2i+ kz1 � z2k2 ; 8k:

De aici obtinem c¼a exist¼a

2 limkhxk � z1; z1 � z2i = lim

kkxk � z2k2 � lim

kkxk � z1k2 � kz1 � z2k2 :

Din faptul c¼a z1 este punct limit¼a pentru (xk); limk hxk � z1; z1 � z2i nu poate� decât 0; deci

limkkxk � z2k2 � lim

kkxk � z1k2 = kz1 � z2k2 > 0:

Schimbând rolurile lui z1 si z2;

limkkxk � z1k2 � lim

kkxk � z2k2 = kz1 � z2k2 > 0;

deci se ajunge la contradictie. Asadar, sirul (xk) este convergent la un punctde minim al lui f:

120

Capitolul 5

Seminar, laborator

5.1 Seminar

Problema 1 S¼a se studieze existenta punctelor de extrem local pentru functi-ile polinomiale de gradul al III-lea. Admit acestea puncte de extrem global?Aplicatie: problema lui Tartaglia: s¼a se scrie num¼arul 8 ca sum¼a de doi ter-meni pozitivi astfel încât produsul acestora înmultit cu diferenta lor s¼a �emaxim.

Problema 2 S¼a se reprezinte gra�c functia f : R n f1g ! R;

f(x) = jxj e1

x�1

si s¼a se determine punctele sale de extrem.

Problema 3 Cum poate � descompus num¼arul 100 într-o sum¼a de termenipozitivi astfel încât produsul acestora s¼a �e maxim? Dar dac¼a termenii suntnumere naturale?

Problema 4 Un soldat are la dispozitie 7400 pentru a dezamorsa o bomb¼aa�at¼a în largul m¼arii la o distant¼a de 50m fat¼a de t¼arm. Soldatul se a�¼a la100m în lungul t¼armului fat¼a de pozitia bombei în raport cu t¼armul. Stiindc¼a soldatul alearg¼a cu 5m=s înoat¼a cu 2m=s si, odat¼a ajuns la bomb¼a, arenevoie de 3000 pentru a opri circuitul de detonare, determinati dac¼a poateopri explozia.

Problema 5 S¼a se stabileasc¼a dac¼a x = 0 este punct de extrem pentru f :R! R; f(x) = ex + e�x + 2 cosx.

121

Problema 6 Fie f; g : [a; b]! R dou¼a functii continue. De�nim h : R! R;

h(t) = supff(x) + tg(x) j x 2 [a; b]g:

S¼a se arate c¼a h este bine de�nit¼a si este o functie Lipschitz.

Problema 7 La constructia unei cl¼adiri, constructorul are urm¼atoarele cos-turi: 10:000:000 u.m (unit¼ati monetare) pentru terenul de amplasament,250:000 u.m. costuri independente pentru �ecare etaj si 10:000x costuri co-mune speci�ce pentru �ecare etaj (unde x este num¼arul de etaje). S¼a sedetermine num¼arul x de etaje ce trebuie construite astfel încât costul mediupe etaj s¼a �e minim.

Problema 8 (problema butoaielor de vin �Kepler) S¼a se determinedimensiunile cilindrului de volum maxim pentru care distanta de la mijloculgeneratoarei la cele dou¼a puncte "opuse" ale bazei este constant¼a (d).

Problema 9 S¼a se determine punctele de extrem pentru functiile de mai jos.(i) f : R! R; f(x) = (x+ 2)2(x� 1)3;(ii) f : R! R; f(x) = sin3 x+ cos3 x;(iii) f : R! R; f(x) = 3

px2 � 3

p(x2 � 1);

(iv) f : R! R; f(x) = x2�5x+6x2+1

;

(v) f : (0;1)! R; f(x) = jlnxjpx;

(vi) f : R n f�p2; 0g ! R; f(x) = x2e

1x

x+p2;

(vii) f : R! R; f(x) = x arcsin x�1p2(x2+1)

:

Problema 10 Fie f; g : [a; b] ! R dou¼a functii continue. De�nim h :R! R;

h(t) = supff(x) + tg(x) j x 2 [a; b]g:S¼a se arate c¼a h este corect de�nit¼a si este o functie Lipschitz.

Problema 11 Fie a; b; c; d 2 R cu a < b; c < d si f : [a; b] � [c; d] ! R:De�nim ' : [a; b]! R;

'(x) = infff(x; y) j y 2 [c; d]g:

S¼a se arate c¼a ' este bine de�nit¼a si continu¼a.

Problema 12 Fie a1; :::; an numere reale strict pozitive cu

ax1 + ax2 + :::+ a

xn � n; 8x 2 R:

S¼a se arate c¼a a1a2:::an = 1:

122

Exercitiul 13 S¼a se stabileasc¼a dac¼a x = 0 este punct de extrem pentruf : R! R; f(x) = ex + e�x + 2 cosx pe baza rezultatului de mai jos.

Teorema 5.1.1 Fie I � R, interval deschis f : I ! R, o functie de n oriderivabil¼a în a 2 I; (n 2 N; n � 2); astfel încât

f 0(a) = 0; f 00(a) = 0; :::; f (n�1)(a) = 0; f (n)(a) 6= 0:

(i) Dac¼a n este par, atunci a este punct de extrem, mai exact: punct demaxim local dac¼a f (n)(a) < 0 si punct de minim local dac¼a f (n)(a) > 0.(ii) Dac¼a n este impar, atunci a nu este punct de extrem.

Problema 14 Fie f : [a; b]! R continu¼a, derivabil¼a în a si b cu f 0(a)f 0(b) <0: S¼a se arate c¼a f admite un punct de extrem local în (a; b):

Problema 15 S¼a se reprezinte gra�c utilizând Matlab functiile de la Exer-citiul 9.

Problema 16 S¼a se arate c¼a o multime nevid¼a D � Rp este convex¼a dac¼asi numai dac¼a D contine orice combinatie convex¼a a elementelor sale.

Problema 17 Fie D � Rp o multime nevid¼a. S¼a se arate c¼a multimeaconvD este cea mai mic¼a multime convex¼a (în sensul incluziunii) care continemultimea D:

Problema 18 S¼a se arate c¼a înf¼asur¼atoarea convex¼a a unei multimi în-chise nu este neaparat închis¼a. S¼a se arate c¼a înf¼asur¼atoarea convex¼a a uneimultimi compacte este compact¼a.

Problema 19 Fie f : R! R o functie convex¼a.(i) Fie a; b 2 R; a < b: S¼a se studieze pozitia gra�cului lui f în raport cu

dreapta ce trece prin (a; f(a)) si (b; f(b)):(ii) S¼a se deduc¼a faptul c¼a dac¼a f este m¼arginit¼a, atunci este constant¼a.

S¼a se deduc¼a faptul c¼a dac¼a f este în plus cresc¼atoare, atunci limx!1 f(x) =1:

Problema 20 Fie a; b 2 R; a < b si f : [a; b] ! R convex¼a. S¼a se arate c¼af este m¼arginit¼a inferior. Este în general f m¼arginit¼a?

Problema 21 (Hermite-Hadamard) Fie a; b 2 R; a < b si f : [a; b] ! R ofunctie convex¼a si continu¼a pe [a; b]. Atunci are loc inegalitatea

f

�a+ b

2

�� 1

b� a

Z b

a

f(x)dx � f(a) + f(b)

2:

123

Problema 22 S¼a se arate c¼a urm¼atoarele functii sunt convexe si s¼a se scrieinegalitatea Hermite-Hadamard în �ecare caz în parte pe diferite intervalecompacte:(i) f : [0;1)! R; f(x) = (x+ 1)�1;(ii) f : R! R; f(x) = ex;(iii) f : [0; �]! R; f(x) = � sin x:

Problema 23 (Inegalitatea lui Jensen) Fie D � Rp o multime convex¼a sif : D ! R: Dac¼a functia f este convex¼a atunci

f(�1x1 + :::+ �mxm) � �1f(x1) + :::+ �mf(xm)

pentru orice m 2 N�; x1; :::; xm 2 D; �1; :::; �m � 0; �1 + ::: + �m = 1:Inegalitatea este strict¼a dac¼a functia f este strict convex¼a, cel putin dou¼a dinpunctele (xk) sunt distincte si scalarii (�k) corespunz¼atori sunt strict pozitivi.

Problema 24 (i) Folosind inegalitatea lui Jensen functia strict convex¼a f :R! R; f(x) = ex deduceti: pentru orice n 2 N� si x1; x2; :::; xn 2 R;�1; �2; :::; �n > 0 cu

Pnk=1 �k = 1 are loc

ePnk=1 �kxk �

nXk=1

�kexk

cu egalitate doar în cazul x1 = x2 = ::: = xn:(ii) Ar¼atati c¼a pentru orice a1; a2; :::; an > 0 si �1; �2; :::; �n > 0 cuPnk=1 �k = 1 are loc

a�11 a�22 :::a

�nn �

nXk=1

�kak:

(iii) Deduceti inegalitatea mediilor.(iv) Deduceti c¼a pentru orice u; v > 0 si p; q > 1; 1p +

1q= 1 are loc

u1pv

1q � u

p+v

q:

Când are loc egalitatea?(v) Deduceti inegalitatea lui Hölder: pentru orice p; q > 1; 1

p+ 1

q= 1;

x1; x2; :::; xn > 0 si y1; y2; :::; yn > 0 are loc

nXk=1

xkyk �

nXk=1

xpk

! 1p

nXk=1

yqk

! 1q

:

Când are loc egalitatea?

124

Problema 25 Fie f : [a; b] ! R de clas¼a C2 a.î. f(a) = f(b) = 0: FieM := supx2[a;b] jf 00j si

g(x) = f(x)�M (x� a)(b� x)2

; h(x) = �f(x)�M (x� a)(b� x)2

:

S¼a se arate c¼a g; h sunt convexe si s¼a se deduc¼a inegalitatea

jf(x)j �M (x� a)(b� x)2

:

Problema 26 S¼a se arate c¼a f : (1;1) ! R; f(x) = � ln(lnx) este con-vex¼a. Deduceti c¼a pentru orice a; b > 1 are loc relatia

pln a ln b � ln

�a+ b

2

�:

Problema 27 (i) Fie f; g : R! R: S¼a se arate c¼a dac¼a f este o functieconvex¼a cresc¼atoare si g este convex¼a atunci f � g este convex¼a.(ii) Fie f : R!(0;1): S¼a se arate c¼a functia ln f este convex¼a dac¼a si

numai dac¼a pentru orice � > 0; functia f� este convex¼a.

Problema 28 Fie D � Rp o multime convex¼a nevid¼a. Atunci functia dD :Rp ! R dat¼a prin dD(x) = d(x;D) este convex¼a.

Problema 29 Fie f; g : Rp ! R functii convexe. Presupunem c¼a ur-m¼atoarea functie (numit¼a convolutia functiilor f si g) este bine de�nit¼a:f�g : Rp ! R; (f�g)(x) = infff(x � y) + g(y) j y 2 Rpg: S¼a se aratec¼a f�g este onvex¼a. Dac¼a f este strict convex¼a si derivabil¼a, s¼a se calculezef�f:

Problema 30 S¼a se arate c¼a functiile de mai jos sunt convexe:(i) f : (0;1)� (0;1)! R;

f(x1; x2) =1

x1+1

x2� 1

x1 + x2;

(ii) f : [0;1)� [1;1)! R;

f(x1; x2) =x21x2:

Problema 31 Fie A � Rp nevid¼a. De�nim conA := [0;1)A: S¼a se aratec¼a conA este cel mai mic con ce contine A: S¼a se arate c¼a con(convA) =conv(conA) si A� = (conA)�:

125

Problema 32 Fie multimeaM := [1; 2]� [1; 2]: S¼a se deseneze conurile tan-gente si normale la aceast¼a multime punctele sale. Aceeasi problem¼a pentruM n intM:

De�nitia 5.1.2 O problem¼a de programare liniar¼a (PPL) este o problem¼ade optimizare de urm¼atoarea form¼a:

min cxt; cu Axt = bt; x � 0;

unde c 2 Rn; A 2Mm�n(R); b 2 Rm; iar necunoscuta x 2 Rn:

Orice de�nitie a multimii restrictiilor poate �adus¼a la forma din de�nitiade mai sus, atât timp cât toate obiectele implicate sunt liniare. De fapt,trebuie precizat acest lucru pentru dou¼a situatii.

� Dac¼a o variabil¼a (real¼a) nu are restrictie de semn, atunci ea poate �înlocuit¼a cu dou¼a variabile pozitive:

u = u+ � u� unde u+ = maxf0; ug; u� = maxf0;�ug:

� Dac¼a o restrictie este de forma Axt � bt (adic¼a inegalitate în loc deegalitate) atunci introducem noi variabile (câte una pentru �ecare ine-galitate în R) scriind

y = bt � Axt � 0:Acum se consider¼a X = (x; y); A = (A;1) unde 1 este matricea identi-tate de dimensiune m si restrictia inegalitate se transform¼a în

AX t = bt:

În sfârsit, s¼a mai observ¼am c¼a dac¼a problema este una de maximizare,atunci ea poate � transformat¼a într-una de minimizare pe baza relatiei

max(f) = �min(�f):

Problema 33 Fie problema

max 3x1 � x3; cu

x1 + x2 + x3 = 1x1 � x2 � x3 � 1x1 + x3 � �1x1 � 0; x2 � 0:

S¼a se aduc¼a problema la forma standard din De�nitia 5.1.2.

126

Problema 34 S¼a se deseneze multimea punctelor fezabile, liniile de nivelpentru functia de cost si s¼a se determine gra�c solutiile pentru problemele demai jos:(i)

max x1 � x2; cux1 + x2 � 1; � x1 + 2x2 � 2x1 � �1; � x1 + 3x2 � �3

(ii)max 2x1 + 6x2; cu

�x1 + x2 � 1; 2x1 + x2 � 2x1 � 0; x2 � 0:

(iii)min � 3x1 + 2x2; cux1 + x2 � 5; 0 � x1 � 4;1 � x2 � 6:

Programul de calcul stiinti�c Matlab foloseste functia linprog si listaoptimset pentru a rezolva probleme liniare chiar în form¼a nestandard, detipul

min fxt; cu Axt � bt; Aeqxt = bteq; lb � x � ub:Sintaxa standard de utilizare este:[x,fval] = linprog(f,A,b,Aeq,beq,lb,ub, x0,optimset (�LargeScale�, �off�, �Simplex�, �on�))Dac¼a într-o problem¼a dat¼a anumite contrângeri lipsesc, atunci matricea/

vectorii corespunz¼atori din functia linprog se înlocuiesc cu []. De asemeneaînlocuim cu [] vectorul de start x0:

Problema 35 Folosind functia linprog si lista optimset din Matlab s¼a sedetermine pe baza sintaxei de mai sus solutiile urm¼atoarelor probleme.(a)

min 3x1 + x2 + 9x3 + x4; cu

x1 + 2x3 + x4 = 4x2 + x3 � x4 = 2xi � 0; i 2 1; 4:

(b)min 3x1 + x2 + 9x3 + x4; cu

127

x1 + 2x3 + x4 = 0x2 + x3 � x4 = 2xi � 0; i 2 1; 4:

(c)min � 3x1 + x2 + 9x3 + x4; cu

x1 � 2x3 � x4 = �2x2 + x3 � x4 = 2xi � 0; i 2 1; 4:

(d)min � 4x1 � 2x2; cux1 + x2 + x3 = 52x1 +

12x2 + x4 = 8

xi � 0; i 2 1; 4:

Exercitiul 36 S¼a se determine punctele de extrem local ale functiilor de mijos (probleme f¼ar¼a restrictii):(i) f : R2 ! R; f(x1; x2) = 6x21x2 + 2x32 � 45x1 � 51x2 + 7;(ii) f : R2 ! R; f(x1; x2) = x1x2(x21 + x22 � 4);(iii) f : R2 ! R; f(x1; x2) = x21 + x32;(iv) f : R2 ! R; f(x1; x2) = x41 + x42;(v) f : R2 ! R; f(x1; x2) = 3x41 � 4x21x2 + x22;(vi) f : R2 ! R; f(x1; x2) = (1� x1)2 + 100(x2 � x21)2:

Exercitiul 37 S¼a se determine extremele locale pentru f : R2 ! R; f(x1; x2) =(1 + x32)x

21 + x

22: Are f punct de extrem global?

Metoda general¼a este urm¼atoarea. Se determin¼a punctele critice rezolvândecuatia rf(x) = 0: În �ecare din aceste puncte, calcul¼am r2f(x) ce seidenti�c¼a cu matricea hessian¼a.

� Dac¼a r2f(x) este pozitiv de�nit¼a, atunci x este punct de minim local;

� dac¼a r2f(x) este negativ de�nit¼a, atunci x este punct de maxim local;

� dac¼a r2f(x) este nede�nit¼a atunci x nu este punct de extrem local.

Pentru a veri�ca aceste aspecte, în unele cazuri, se poate utiliza metodadescris¼a mai jos:

128

� dac¼a toti determinantii matricilor�

@2f@xi@xj

(x)�i;j21;k

; k 2 1; p sunt strictpozitivi atunci x este punct de minim local;

� dac¼a determinantii matricilor�

@2f@xi@xj

(x)�i;j21;k

; k 2 1; p sunt nenuli siîsi alterneaz¼a semnul începând cu semnul minus, atunci x este punctde maxim;

� dac¼a acesti determinanti sunt nenuli, atunci orice alt¼a con�guratie asemnelor decât cele descrise mai sus conduce la concluzia c¼a punctulnu este de extrem local.

Dac¼a nu se poate aplica nici una dintre concluziile precedente, atunci seprocedeaz¼a de la caz la caz pentru a stabili natura punctului critic.

Exercitiul 38 Fie functiil (considerate în seminarul anterior):(i) f : R2 ! R; f(x1; x2) = x41 + x42;(ii) f : R2 ! R; f(x1; x2) = x21 + x32;(iii) f : R2 ! R; f(x1; x2) = (1 + x32)x21 + x22;(iv) f : R2 ! R; f(x1; x2) = 100(x2 � x21)2 + (1� x1)2;(v) f : R2 ! R; f(x1; x2) = 3x41 � 4x21x2 + x22:S¼a se arate reprezinte gra�c aceste functii precum si curbele lor de nivel

si s¼a se deduc¼a concluziile teoretice.

Solutie De exemplu, pentru punctul (ii); folosind codul:

[x,y]=meshgrid(-0.5:.001:0.5);z=x.^2+y.^3;mesh(x,y,z)

iar pentru a desena curbele de nivel:

[c,h]=contour(x,y,z,70);clabel(c,h);

Pentru punctul (iii); se deseneaz¼a ca mai sus pe [x,y]=meshgrid(-7:.01:7);

Exercitiul 39 S¼a se determine maximele si minimele globale ale functieif : R3 ! R; f(x1; x2; x3) = x31 + x32 + x33 pe sfera x21 + x22 + x23 = 4:

129

Exercitiul 40 S¼a se determine minimul si maximul global al functiei f :R2 ! R; f(x1; x2) = �2x21 + 4x1x2 + x22 pe cercul unitate cu centrul înorigine.

Exercitiul 41 Fie f; g : R2 ! R; f(x) = x31 + x22 si g(x) = x21 + x22 � 9: S¼ase studieze minimele lui f sub restrictia g(x) � 0:

Exercitiul 42 S¼a se determine maximele si minimele globale ale functieif : R3 ! R; f(x1; x2; x3) = x31 + x32 + x33 pe multimea punctelor ce satisfacx21 + x

22 + x

23 = 4 si x1 + x2 + x3 = 1:

Exercitiul 43 S¼a se determine punctul (punctele) cel (cele) mai apropiat(apropiate) de origine al (ale) suprafetelor:(i) x1x2 + x1x3 + x2x3 = 1;(ii) x21 + x

22 � x23 = 1:

Exercitiul 44 Fie problema minimiz¼arii lui f : R2 ! R;

f(x) = x21 + 2x22 + x1x2 + x2

cu restrictia g(x) � 0 unde g : R2 ! R; g(x) = x1 + x2 � 1: S¼a se aratec¼a problema este convex¼a (i.e. f; g sunt convexe) si s¼a se determine solutiileacesteia.

Exercitiul 45 Conditiile Karush-Kuhn-Tucker spun c¼a o solutie a problemeieste punct critic în raport cu x pentru functia lagrangian. De remarcat îns¼ac¼a punctul respectiv nu este neap¼arat punct de minim (f¼ar¼a restrictii) pen-tru x 7! L(x; (�; �)), unde (�; �) sunt multiplicatorii corespunz¼atori solutieirespective.Din acest punct de vedere, s¼a se studieze problema minimiz¼arii lui f :

R2 ! R; f(x1; x2) = x21 � x22 � 3x2 cu restrictia egalitate h(x) = 0; undeh : R2 ! R; h(x1; x2) = x2 precum si problema minimiz¼arii lui f : R2 ! R;f(x1; x2) = 5x21 + 4x1x2 + x

22 sub restrictia h(x) = 0; unde h : R2 ! R;

h(x1; x2) = 3x1 + 2x2 + 5:

Exercitiul 46 Fie n1; :::; np 2 N�;Pp

i=1 ni = N > 0 si �e f : Rp ! R;f(x) = �xn11 xn22 :::x

npp : S¼a se minimizeze aceast¼a functie pe simplexul unitate

din Rp privind multimea punctelor fezabile în dou¼a moduri: ca restrictiegeometric¼a si ca restrictii functionale.

Exercitiul 47 Fie a > 4�1; f; g : R2 ! R; f(x) = x21 + ax22 + x1x2 + x1 sig(x) = x1 + x2 � 1: S¼a se studieze problema (P ) (cu notatiile standard).

130

5.2 Laborator

1. Sistemul dat de metoda celor mai mici p¼atrate pentru modelul v = at+ badmite solutie unic¼a:�

ab

�=

� PNi=1 t

2i

PNi=1 tiPN

i=1 ti N

��1� PNi=1 tiviPNi=1 vi

�:

iar perechea (a; b) de mai sus reprezint¼a solutia problemei.

S¼a lu¼am exemplul concret: N = 5; t1 = 0; t2 = 1; t3 = 2; t4 = 3; t5 = 4si v1 = 1:1; v2 = 2:8; v3 = 5:2; v4 = 6:9; v5 = 8:9:Pentru calculul parametrilor a; b implement¼am codul:

t=[0,1,2,3,4];v=[1.1,2.8,5.2,6.9,8.9];A=[sum(t.^2) sum(t)sum(t) 5]B=[sum(t.*v)sum(v) ]U=A^(-1)*Bx=linspace(0,4.5,90);y=U(1)*x+U(2);plot(t,v,�o�,�Linewidth�,2);hold on;plot(x,y);

Experimentând acest cod obtinem valorile 1:9700 si 1:0400 precum sigra�cul corespunz¼ator.

2. O functie pentru rezolvarea problemelor neliniare rezultate din apli-carea metodei celor mai mici p¼atrate este functia Matlab lsqnonlin apelabil¼aprin secventa [x,resnorm]=lsqnonlin(@fun, x0) unde fun este o functiedepinzând de parametrii modelului. Astfel, lsqnonlin consider¼a ca functieobiectiv suma p¼atratelor componentelor vectorului fun si returneaz¼a punctulde minim si valoarea minim¼a.S¼a presupunem c¼a din observarea unui fenomen �zic la momentele ti

rezult¼a datele mi; conform tabelului urm¼ator.

i 1 2 3 4 5 6ti 0:2 0:4 0:6 0:8 0:9 0:95mi 0:7123 1:754 4:852 22:27 94:91 388:2

131

În plus, presupunem c¼a se observ¼a un comportament de tip tx1 în jurul lui 0 siun comportament de tip 1

(1�t)x2 în jurul lui 1:Modelul sugerat de comportarela �ecare moment t este f : R3 ! R;

f(x) = x3tx1

1

(1� t)x2 :

Functia lsqnonlin va minimiza functia

x!6Xi=1

�mi � x3tx1i

1

(1� ti)x2

�2:

Programul este:

�sierul fun_cmmp_nl.mfunction z=fun(p)masurari=[0.2 0.7123;0.4 1.754;0.6 4.852;0.8 22.27; 0.9 94.91;

0.95 388.2];z=masurari(:,2)-p(3)*masurari(:,1).^p(1)./(1-masurari(:,1)).^p(2)end

�sierul cmmp_nl.mp0=[1 1 1];[p,diferenta]=lsqnonlin(@fun_cmmp_nl,p0)masurari=[0.2 0.7123;0.4 1.754;0.6 4.852;0.8 22.27; 0.9 94.91;

0.95 388.2];plot(masurari(:,1),masurari(:,2),�o�,�Linewidth�,2)

hold on;model= �1.0298*x^0.5532/((1-x)^1.9897)�;fplot(model,[0 0.95],�-r�)

si genereaz¼a

p =0.5532 1.9897 1.0298diferenta =0.0205

ceea ce ne spune c¼a modelul are o acuratete bun¼a. Gra�cul generat sugereaz¼ade asemenea acest lucru. S¼a se implementeze acest cod.

Dorim s¼a aproxim¼am solutia ecuatiei cosx = x; x 2 [0; 1]: Evident, osolutie a acestei ecuatii este punct �x pentru restrictia functiei cos la inter-valul [0; 1]: Functia cos este o contractie întrucât supx2[0;1] jcos0 xj = sin 1 < 1:

132

Mai mult, orice calculator ne d¼a valoarea aproximativ¼a a acestei constantede contractie: sin 1 ' 0:84147; deci

jcosx� cos yj � 0:8415 jx� yj :

Atunci, conform Principiului lui Banach de punct �x, exist¼a o singur¼a solutiea ecuatiei mentionate care se aproximeaz¼a oricât de bine folosind sirul iterati-ilor Picard pentru orice dat¼a initial¼a x0. Totusi, am vrea s¼a stim cât de bineaproxim¼am solutia dup¼a un num¼ar prestabilit de iteratii. Sau, spre exemplu,de câte iteratii este nevoie pentru o obtine valoarea lui x cu o eroare maimic¼a decât 1

1000. Acest lucru este posibil datorit¼a estim¼arilor privind viteza

de convergent¼a a aproximatiilor Picard în Principiul lui Banach.Avem urm¼atoarele estim¼ari:

jxn � xj � jx1 � x0j�n

1� � (5.1)

jxn � xj ��

1� � jxn � xn�1j (5.2)

Aceast¼a discutie ne va ajuta s¼a decidem care din aceste formulele d¼a rezultatemai bune. Tinând cont de relatiile (5.1) si (5.2) avem

jxn � xj �0:8415n

1� 0:8415 si jxn � xj �0:8415

1� 0:8415 jxn � xn�1j :

Se poate veri�ca (a se vedea calculele de mai jos) c¼a a doua estimare estemai bun¼a decât prima în sensul c¼a valoarea 0:8415n

1�0:8415 ajunge sa �e mai mic¼adecât 0:001 pentru n = 51; în timp ce a doua este sub 0:001 mult mai repede,pentru n = 22: Luând n = 22 în a doua relatie obtinem

jx22 � xj < 0:0009;

deci x 2 (x22� 0:0009; x22+0:0009); adic¼a x este cuprins între valorile apro-ximative 0:7381 si 0:7399:Programele Matlab care veri�c¼a a�rmatiile de mai sus sunt:lambda=0.8415;c=1/(1-lambda)i=0;while c*lambda>0.001i=i+1; c=c*lambda;enddisp(i+1); disp(c*lambda)

care returneaz¼a

133

--> disp(i+1); disp(c*lambda)51.0.0009500

si respectivu=0; i=0;while (0.8415/(1-0.8415))*abs((u-cos(u)))>0.001

i=i+1; u=cos(u);enddisp(i+1); disp((0.8415/(1-0.8415))*abs((u-cos(u))))

care returneaz¼a--> disp(i+1); disp((0.8415/(1-0.8415))*abs((u-cos(u))))22.0.0008820.Din nou, procesul de aproximare este mai rapid dac¼a se pleac¼a cu o valoare

initial¼a mai apropiat¼a de x: De exemplu, pentru x0 = 0:7; estim¼arile

jxn � xj �0:8415n

1� 0:8415 jcos(0:7)� 0:7j si jxn � xj �0:8415

1� 0:8415 jxn � xn�1j

dau o eroare inferioar¼a lui 0:001 pentru n = 35; respectiv n = 16; valori ce sepot veri�ca imediat f¼acând modi�c¼arile evidente în programele de mai sus.

Exercitiul 48 Fie functia f : R�! R;

f(x) = 1 +1

4sin

1

x:

Pentru o dat¼a initial¼a x0 2 R� consider¼am iteratia Picard asociat¼a (xn). S¼ase studieze convergenta acestui sir. S¼a se scrie un program Matlab care s¼aaproximeze valoarea limitei.

Exercitiul 49 Fie f : Rp ! Rp. Dac¼a exist¼a q 2 N� a.î. f q este o con-tractie, atunci f are un unic punct �x. In plus, iteratiile Picard ale lui fconverg la punctul �x.

Exercitiul 50 Studiind exemplele f : [0; 1]! [0; 1] dat¼a prin

f(x) =

�0 dac¼a x 2 [0; 12 ]12dac¼a x 2 (12 ; 1]

si f : R! R dat¼a prin f(x) = e�x s¼a se arate c¼a ipoteza de la exercitiulprecedent este mai slab¼a decât cerinta ca f s¼a �e contractie. În acest ultimcaz, s¼a se scrie un program Matlab care s¼a aproximeze punctul �x.

134

Exemplul 5.2.1 S¼a consider¼am functia f : [0;1)! [0;1) dat¼a prin f(x) =1

1+x2: Am v¼azut c¼a f este o contractie si are un singur punct �x care este

unica solutie pozitiv¼a a ecuatiei x3 + x � 1 = 0; iar sirul iteratiilor Picardsatisface:

xn+1 � xxn � x

n!1! f 0(x) =�2x

(1 + x2)2= �2x3 � �0:63534438165:

S¼a studiem viteza de convergent¼a prin intermediul unui program Matlab.Criteriul de oprire este atingerea unui num¼ar maxim de iteratii (1000) saucazul în care distanta dintre dou¼a iteratii consecutive este sub o tolerant¼aadmis¼a (10�7):functia=�1/(1+x^2)�tol=1e-7; maxiter=1000;n=0; x=1; x_vechi=0;%Picardwhile abs(x-x_vechi)>tol & n<maxiter

x_vechi=x; x=eval(functia); n=n+1;end%endPicarddisp(x);disp(n);

Rezultatele a�sate sunt:-->disp(u); 0.6823278 -->disp(n); 35.

deci algoritmul s-a oprit dup¼a 35 de iteratii si a g¼asit valoarea aproximativ¼aa solutiei 0:6823278, pornind de la valoarea initial¼a x0 = 1: Aceast¼a vitez¼aacceptabil¼a de calcul se datoreaz¼a faptului c¼a valoarea jf 0(x)j este relativmic¼a.

Exemplul 5.2.2 Pentru restrictia functiei sin x la intervalul [0; 1] care sat-isface conditiile Teoremei lui Picard cu x = 0 punct �x, situatia se schimb¼apentru c¼a orice iteratie Picard (xn) satisface

xk+1 � xxk � x

k!1! f 0(x) = 1

si nu ne astept¼am s¼a avem o vitez¼a de convergent¼a rezonabil¼a. Dac¼a înprogramul anterior schimb¼am legea functiei f cu noua situatie, atunci vomobtine rezultatele:-->disp(u);0.0545930-->disp(n);1000.

135

deci dup¼a 1000 de iteratii s-a obtinut o aproximare nu tocmai convenabil¼aa solutiei. Situatia se schimb¼a foarte putin dac¼a plec¼am cu o valoare (deexemplu x0 = 0:1) mai apropiat¼a de solutie:-->disp(u); 0.0480222 -->disp(n); 1000.

Exemplul 5.2.3 S¼a lu¼am cazul functiei f : [p2;1)! [

p2;1) dat¼a prin

f(x) =x

2+1

x:

Este usor de veri�cat c¼a f este bine de�nit¼a (inegalitatea mediilor). În plus,

jf 0(x)j =����12 � 1

x2

���� � 1

2;

deci f este contractie si are ca unic punct �x x =p2: Se observ¼a c¼a f 0(x) = 0

si, deci, pentru orice iteratie Picard nestationar¼a

xk+1 � x(xk � x)2

=1

2xk! 1

2p2= f 00(x);

deci avem o convergent¼a p¼atratic¼a, asa încât ne astept¼am la o vitez¼a deconvergent¼a foarte rapid¼a. Repet¼am programul anterior pentru noua functiesi obtinem:-->disp(u); 1.4142136 -->disp(n); 5.

deci algoritmul se opreste dup¼a doar 5 iteratii si obtine o aproximare foartebun¼a a punctului �x x =

p2.

De�nitia 5.2.4 O functie f : Rp ! Rp se numeste contractie slab¼a dac¼a

8x; y 2 Rp; x 6= y; kf(x)� f(y)k < kx� yk :

Problema 51 S¼a se arate c¼a f : R! R

f(x) = 1 + x� x

1 + jxj :

este contractie slab¼a dar nu are puncte �xe.S¼a se compare cu Teoremele lui Banach si Picard.

Problema 52 Fie ecuatia x3 � x� 1 = 0 pentru x 2 [1; 2]:(i) S¼a se transforme aceast¼a ecuatie într-o problem¼a de determinare a

punctului �x pentru o contractie.(ii) S¼a se deduc¼a existenta si unicitatea solutiei ecuatiei, s¼a se constru-

iasc¼a un sir (xn) convergent la aceast¼a solutie si s¼a se determine num¼arul determeni ce trebuie calculati pentru a aproxima solutia cu o eroare mai mic¼ade 10�5: S¼a se deduca rezultatul pe baza unui program Matlab.

136

Exercitiul 53 Fie f; g : R+ := [0;1)! R de�nite prin

f(x) =

�x

ex�1 ; x 6= 00; x = 1:

; g(x) = (x� 2)e2x + (x+ 2)ex:

(i) S¼a se arate c¼a g(x) � 0; pentru orice x 2 R+:(ii) S¼a se arate c¼a f este de clas¼a C1 pe R+:(iii) S¼a se arate c¼a

f 00(x) =g(x)

(ex � 1)3 ; 8x 2 (0;1)

si jf 0(x)j � 2�1 pentru orice x 2 R+:(iv) De�nim sirul (xn) prin x0 = 0 si xn+1 = f(xn) pentru orice n 2 N:

S¼a se arate c¼ajxn � ln 2j � 2�n ln 2; 8n 2 N:

Problema 54 S¼a se arate c¼a orice contractie slab¼a de�nit¼a pe o multimecompact¼a K cu valori în K are un punct �x unic.

Problema 55 Fie functia f : R ! R continu¼a astfel încât f � f admitepuncte �xe. S¼a se arate c¼a si f admite puncte �xe.

Problema 56 Fie f : [0; 1] ! [0; 1] o functie continu¼a cu proprietatea c¼af(0) = 0 si f(1) = 1: S¼a se arate c¼a dac¼a exist¼a m 2 N� a.î. fm(x) = xpentru orice x 2 [0; 1]; atunci f(x) = x pentru orice x 2 [0; 1]:

Problema 57 Fie f : [0; 1] ! [0; 1] o functie 1-Lipschitz pe [0; 1]: S¼a searate c¼a multimea punctelor �xe este un interval (posibil degenerat).

Exemplul 5.2.5 Revenim la functia sin (restrictionat¼a la intervalul [0; 1])pentru care am v¼azut c¼a avem o convergent¼a lent¼a a iteratiilor Picard. Dorims¼a test¼am cele dou¼a metode de accelerare de tip Aitken: metoda tare simetoda slab¼a (care functioneaz¼a similar si pentru cazul jf 0(x)j = 1). Pescurt, metoda slab¼a consider¼a, pe lâng¼a sirul Picard (xk) sirul

yk = xk �(f(xk)� xk)2

f(f(xk))� 2f(xk) + xkcare converge mai repede, f¼ar¼a îns¼a a produce o modi�care a ordinului deconvergent¼a. La metoda tare consider¼am direct sirul

xk+1 = xk �(f(xk)� xk)2

f(f(xk))� 2f(xk) + xk:

137

Avem codul de mai jos.functia=�sin(x)�functiacomp=�sin(sin(x))�tol=1e-7;maxiter=20000;y=1;x=1;y_vechi=0;n=0;%Aitkenwhile abs(y-y_vechi) & n<maxitery_vechi=y; x=eval(functia);y=x-((eval(functia)-x)^2)/(eval(functiacomp)-2*eval(functia)+x);n=n+1;enddisp(x); disp(y); disp(n);

Rezultatul rul¼arii acestui program este urm¼atorul:0.01220.008220000

ceea ce înseamn¼a c¼a pentru data initial¼a x0 = 1 dup¼a 20000 de iteratii Picardnu reusim s¼a aproxim¼am punctul �x x = 0 cu o eroare mai mic¼a decât 10�2

(se obtine valoarea 0:0122449), în timp ce acest lucru este obtinut dup¼a 20000de iteratii Aitken (valoarea 0:0081631).Pentru metoda Aitken tare, l¼as¼am neschimbat¼a metoda Picard, iar pentru

cod facem urm¼atoarele modi�c¼ari: introducem o nou¼a constant¼a tol1=1e-4,elimin¼am variabila w, iar metoda Aitken va ar¼ata astfel:functia=�sin(x)�functiacomp=�sin(sin(x))�tol1=1e-4; maxiter=1000;n=0; x=1; x_vechi=0;while abs(x-x_vechi)>tol1 & n<maxiterx_vechi=x;x=x-((eval(functia)-x)^2)/(eval(functiacomp)-2*eval(functia)+x);n=n+1;enddisp(x);disp(n);

obtinându-se rezultatul:1.8779e-00421

care este gr¼aitor cu privire la viteza de convergent¼a. Preciz¼am c¼a dac¼a se iatol1 mai mic exist¼a riscul unei erori de tipul împ¼artirii la 0 întrucât termenulde la numitorul sirului ce de�neste metoda devine foarte mic.

138

Exemplul 5.2.6 Prezent¼am acum o situatie particular¼a în care o iteratiePicard poate � accelerat¼a printr-o functie auxiliar¼a. Fie f : R! R; f(x) =x3+4x2+x�10: Folosind sirul lui Rolle este usor de ar¼atat c¼a ecuatia f(x) = xare o singur¼a r¼ad¼acin¼a real¼a care este pozitiv¼a, deci f are un singur punct�x, notat x si localizat în intervalul [1; 2] (a se vedea si gra�cul de mai jos).Despre f nu putem folosi teoria precedent¼a pentru c¼a nu este contractie. Înschimb, lu¼am functia g : [1; 2]! R; g(x) = 2x3+4x2+10

3x2+8x; iar egalitatea g(x) = x

este echivalent¼a cu f(x) = x: Dar

g0(x) =(6x2 + 8x)(3x2 + 8x)� (6x+ 8)(2x3 + 4x2 + 10)

(3x2 + 8x)2

=(6x+ 8)(x3 + 4x2 � 10)

(3x2 + 8x)2:

Cum x este solutia ecuatiei x3+4x2� 10 = 0; obtinem c¼a g0(x) = 0: Aceastaînseamn¼a c¼a pe o vecin¼atate a lui x; g este contractie si, în plus, convergentasirului Picard asociat este p¼atratic¼a. Programul urm¼ator arat¼a c¼a dac¼a seaplic¼a iteratia Picard functiei f pornind de la 1; atunci dup¼a doar 9 iteratiisirul are o valoare ce, în valoare absolut¼a, dep¼aseste valoarea mixim¼a accep-tat¼a de Matlab (deci este divergent), lucru ce era de asteptat din cauz¼a c¼a fnu este contractie. În schimb, utilizând functia g avem o aproximare bun¼a asolutiei dup¼a doar 5 iteratii.tol=1e-7;maxiter=1000;u=1; u_vechi=0; n=0; t=1; t_vechi=0; p=0;%Picard gwhile abs(u-u_vechi)>tol & n<maxiter

u_vechi=u; u=(2*u^3+4*u^2+10)/(3*u^2+8*u); n=n+1;end%Picard fwhile abs(t-t_vechi)>tol & p<maxiter

t_vechi=t; t=t^3+4*t^2+t-10; p=p+1;enddisp(u); disp(n); disp(t); disp(p);

Rezultatul este:--> disp(u); disp(n); disp(t); disp(p);1.365235.Nan9.

Exemplul 5.2.7 S¼a test¼am metoda lui Newton pentru functia f : R! R

139

dat¼a de relatia

f(x) = x+ ex +10

1 + x2� 5

care are o r¼ad¼acin¼a simpl¼a în intervalul (�2; 0) dup¼a cum se poate constatadin studiul gra�cului s¼au. Plecând cu data initial¼a x0 = 1:5 aproxim¼am,folosind metoda lui Newton, aceast¼a solutie cu rapiditate, asa cum arat¼aprogramul de mai jos:f_el=�x+exp(x)+10/(1+x^2)-5�;syms xg=diff(f_el);tol=1e-5;maxiter=1000;x=1.5;x_old=0;n=1;%Newtonwhile abs(x-x_old)>tol & n<maxiter

x_old=x;x=x-eval(f_el)/eval(g);n=n+1;endxneval(f_el)

care returneaz¼a:x = -0.9046n = 35ans = 8.8818e-016

Dac¼a se pleac¼a cu data initial¼a u = �1:5; atunci se obtine valoarea de maisus dup¼a doar 5 iteratii.

Exemplul 5.2.8 Ne întoarcem la ecuatia neliniar¼a de a c¼arei rezolvare de-pindea calculul proiectiei unui punct pe un elipsoid generalizat. S¼a imple-ment¼am metoda lui Newton pentru a aproxima r¼ad¼acina ecuatiei

pXi=1

a2i v2i

(a2i + �)2 = 1;

pentru p = 7; ai = i; vi = 10; i 2 1; 7: Codul:f_el=�100/((1+x)^2)+400/((4+x)^2)+900/((9+x)^2)+1600/((16+x)^2)

+2500/((25+x)^2)+3600/((36+x)^2)+4900/((49+x)^2)-1�;syms xg=diff(f_el);tol=1e-5;maxiter=1000;x=97;x_old=0;n=1;%Newtonwhile abs(x-x_old)>tol & n<maxiter

x_old=x;x=x-eval(f_el)/eval(g);n=n+1;

140

endxneval(f_el)

returneaz¼a:x = 87.6785n = 5ans = 4.4409e-015

Exemplul 5.2.9 Consider¼am exemplul f : R! R, f(x) = ex�2x2: Folosindmetoda sirului lui Rolle se g¼aseste c¼a f are trei r¼ad¼acini, una negativ¼a sidou¼a pozitive. S¼a simul¼am aplicarea metodei lui Newton (ca în exempleleanterioare) pentru diferite date initiale.Astfel, dac¼a se pleac¼a cu u = 0 se obtine:x = -0.5398n =7

Asadar, plecând din 0 g¼asim aproximarea solutiei negative dup¼a 7 iteratii.Astfel, dac¼a se pleac¼a cu u = 1 se obtine:x = 1.4880n = 5

iar pentru u = 3 se obtine:x = 2.6179n = 6.

Exemplul 5.2.10 În afar¼a de iteratiile Picard care au o convergent¼a liniar¼a,putem folosi metoda lui Newton pentru a aproxima solutia ecuatiei cox = xcu vitez¼a p¼atratic¼a. Conform teoriei dezvoltate atunci când am discutatmetoda lui Newton, trebuie considerate iteratiile Picard asociate functiei

g(x) = x+cosx� x1 + sinx

:

Urm¼atorul program Matlab demonstreaz¼a avantajele noii abord¼ari:f_el=�x+(cos(x)-x)/(1+sin(x))�;syms xtol=1e-5;maxiter=1000;x=1;x_old=0;n=1;%Newtonwhile abs(x-x_old)>tol & n<maxiter

x_old=x;x=eval(f_el);n=n+1;end%Picard

141

t=1;t_vechi=0; p=0;while abs(t-t_vechi)>tol & p<maxiter

t_vechi=t; t=cos(t); p=p+1;endxntp

iar rezultatul estex = 0.7391n = 5t = 0.7391p = 29

Exemplul 5.2.11 Implement¼am acum algoritmul de punct proximal. Fief : R! R;

f(x) =x4

4+x2

2� 3x+ 1:

Acest¼a functie este convex¼a întrucât f 00(x) = 3x2 + 1 > 0 pentru oricex 2 R: Gra�cul este prezentat mai sus.Pentru a determina cu aproximatie punctul de minim utiliz¼am algoritmul

de punct proximal în programul urm¼ator:de�nim într-un �sier functiefunction F = prox_fun(x,y)

F = x.^3+2.*x-3-y;endiar într-un M-�sier folosim functia prede�nit¼a fsolve în varianta para-

metric¼a:maxiter=100;n=0;y=-10;while n<maxiter

y = fsolve(@(x) prox_fun(x,y),[-1;y(1)]);n=n+1;

enddisp(y(1));Se obtine valoarea aproximativ¼a x = 1:213411662762243:

Implement¼am acum metoda celei mai bune descresteri. În practic¼a, di-rectia se alege

pk = �rf(xk)krf(xk)k

142

dac¼a krf(xk)k 6= 0 iar, în ceea ce priveste pasul �k; vom utiliza doar conditiaArmijo

f(xk + �kpk) < f(xk) + c1�krf(xk)(pk):Astfel, vom testa la �ecare pas dac¼a se îndeplineste conditia, iar în caz con-trar, îl vom înmulti pe �k cu un factor subunitar pentru a sc¼adea pasul.

Exemplul 5.2.12 Pentru exempli�care alegem functia f : R! R, f(x) =ex � 2x2 care a fost discutat¼a si mai sus dintr-o alt¼a perspectiv¼a. Este usorde constatat c¼a functia are un punct de minim local în apropierea lui 2:Astfel, avem codul:functia=@(x) exp(x)-2*x^2;derivata=@ (x)exp(x)-4*x;tol=1e-7; maxiter=20;u=5; u_vechi=1; n=0; factor=0.5;c1=0.01; alpha=1;%optimizare descresterewhile abs(derivata(u))>tolu_vechi=u;u=u-alpha*derivata(u)/abs(derivata(u));while functia(u)>=functia(u_vechi)+c1*alpha*abs(derivata(u_vechi))alpha=factor*alpha;u=u-alpha*derivata(u)/abs(derivata(u));endn=n+1;endunalphaderivata(u)

iar rezultatele obtinute suntu = 2:153292357921600n = 15alpha = 5:960464477539063e� 008ans = �2:854974923138798e� 008

Deci algoritmul se opreste dup¼a ce s-a obtinut o aproximare convenabil¼a aminimului. Evolutia descresterii pasului si a gradientului poate � de aseme-nea elocvent¼a.

Exercitiul 58 Fie functia lui f : R! R dat¼a prin f(x) = (x� 1)ex�x: S¼ase arate c¼a f este convex¼a pe [�1;1) si s¼a se implementeze algoritmul depunct proximal pentru determinarea minimului lui f pe acest interval.

143

Exercitiul 59 S¼a se arate c¼a functia f : R! R; f(x) = x4 � x2 + x � 1admite un singur punct de minim. S¼a se aproximeze acest punct folosindmetoda celei mai bune descresteri. S¼a se observe c¼a viteza de convergent¼a ametodei este lent¼a pentru un criteriu de oprire care cere valoarea absolut¼a deordinul 10�6 a derivatei

Exercitiul 60 Fie f : R ! R; f(x) = 2x2 + 3e�2x: S¼a se arate c¼a f estestrict convex¼a si admite punct de minim. S¼a se determine acest punct cuaproximatie folosind metoda lui Newton (aplicat¼a lui f 0(x) = 0) si algoritmulde punct proximal.

Exercitiul 61 Fie f : R! R; f(x) = x7 + x4 + 1: S¼a se arate c¼a ecuatiaf(x) = 0 admite o singur¼a r¼ad¼acin¼a real¼a, x. S¼a se justi�ce faptul c¼a xeste punct de minim global pentru F : R! R; F (x) =

R x0f(s)ds: S¼a se

aproximeze x folosind metoda celei mai bune descresteri. S¼a se comparecu metoda lui Newton aplicat¼a direct ecuatiei. Similar pentru functia f :(0;1)! R; f(x) = lnx+ 6x:

144

Bibliogra�e

[1] ***, http://www.scilab.org/

[2] M. S. Bazaraa, H. D. Sherali, C. M. Shetty, Nonlinear programming:theory and algorithms, John Wiley & Sons, New Jersey, 2006.

[3] S. L. Campbell, J. P. Chancelier, R. Nikoukhah, Modeling and Simula-tion in Scilab/Scicos with ScicosLab 4.4, Springer, New York, 2010.

[4] O. Cârj¼a, Unele metode de analiz¼a functional¼a neliniar¼a, Editura MatrixRom, Bucuresti, 2003.

[5] F. H. Clarke, Optimization and nonsmooth analysis, John Wiley & Sons,New York, 1983.

[6] A. Forsgren, P. E. Gill, M. H. Wright, Interior methods in nonlinearoptimization, SIAM Review 44 (2002), 525-597.

[7] M. R. Hestenes, Optimization Theory. The �nite dimensional case, JohnWiley & Sons, New York, 1975.

[8] J.-B. Hiriart-Urruty, Optimization et analyse convexe, EDP Sciences,Paris, 2009.

[9] J.-B. Hiriart-Urruty, Les mathématiques du mieux faire, Volume 1, Pre-miers pas en optimization, Ellipses, Paris, 2008.

[10] E. Isaacson, H. B. Keller, Analysis of numerical methods, Dover Publi-cations, New York, 1966.

[11] C. Niculescu, L.-E. Persson, Convex functions and their applications,Springer, New York, 2006.

[12] J. Nocedal, S. J. Wright, Numerical optimization, Springer, New York,2006.

[13] B. G. Pachpatte, Mathematical inequalities, Elsevier, Amsterdam, 2005.

145

[14] P. Pedregal, Introduction to optimization, Springer-Verlag, New York,2004.

[15] T. L. R¼adulescu, V. R¼adulescu, T. Andreescu, Problems in Real Analy-sis: advanced calculus on the real axis, Springer, Dordrecht, 2009.

[16] A. Quarteroni, F. Saleri, Scienti�c computing with MATLAB and Oc-tave, Springer, Milano, 2006.

[17] C. Z¼alinescu, Programare matematic¼a în spatii normate in�nit dimen-sionale, Editura Academiei, Bucuresti, 1998.

146