Metod najmanjih kvadrataDefinisanje zadatka najmanjih kvadrataKarakterizacija reenja zadatka najmanjih kvadrataMetod normalnih jednainaPrimena metoda najmanjih kvadrataFitovanje linearnom funkcijomFitovanje nelinearnom funkcijom

1.DEFINISANJE ZADATKA NAJMANJIH KVADRATAFormulisao ga Gaus 1795.g. kod geodetskih premeraSvodi se na reavanje sistema od m jednaina sa n nepoznatih (m>n) koji je u praksi najee nesaglasan-nema reenjaDo ovoga sistema dolazimo kada imamo mnogo vie merenja nego nepoznatih veliinaCilj je nai reenje koje to manje odstupa od stvarnih veliina koje neznamoMatrina forma sistema je: Ax=b gde je:Amn matrica podataka (m>n)b=b1,b2,...,bmT vektor merenjaX=x1,x2,...,xnT -vektor nepoznatih veliina

Linearni zadatak najmanjih kvadrata sastoji se u traenju vektora x* tako da vektor Ax* bude to blii vektoru b tj. da za taj vektor x* izraz:

uzima minimalnu vrednost tj. traimo minimum kvadratne norme vektora r = Ax-b date sa

Ovaj sistem je u praksi najee nesaglasanAko postoji takvo reenje x* ono predstavlja reenje sistemaAx=b u smislu najmanjih kvadrata tzv. pseudo reenje

2.Karakterizacija reenja zadatka najmanjih kvadrataKada zadatak ima reenje ??? T.1.2. x* je reenje sistema Ax=b u smislu najmanjih kvadrata akko je AT(b-Ax*)=0 tj. ATAx*=ATbPosledica 1.2. Skup reenja sistema Ax=b u smislu najmanjih kvadrata moe se shvatiti kao skup reenja ( u klasinom smislu ) normalnog sistema :ATAx=ATbT.2.2. Poslednji normalni sistem je uvek saglasan tj. ima bar jedno reenje.T.3.2. Ako je za matricu podataka A=Amn (m>n) rangA=n tj. mat- rica ima pun rang, onda je kvadratna matrica ATA regularna i normalni sistem ima jedinstveno reenje x=(ATA)-1ATb

3.Metod normalnih jednainaKoristi se u sluaju kada matrica Amn (m>n) ima pun rang tj. kada je rangA=n.Sastoji se od sledeih faza:Provera da li matrica A ima pun rangFormiranje i izraunavanje matrice B=ATAFormiranje i izraunavanje vektora c=ATb4. Reavanje matrine jednaine Bx=c ije je reenje x=B-1c

4.Primena metoda najmanjih kvadrata-normalne jednainePrimena pri obradi eksperimentalnih podatakamerenjem smo doli do podataka yi zavise od xi ali mi tu funkciju fnepoznajemo .vrednosti yi nisu stvarne vrednosti f(xi) jer pri merenju se prave i odreene greke f(xi)=yi+i i su eksperimentalne grekeFitovanje podataka( fitovanje krive ) znai odrediti funkciju F* ije se vrednosti u xi to manje razlikuju od eksperimental- nih podataka yiTa funkcija y=F*(x) se zove empirijska formula

xx1x2x3...xmyy1y2y3...ym

Odreivanja empirijske formule ima dva koraka:Prvo biramo opti oblik empirijske formule y=F(x,a1,a2,...,an ) u kome su parametri ai nepoznati2. Zatim treba da odredimo najbolje vrednosti tih para- metara a1=a1*,a2=a2*,...,an=an* tako da je funkcija F*(x)=F(x, a1*, a2*,..., an*) traena empirijska formulaBiranje opteg oblika empirijske formule se najee se izvodi pomou geometrijskog kriterijanacrtaju se take (xi,yi) pa se bira elmentarna f-a iji grafik najmanje odstupa od tih taakaNpr. lin.funkcija y=a0+a1x se uzima za y=F(x,a0,a1) ako su take bliske nekoj pravoj (slika1)

slika 1

x1 x2 x3 xm

to moemo zakljuiti i ako su koeficjenti pravaca izmeu dve susedne take priblino jednaki

a kod su take xi ekvidistantne onda imamo jednostavniji zahtev da su vrednosti

priblino jednake

5.Fitovanje linearnom funkcijom

F je linearna funkcija parametara a0,a1,...,anZa odreivanje parametara a0,a1,...,an koristimo metod najmanjih kvadrata kod koga je matrica podataka data sa

x=a0,a1,...,anT nepoznati vektorb=y1,y2,...,ym -vektor podatakaSpecijalno ako je F polinom a0+a1x+...+anxn dobivamo

matrica podataka:Pr.1.Podaci merenja su dati sa sledeom tabelom

Uveriti se da se ovi podaci mogu fitovati sa y=a0+a1x pa odrediti nepoznate parametre a0 i a1 .Poto su take xi ekvidistantne (xi=0,5) i poto su: y1=0,51 , y2=0,52 , y3=0,51 , y4=0,49 , y5=0,52 , y6=0,50 meu- sobno priblino jednaki moemo podatke fitovati pravom linijom Odredimo matricu A i vektore: x i b

x00,51,52,02,53,0y1,111,622,142,653,144,16

A matrica podataka ima pun rang jer npr. je determinanta

Naimo matricu ATA

Naimo sada vektor ATb

sada dobivamo normalni sistem ATAx=ATb dat sa:

Koga moemo napisati i u ovoj formi

7a0+10,5a1=18,4810,5a0+22,75a1=34,835Do ovoga sistema se moglo doi i diferencijalnim raunom traei minimium funkcije

Ovaj sistem ima jedinstveno reenje koje zaokrueno na etiri decimale glasi: a01,1154 i a11,0164Traena linearna funkcija ima oblik y=1,1154+1,0164xKod fitovanja polinomom najee se koristi polinom prvoga i drugoga stepena

6.Fitovanje nelinearnim funkcijamaLinearna funkcija F po parametrima a0,a1,...,an je najednostav- niji oblik opte empirijske formuleIpak ,esto empirijska formula trai nelinearnu funkciju npr. y=ceax (c>0) gde su c i a nepoznati parametri.Tada uvoenjem odgovarajuih smena dolazimo do linearne zavisnosti parametaraX=x Y=lny - smene ; posle logaritmiranja dobivamo :

Kada odredimo parametre A0 i A1 onda lako naemo c i a i dolazimo do traene eksponencijalne funkcije

Pr.2. Podaci iz sledee tabele odgovaraju ex.funkciji y=aekx

Koristei metod najmanjih kvadrata odrediti parametre a i k !Logaritmiranjem ove funkcije dobivamo sledeu jednakost

Tada se data tabela moe zameniti novom tabelom

Na osnovu podataka iz tabele nalazimo a0 i a1

x12345678y15,320,527,436,649.165,687,8117,6

X12345678Y2,7273,02043,31053,6003,89394,18364,47514,7673

Dobivamo sistem jednaina Ax=b gde je:

Poto A ima pun rang ,koristei metod normalnih jednaina dolazimo do sistema8a0+36a1=29,978736a0+204a1=147,1350koji ima jedinstveno reenje a02,4369 , a10,2912

a iz smene dobivamo a=11,4375 i k=0,2912

Tabela za smene za jo neke nelinearne funkcije

Nelinearna vezaLinearna vezaSmene promenjivih

oznaka T znai da je u pitanju transponovana vrsta tj. kolona jer vektor piemo kao matricu sa recimo m vrsta i jednom kolonom , a mi ovako piemo samo da bi uparali na prostoru primetimo da vektori Ax-b i b-Ax imaju istu normu tj.intezitet , reenje se zove i pseudo reenje jer dati sistem kao nesaglasan nema reenja u klasinom smislu reavanja jednaina .Kvadratna matrica koja je regularna ima inverznu i sitem ima jedinstveno reenje ; matrica ATA je kvadratna formata nxn ,. Vidimo da zadatak uvek ima bar jedno reenje a kada je rangA=n samo jednoNa crteu nisam mogao upisati y1,y2,..,ym i ucrtati take pa pri prezentaciji to treba pokazatiOva funkcija prestavlja ustvari normu vektora b-AxOvde sam neke delove tabele izostavio ali ovo ti je dovoljno da moeobjasniti