12
APTEFF, 3L 1-748 (2000) UDC 66.011 BIBLID: 1450-7188, (2000) 31, pp. 351-362 TEORIJSKI I PRAKTICNI ASPEKTI MODELA NELINEARNE REGRESIJE Katarina J Cobanovic, Emilija B. Nikolic-Doric i Beba S. Mutavdiic Razvoj racunarske tehnologije u poslednje dve decenije je uticao na inienzivniju primenu metoda nelinearne regresije u mnogim oblastima istraiivanja kao: tehnologiji, biologiji, hemiji itd. U radu se ukazuje na brojne prednosti, ali i na ogranicenja metoda nelinearne regresije. Razmatrana su pitanja koja sepostavljaju u vezi sa njenom primenom: kada je nelineama regresija superioma u poredenju sa linearnomregresijom oeenjenom na osnovu transformisanin promenljivih, utvrdivanje validnosti modela, preciznost oeena parametara modela, poredenje modela ocenjenih na osnovu istog skupa podataka, poredenjemodela ocenjenih na osnovu razlicuih skupova nezavisno pnkuplienih podataka. Ukazano je i na probleme u izracunavanjuoeena parametara koji sejavljaju u prakticnim primenama. Za ilustraciju, nelinearna regresija je primenjena u modeliranju zavisnostiprinosa secernerepe (tlha) u zavisnosti od utrosenili kolicina mineralnin dubriva. KUUCNE RECI: nelinearna regresija, fitovanje krive, preciznost oeena parametara, robusna regresija UYOD Linearni regresioni model jc linearna funkcija kojom se aproksimira relacija izmedu zavisne promenljive Y koja se meri, i jedne ili vise nezavisnih (objasnjavajucih) promenljivih kojima se upravlja, Xi' Nelinearni regresioni modeli aproksimiraju vezu izmedu zavisne i nezavisnih promenljivih nelinearnom funkcijom. Ukoliko je nelinearan model linearan po svim nepoznatim parametrima, jednostavnom smenom se svodi na linearan. U slucaju da postoji bar jedan parametar po kome je regresioni model nelinearan izracunavanje ocena parametara jc komplikovanije. U poslednje dye decenije sa razvojem racunara je doslo do intenzivnije primene nelinearnih modela i do ispitivanja osobina ocena njihovih parametara (2), (6), (7). Nelinearni regresioni modeli linearni po nepoznatim pararnetrima su na primer: Dr. Katarina 1. Cobanovic, rcdovan profcsor, Mr. Emilija B. Nikolic-Dorio, asistcnt, Bcba S. Mutavdzic, Dipl.ing., asistcnt pripravnik, Univcrzitct u Novom Sadu, Poljoprivrcdni fakultct, 21000 Novi Sad, Trg Dositcja Obradovica 8, Jugoslavija. 351

TEORIJSKI I PRAKTICNI ASPEKTI MODELA NELINEARNE REGRESIJEscindeks-clanci.ceon.rs/data/pdf/1450-7188/2000/... · APTEFF, 3 L 1-748 (2000) UDC 66.011 BIBLID: 1450-7188,(2000) 31, pp

  • Upload
    others

  • View
    8

  • Download
    0

Embed Size (px)

Citation preview

  • APTEFF, 3 L 1-748 (2000)

    UDC 66.011BIBLID: 1450-7188, (2000) 31, pp. 351-362

    TEORIJSKI I PRAKTICNI ASPEKTI MODELANELINEARNE REGRESIJE

    KatarinaJ Cobanovic, Emilija B. Nikolic-Doric i Beba S. Mutavdiic

    Razvoj racunarske tehnologije u poslednje dve decenije je uticao na inienzivniju primenumetoda nelinearne regresije u mnogim oblastima istraiivanja kao: tehnologiji, biologiji, hemiji itd.

    U radu se ukazuje na brojne prednosti, ali i na ogranicenja metoda nelinearne regresije.Razmatrana su pitanja koja sepostavljaju u vezisa njenom primenom: kada je nelineama regresijasuperiomauporedenju salinearnomregresijom oeenjenomna osnovu transformisanin promenljivih,utvrdivanje validnosti modela, preciznost oeena parametara modela, poredenje modela ocenjenihna osnovu istog skupa podataka,poredenjemodela ocenjenih na osnovu razlicuih skupova nezavisnopnkuplienih podataka. Ukazanoje i na probleme u izracunavanjuoeenaparametara koji sejavljajuu prakticnim primenama.

    Za ilustraciju, nelinearnaregresija je primenjena u modeliranju zavisnostiprinosa secernerepe(tlha) u zavisnosti od utrosenilikolicina mineralnin dubriva.

    KUUCNE RECI: nelinearna regresija, fitovanje krive, preciznost oeena parametara,robusna regresija

    UYOD

    Linearni regresioni model jc linearna funkcija kojom se aproksimira relacija izmeduzavisne promenljive Y koja se meri, i jedne ili vise nezavisnih (objasnjavajucih) promenljivihkojima se upravlja, Xi' Nelinearni regresioni modeli aproksimiraju vezu izmedu zavisne inezavisnih promenljivih nelinearnom funkcijom. Ukoliko je nelinearan model linearan posvim nepoznatim parametrima, jednostavnom smenom se svodi na linearan. U slucaju dapostoji bar jedan parametar po kome je regresioni model nelinearan izracunavanje ocenaparametara jc komplikovanije. U poslednje dye decenije sa razvojem racunara je doslo dointenzivnije primene nelinearnih modela i do ispitivanja osobina ocena njihovih parametara(2), (6), (7).

    Nelinearni regresioni modeli linearni po nepoznatim pararnetrima su na primer:

    Dr. Katarina 1. Cobanovic, rcdovan profcsor, Mr. Emilija B. Nikolic-Dorio, asistcnt, Bcba S. Mutavdzic,Dipl.ing., asistcnt pripravnik, Univcrzitct u Novom Sadu, Poljoprivrcdni fakultct, 21000 Novi Sad,Trg Dositcja Obradovica 8, Jugoslavija.

    351

  • Y=AO+AIX+A~X2+ ... +AkXk, Y=AO+~XI, A A A'I-' I-' 1-'", I-' I-' Y =1-'0 +1-'\COSX+1-'2 S1I1 X,

    Y= adok su neIinearni po nepoznatim parametrima modela: 1+ e fl- yX (Iogisticki ),

    U slucaju Iinearnog regresionog modeIa kod koga su greske modela nezavisne, identicnorasporedene i imaju normalnu raspodeIu, ocene parametara modela izracunate metodomnajmanjih kvadrata su nepristrasne, imaju normalnu raspodelu i minimaInu varijansu u klasiIinearnih ocena parametara modela. Ocene parametara nelinearnih modela imaju ove osobinesarno asimptotski.

    Vrednost predvidanja zavisne promenljive izracunata na osnovu nelinearnih modela jepristrasna, a stepen pristrasnosti zavisi od velicine koja se naziva sustinska (istinska)nelinearnost. Druga vrsta nelinearnosti je neIinearnost parametara. U slucaju kada je prvavrsta nelinearnosti prihvatljiva, postojanje druge vrste nelinearnosti moze da utice da jekonvergencija ocena parametara prema stvarnim vrednostima spora.

    Da bi se odabrao adekvatan model pojave koja se proucava treba imati u vidu da Ii je ciIjmodelovanja:

    - pronalazenje modela koji je dobro prilagoden podacima;- izracunavanje ocekivanc vrednosti zavisno promenljive za datu vrednost nezavisne

    promenljive;- ocena parametara modela i njihova interpretacija.

    U slucaju da je cilj modelovanja prikazivanje pojave, polazeci od odredenog skupa modelabira se model koji je najbolje prilagodcn podacima. Statisticki programi pruzaju mogucnostautomatskog izbora iz skupa od desetine iIi stotine ponudenih modela.

    Ovaj pristup moze da se prihvati ukoIiko nije vazno da Ii model odgovara bioloskom,hemijskom iIi fizickorn procesu, vee je od znacaja da se u odredenom opsegu predvidi vrednostzavisno promenIjive Y na osnovu nezavisne promenIjive X. Tako npr. polinom odredenogstepena cesto rnoze dobro da predstavi pojavu koja se proucava, ali parametri modela nemogu da se interpretiraju.

    Za interpolaciju podataka koristi se i metod spIajna koji za razliku od polinoma prolazikroz date podatke. Ocene parametara polinoma su konstantne za ceo opseg podataka, dokse kod spIajna razIikuju za svaki par tacaka. Tako je kubnisplajn ohlika:

    fjeX)=aj +b jX+c jX2

    +d jX3

    , X j :S;X:S;X J+1,j=1,oo.,n-l, gde su Xj(j=l, ... ,n)

    opservirane vrednosti nezavisne promenljive. Ocene parametara se dohijaju iz uslova:

    YJ =fjeXj)=fj+leXj)' f;eXj)=fi+,e X j ) i f;'eX)=fi~,eXJ)'

    U slucaju da je cilj izbora modeIa ocena koeficijenata, vazno je da se odabere modelneIinearne regresije zasnovan na teoriji koji izrazava sustinu pojave koja se proucava.

    352

  • TRANSFORMACIJA PODATAKA

    Jedan od pristupa ocene parametara nelinearnih modela je da se model transformacijomsvede na linearni model po nepoznatim parametrima. Zatim se primenom metoda najmanjihkvadrata izracunavaju ocene nepoznatih parametara koje su optimalne sarno ukoliko setransformacijom postize da greske modela imaju normalnu raspodelu. Transformacija se nepreporucuje ukoliko utice na vecu nekonzistentnost gresaka i povecava odstupanje njihoveraspodele od normalne, kao i u slucaju kada utice na.narusavanje prctpostavke 0 nezavisnostigresaka modela od promenljivih X i Y. Cesto je slucaj da varijansa gresaka regresionogmodela posle transformacije zavisi od promenljive Y.

    Graficko predstavljanje originalnog i transformisanog modela moze da pomognc uodlucivanju da Ii treba da se izvrsi transformacija promenljivih.

    OCENA PARAMETARA MODELA NELINEARNE REGRESIJE

    Ocene parametara modela nelinearne regresijc se dobijaju iz uslova minimuma kvadrata

    vertikalnih odstupanja tacaka (XI' Y j ) od krive Yi = f( Xi' 9):. . n A ')

    mm S(9) = nun L(V i - Y, t [I]o 0 i=1 'gdc je n broj tacaka, 0 (kx I) vcktor nepoznatih parametara, Xi (1 x p) vektor cije su komponentei-te opservacije nezavisnih promenljivih.

    Geometrijski suma kvadrata iz relacije [I] je povrs u (k+1) dimenzionom prostoru, gdeje k broj nepoznatih parametara.

    Ocene parametara modela su resenja optimizacionog problema gde je broj ncpoznatihjednak broju parametara modcla. Do ocena parametara se dolazi iterativnim postupkomkoji se sastoji iz sledecih koraka:

    1) Izaberu se pocetne vrednosti za ocene parametara.2) Generise se kriva ciji su parametri jednaki odabranim tekucim vrednostima.3) Koriguju se vrednosti primenom odredenog algoritma (Gauss-Newton-ovog,

    Levenberg-ovog, Marquardt-ovog), sa ciljem da se kriva priblizi originalnim podacima.4) Ponavljaju se koraci 2) i 3) sve dok razlika izmedu suma kvadrata pogreske dye

    uzastopne iteracije nije manja od unapred odabrane vrednosti.

    Kao kriterijum za konvergenciju moze da se uzme i razlika ocena parametara u dyeuzastopne iteracije. Pri izboru kriterijuma treba imati u vidu da ne bude suvise restriktivan.Razlicite pocetne vrednosti i razlicita strogost kriterijuma mogu da dovedu do razlicitihresenja. Uticaj pocetnih vrednosti na ocene parametara modela zavisi od stepena rasturanjapod ataka i to tako da ukoliko je rasturanje manje, manji je uticaj pocetnih vrednosti. Loseodabrane vrednosti mogu da uticu na sporu konvergenciju ka tacnom resenju iii da oceneparametara ne konvergiraju ka resenju. Konvergcncija moze da bude ka lokalnom minimumufunkcije. Izbor pocetnih resenja je ad manjeg znacaja ukoliko je mali broj nepoznatihparametara.

    Vecina metoda za nalazenje minimuma funkcije [1] koristi metod najstrmijeg spusta,Gauss-Newton-ov metod i Marquardt-ov metod koji je kombinacija ova dva metoda.

    Ideja metode najstrmijeg spusta je da se najstrmijim pravcem sa proizvoljnim korakomvrsi korekcija prethodnog resenja. Karakteristika ove metode je da je u pocetnim iteracijamakonvergencija ka rescnju brza u poredenju sa kasnijim iteracijama. Obicno je potreban veliki

    353

  • [3]

    [2]

    broj iteracija dok se ne postigne konvergencija. Konvergencija moze da se ubrza menjanjemduzine koraka.Kod Gauss-Newton-ovog algoritma nesimetricna povrsina S( II ) iz [I] se priblizno predstavljakvadratnom funkcijom koja geometrijski predstavlja simetricnu clipsoidnu povrs, a korigovanaresenja su vrednosti parametara u tacki minimuma te elipsoidne povrsi, Ovaj metod je sporu pocetnim iteracijama, dok u kasnijim brzo konvergira ako je povrsina dobro aproksimiranaelipsoidom.

    Marquardt-ov metod (4), kombinuje prednosti ove dye metode. U pocetnim iteracijamase primenjuje metod strmog spusta sve dok se sum a kvadrata znacajno smanjuje u susednimiteracijama. Gauss Newton-ov metod se primenjuje u kasnijim iteracijama.

    U navedenim procedurama izracunavaju se vrednosti izvoda funkcije po nepoznatimparametrima da bi se odredio nagib funkcije u odredenoj tacki. U nekim specijalnim slucajevimaizvod se izracunava analiticki dokjc opstiji metod izracunavanja izvoda funkcije kao kolicnikaprirasta funkcije za malu promenu parametra i pr ir astaja parametra t., tj.

    ei ocena nepoznatog parametra.Alternativni metod za izracunavanje minimuma nelinearne funkcije je simplex algoritam.

    Simplex algoritam ne izracunavaizvod funkcije po nepoznatim parametrima tako da zahtevakrace racunsko vreme u poredenju sa prethodnim algoritmima. U svakoj iteraciji se izracunavavrednost funkcije kriterijuma u (k+l) tacaka, a zatim eliminise tacka u kojoj je vrednostfunkcije najveca. Dobijeni minimum funkcije je u retkim slucajevima lokalni. Prednostalgoritma je i u mogucnosti primene kod prekidnih funkcija. Nedostatak ovog pristupa je stone daje ocene standardnih gresaka parametara tako da ne moze da se izvede statistickozakljucivanje 0 parametrima modela.

    U novijim statistickim programima (STATISTICA) postoji mogucnost primene Hooke-Jeeves-ovog i Rosenbrock-ovog algoritma.

    PONDERISANI METOD NAJMANJIH KVADRATA

    U velikom broju eksperimenata velicina slucajne greske zavisi od vrednosti promenljivekoja se meri. Vecim vrednostima zavisne promenljive odgovaraju i vece greske. Ukoliko se uoceni parametara u modelu primeni uobicajeni metod najmanjih kvadrata, veci uticaj imajutacke sa velikim vrednostima zavisno promenljive. Da bi se uticaj ovih tacaka umanjio umestoapsolutnog odstojanja tacaka od krive posmatra se njihovo relativno odstojanje:

    (_)2n y_y

    minI _'__Ie i=! Y,

    Opstiji pristup je izbor kriterijuma:

    ( - )'n y _ y -min L I I. =0 1 2

    "i=1 y P P "I

    Za p = 0 ocene parametara se dobijaju uobicajenom metodom najmanjih kvadrata, akoje p = 2 ocene parametara su vrednosti za koje je suma kvadrata relativnih odstojanja tacakaod modela minimalna i za p = 1 odstojanja tacaka od modela su izmedu apsolutnih i relativnih.354

  • Prosiren metod najmanjih kvadrata polazi od kriterijuma [3] a parametar p se ocenjujczajedno sa ostalim parametrima modela. Time se izbegavaju greske u oceni parametaramodela koje su nastale zbog pogresnog izbora parametra p.

    U slucaju da su vrednosti zavisne promenljive aritmeticke sredine vise opserviranihvrednosti, reziduali se ponderisu brojem opserviranih vrednosti. Na taj nacin se daje veciznacaj rezidualima izracunatirn na osnovu veceg broja opservacija. U cilju umanjenja uticajatacaka sa vecirn varijahilitetom ponderisanje moze da se vrsi i inverznim vrednostimastandardne devijacije pojedinih ponavijanja.

    ROBUSNA NELINEARNA REGRESIJA

    Ukoliko se pretpostavi da eksperimentalni podaci imaju normainu raspodelu ocekuje seda jc 95% podataka u okviru dye standardnc devijacije, a da se manje od jcdnog od 10000na laz i izvan cetiri standardne dcvijacijc. U eksperimentima se cesto desava da sueksperimentalne greske vcce i da su nekc opservacije nekonzistentne (nesaglasnc) sa vecinompodataka ("outliers"). Ako se u oceni modela primeni uobicajeni metod najmanjih kvadratanesaglasne opservacije mogu da uticu da su ocene parametra modeia daleko od stvarnihvrednosti. U nekim slucajevima je moguce otkrivanje i eliminisanje nesaglasnih opservacija.Dijagram rasturanja i graficki prikaz ocenjenog modela, graficki prikaz reziduala u zavisnostiod rcdosleda opscrvacija iIi ocenjenih vrednosti moze da pomogne u otkrivanju "outliers-a".

    Drugi pristup u resenju ovog problema je da se umesto kvadratne funkcije odstojanjapodataka od modela u rcIaciji [I] (p =x 2) izabere neka druga funkcija odstojanja p koja jesimetricna, nenegativna, ima jedinstven minimum u nuli i robusna je tj. manje osetijiva napojavu nesaglasnih opservacija.

    Jedno od mogucih resenja je u izboru funkcije odstojanja:

    x2, Ixl ~C2Clxl -C2, Ixl >C }

    Mosteller i Tukey (5) su predlozili funkciju:

    [4]

    c26 . Ixl > C [5]

    Funkcije kriterijuma koje umanjuju uticaj ekstremnih vrednosti zavisno promenIjive su:

    P=1 X lip =Mep! X I.Robusno ocenjivanje parametara nelinearnih modeia koji opisuju enzimske reakcije,

    primenom programa LEONORA, dato je u (1).

    UTVRDIVANJE VALIDNOSTI MODELA

    Kada se oceni nelinearni regrcsioni model postavIjaju se pitanja: da Ii je model dobroprilagoden podacima, da Ii je boIje prilagoden u porcdenju sa aiternativnim modelima,

    355

  • kolika je preciznost ocena parametara modela?Pored grafikona na osnovu koga moze da se vizuelno ispita prilagodenost ocenjenog

    modela originalnim podacima postoje i razliciti kvantitativni pokazatelji. Najcesce koriscenpokazatelj je kvadratni koren srednje kvadratne greske koji je iskazan u jedinicama zavisnopromenljive:

    [6]I(Y; _y

    j)2

    i=1RMS=\I-----n-k

    Ukoliko je kriva dobro prilagodena podacima, reziduali ( rj =Y, - Yi ) predstavljaju sarnoocene eksperimentalne greske tako da je raspored pozitivnih i negativnih reziduala slucajan.U slucaju da model odstupa od originalnih podataka postoji tendencija grupisanja pozitivnihi negativnih reziduala sto ukazuje da podaci sistematski odstupaju od regresionog modela.

    Bez analize reziduala cesto je tesko da se odabere adekvatan model sarno na osnovudijagrama rasturanja i grafickog prikaza modela. Za ilustraciju na osnovu 20 parova tacaka

    . AX • .ocenjena su dva modela: ¥= B+X ¥=A,[I-e··B,xJ. U slucaju prvog modela ocene

    nepoznatih parametara su A=2,01078, B= 1,21155, a ocene standardnih gresaka SA = (),04772i SIl=0,192698, dokje koeficijent determinacije R 2=0,86590. Ocene parametara drugog modelasu AI = 1,82879, B,=0,527732, ocene standardnih gresaka SAl =0,03214 j SIll =(),062195, dokje koeficijent determinacije R2=0,83375.

    Oba modela su dobro prilagodena originalnim podacima i na osnovu grafickog prikaza(Graf. 1 i Graf. 2) tesko je da se odredi koji model treba da se odabere.

    Ispitivanje saglasnosti raspodele reziduala sa normalnom raspodelom (Graf. 3 i Graf. 4)pokazuje da prednost treba dati modelu l.

    Test nizova je jednostavan test kojim moze da se utvrdi da Ii postoji sistematska razlikamodela i podataka. Ovaj test je zasnovan na utvrdivanju broja serija susednih tacaka za kojereziduali imaju isti znak. Ako je verovatnoca dobijenog broja serija reziduala istog znakamanja od odabranog praga znacajnosti, zakljucuje se da podaci sistematski odstupaju odkrive. Rezultati testa nisu dovoljno pouzdani u slucaju malog broja podataka, kada prednosttreba dati grafickoj analizi reziduala.

    22

    2.0

    1.8

    1.6

    0.8

    C5

    o

    ·8 10X

    12 14 16 18 20

    Graf. 1. Originalni podaci i model: y 2,01078' X1,21155+X

    356

  • 2.2

    2.0

    C:19C 0

    1.8

    01.6

    1.4

    1.2

    Graf.2. Originalni podaci i model: Y=I,82879.(l-eo.5277 1. , )

    0,250,200,150,100,050,00-0,05-0,10-0,15

    2.5 r------------------------------,

    1.5

    0,5

    -1,5

    -2,5 L.... -'

    -0,20

    -0.5

    Reziduali

    Graf. 3. Saglasnost reziduala modela 1 sa normalnom distribucijom

    0,350,250,150,05-0,05-0,15

    1,5

    2,5,---------------,-------------:;r---,

    -2,5 L- "-- ~ -J

    ·0,25

    ~~ 0,5l'!

    1 -D,S..iQ)

    ~-1,5

    Reziduali

    Graf. 4. Saglasnost modela 2 sa normalnom distribucijom

    357

  • 18]

    PRECIZNOST OCENA PARAMETARA MOOELA

    Vecina statistickih programa za nelinearnu regresiju pored ocena parametara modelaizracunava i ocenc standardnih gresaka ocena paramctara modcla. Kod nelinearnih funkcijaocene standardnih gresaka nisu ni aditivnc ni simetricne tako da nc mogu da sc izracunavajustvarni intervali poverenja za parametre modcla.

    Izracunavanje je zasnovano na pretpostavci lincarnosti koja nije ispunjena za svcparametre, sto ima za rczultat da su stvarnc standardne greske ocena parametara potcenjenc,

    cak i za one parametre od kojih funkcija zavisi linearno (npr. parametar a u modelu Y=abx).Velike vrednosti ocena standardnih gresaka ukazuju na vcliki stepen rasturanja podataka,

    da su ocene parametara u velikom stepenu korclisane iii da prikupljeni podaci nisu u dovoljnosirokom opsegu za nezavisno promenljivu X.

    Ako je koeficijent korelacije ocena parametara modela ± 1, parametri modela se nazivajuredundantni. Visoka korelacija ukazuje daje nedovoljan broj podataka iii mali raspon nezavisnepromenljive.

    Stvarna pouzdanost intervala poverenja izracunatih na osnovu occnjenih standardnihgresaka u pojedinim gotovim statistickim procedurama za nelincarnu regresiji moze da seproveri primenom Monte - Carlo metoda. U vclikom broju ponovljenih simulacija generisuse podaci:

    y=y +e [71gde su Yvrednosti nelineranog modela za odabrane vrednosti nezavisnc promenljive, a E suidenticno rasporedene nezavisne greske koji imaju normalnu raspodclu sa occkivanornvrednoscu 0 i konstantnom varijansom. Primcnom procedure nclincarne rcgresijeizracunavaju se ocene parametara i odgovarajuci intervali povcrenja zadate pouzdanosti.Ukoliko je procenat intervala poverenja koji sadrze stvarnu vrednost parametra blizakodahranoj pouzdanosti, interval poverenja dobijen procedurom nelinearne regresije se mozesmatrati validnim. Rezultati empirijskih istrazivanja pokazuju da kod sigmoidne krive ihiperbole pouzdanost intervala poverenja ocenjenih primenom programa GRAPHPADPRISM je u velikoj saglasnosti sa stvarnom pouzdanoscu.

    POREDENJE OVA MOOELA OCENJENANA OSNOVUJEONOG SKUPA PODATAKA

    Sume kvadrata pogreske dva ocenjena modela su uporedive ukoliko podaci nisutransformisani i ukoliko je primenjen isti sistem ponderisanja.

    Za poredenje dva modela sa istim brojem parametara ocenjenih na osnovu istog skupapodataka koristi se kolicnik:

    F = Q~2 '

    Qp

    gde i brojilac i imenilac imaju (n-k) stepeni slobode. Pod nultom hipotczom da ne postojistatisticki znacajna razlika izmedu modela, F - kolicnik ima Fiserovu distribuciju F

    Il_k

    ; n-k'

    U slucaju modela sa razlicitirn brojem parametara:

    358

  • _ (O~ -O~)/(dfl -df2 )F - 2' [9]

    Op /df2Opl je suma kvadrata pogreske modela sa manjim brojem parametara, 0/ suma kvadratapogreske modela sa vecim brojem parametara, df stepeni slobode pogreske i-tog modela (i= 1,2). Pod nultom hipotezom da se modeli statisticki znacajno ne razlikuju, F - kolicnik imaFiserovu distribuciju sa parametrima (df

    l-df2) i df., Znacajna vrednost F - kolicnika ukazuje

    da je slozeniji model znacajno bolje prilagoden podacima u poredenju sa jednostavnijimmodelom. Pri primeni testa [8] treba imati u vidu da je on u potpunosti validan sarno ukolikoje jednostavnija jednacina specijalni slucaj komplikovanije.

    POREDENJE DVA MODELA OCENJENA NA OSNOVURAZLICITIH SKUPOVA PODATAKA

    Drugi problem koji se cesto javlja u primenama je da se uporede ocenjeni modeli istogtipa na osnovu razlicitih skupova podataka. Npr. kod podataka eksperimenata dobijenih prirazlicitim uslovima treba da se utvrdi da Ii se parametri modela razlikuju.

    Jedan od pristupaje da se ponovi eksperiment nekoliko puta i ocene parametara dobijenepri razlicitim uslovima uporede t - testom parova koji se jednostavno izracunava i lakointerpretira. Ovaj metod nije primenljiv ukoliko je eksperiment sarno jednom primenjen.Njegov nedostatak je i u tome sto nc koristi celokupnu informaciju sadrzanu u svakomeksperimentu, koriste se sarno occne parametra, ne i odgovarajuce standardne greske.

    Ocene parametara izracunatih na osnovu dva skupa podataka mogu da sc uporede iprimenom t - testa:

    a(l) _a(2)

    t=---- [10]

    [11]

    a znacajnost se utvrduje poredenjem t kolicnika sa kriticnorn vrednoscu Studentove distribucijesa df +df2-2 stepena slobode, gde je df broj stepcna slobode rezidualnih suma kvadrataoccnjenih modela.

    Najopstiji pristup ovom problemu je poredenje nelinearnih regresionih modela u celini.Na osnovu suma kvadrata pogreske ocenjenih modela izracunava se ukupna suma kvadrata

    reziduala Q~") = Op(l) +Op(2)Ciji jc broj stepeni slobode dfll=df, +df2

    • Suma kvadrata pogreske

    modela ocenjenog na osnovu objedinjenih podataka je 0/+2) i ima dfl+2 = n-k stepenaslobode. Modeli se porede na osnovu F - kriterijuma:

    (Q(I+2) _ Q(u)) /(df - df )F p P 1+2 U

    Q~") / df', '

    koji pod nul tom hipotezom ima F - distribuciju sa stepenima slobode df'+2 - df', ' df', . Statisticki

    znacajna vrednost F kolicnika ukazuje da je statisticki znacajna razlika izmedu modela ucelini, ali ne moze da se zakljuci izmedu kojih parametara je razlika znacajna.

    359

  • ILUSTRACIJA METODE NELINEARNE REGRESIJE

    U cilju utvrdivanja zavisnosti prinosa secerne rcpe od primcnjenih kolicina azota (N) i fosfora

    (P), primenjcnaje Cobb Douglasova funkcija y = cNaK b ,kojajc u litcraturi prcdlozena zamodeliranje prinosa (3). Znacaj ovog oblika modela je i u rnogucnosti izracunavanja linijajednakc proizvodnje (izokvanti), koje pokazuju mogucnost zamene jednog hraniva drugim.

    Kao osnovni izvor podataka za ovaj rad koriste se rezultati stacionarnog poljskog ogledaizvedenog na oglednom polju Instituta za ratarstvo i povrtarstvo Rimski Sancevi-Novi Sad, uperiodu 1966. do 1998. godine, sa 3 hraniva (N, P,K) u cetiri ponavljanja. Na osnovnoj parcclivelicine 200m", primenjene su kolicine azota (N): 0, 60, 90,120 i 150 kg/ha, fosfora(P): 0, 60,120 i 180 kg/ha i kalijuma (K): 0, 100, 150 i 200kg/ha (8). Ocenjcni model Cobb Douglasovefunkcije, dobijen primenom statistickog paketa ORIGIN je:

    Y= 25,6718NO,lOX()pO,03434 [12]dok su ocene standardnih gresaka parametara: Sc=8,88438, Sa=0,05975 i Sb=O,0644.Primenom programa STATISTICA dobija se graficki prikaz ocenjenog trodimenzionalnogmodela zajedno sa izokvantama (Graf. 5):

    Y=(25,67193)'N"(O,1086046)'P"(O,0343354)

    Grafik 5. Ocenjeni model Cobb-Douglasove funkcije

    ZAKUUCAK

    Veliki broj statistickih programa omogucava primenu modela nelinearne rcgresije. Izbormodela ne pociva sarno na statistickim pokazateljima, vee ina saglasnosti modela sa teorijomiz odredene oblasti istrazivanja i konzistentnosti modela i sa drugim skupovima podataka.

    Date podatke treba pazljivo analizirati i graficki predstaviti da bi se izbegli pogresnizakljucci 0 parametrima modela koji nastaju zbog pogresne specifikacije modela.

    Ocene parametara odabranog modela na osnovu datog skupa tacaka ne mogu da seizracunavaju ukoliko iterativni postupak ne konvergira ka resenju, Problemi u izracunavanjuocena parametara se javljaju ukoliko su:

    podaci suvise veliki iii mali brojevi,jednacina nijc dobro prilagodena podacima,

    360

  • pocetne vrednosti su daleko od tacnog resenja,u slucaju velikog varijabiliteta podataka,ako je mali raspon nezavisno promenljive,izracunavanja nisu dovoljno precizna tj. nije dovoljan broj znacajnih cifara.

    Kod vccine programa za nelinearnu regresiju u oceni parametara regresije potrebno je5 - 10 iteracija i u slucaju kada su pocetne ocene parametra daleko od stvarnih vrednosti.

    Spora konvergencija ukazuje da je:

    kriterijum konvergencije strog,model ne odgovara podacima,jednacina sadrzi isuvise veliki broj parametara.

    Ukoliko jednacina ima veliki broj parametara treba je reparametrizovati tj. eliminisati

    ·v 'T: k I' dIY' bX+C· d d .suvisne parametre. ia 0 npr. u ne mearanom mo e u = ae Je an 0 parametara a I cje suvisan i treba ga eliminisati.

    Da bi se izbcglo pogresno izracunavanje ocena parametara zato sto je umesto globalnogminimuma funkciji krterijuma izracunat lokalni minimum, treba da se ponovi izracunavanjesa razlicitim pocetnim vrednostima i izracuna suma kvadrata reziduala sa vrednostimaparametara koji se dosta razlikuju od vrednosti parametara u toku iteracija.

    LlTERATURA

    1. Cornish-Bowden, 1\.: Analysis of Enzyme Kinetic Data, Oxford University Press,Oxford ( 1995).

    2. Draper, N. R. and H. Smith: Applied Regression Analysis, Wiley, Third Edition, New York( 1998).

    3. Heady. E. 0.: Agricultural Production Functions, Third Edition, Iowa (1966).

    4. Marquardt, D. w.: An algorithm for least squares estimation of nonlinear parameters. J. Soc.Ind. Appl. Math. 11 (1963),431-444.

    5. Mosteller, E, .J. and W.Tukey: Data Analysis and Regression. Addison-Wesley. Reading. Mass(1977).

    6. Motulsky, H. .J. and L. A. Ransnas : Fitting curves to data using nonlinear regression: a practiceand nonmathematical review. FASEB J. (1987),365-374.

    7. Ratkowsky D. A.: Nonlinear Regression Modeling, Marcel Dekker, New York and Basel (1983).

    8. Saric M. i B. Jocic B: Bioloski potencijal gajenih biljaka u zavisnosti od mineralne ishrane,Srpska akademija nauka i umetnosti, Odeljenje prirodno-matematickih nauka, Knjiga68, Beograd (1993).

    361

  • THEORETICAL AND PRACTICAL ASPECTS OF THE MODELOF NONLINEAR REGRESSION

    Katarina J. Cobanovic, Emilija B. Nikolic-Doric, Reba S. Mutavdic

    By the development of computer technology in last two decades, the application of nonlinearregression models was intensified in many fields of investigation like: technology, biology, chemistryetc.

    The paper deals with many problems connected with the application of nonlinear regressionlike: the situation when nonlinear regression is superior comparing to linear regression estimatedusing the transformed variables; the investigation of the validity of the model; the comparison ofmodel estimated on the base of the same set of data and different sets of independently gathered data.

    The practical problems in getting parameter estimates were emphasized.For the illustration, nonlinear regression was used in modeling the dependance of sugar beet yield

    (t/ha) on quantities of mineral fertilizers.

    Pripeo 31. januara 2000.Prihvaccn 3. marta 2000.

    362