Upload
vuthuan
View
218
Download
0
Embed Size (px)
Citation preview
Kako se sprovode eksperimentiu lingvistici?
Maja MiličevićUniverzitet u Beogradu
Empirijski podaci u istraživanjima jezika: resursi i metode (2)Zagreb, 28.6.2016.
Sadržaj
1. Kada lingvisti koriste kakve empirijske podatke?
2. Šta odlikuje eksperimente?
3. Kakvi eksperimentalni zadaci se koriste u lingvistici?
2 / 36
Kada lingvisti koriste kakve empirijske podatke?
Kakvi jezički podaci se koriste u...
• Fonetici?• Morfosintaksi?• Semantici?• Antropološkoj lingvistici?• Sociolingvistici?• Psiholingvistici?• Usvajanju jezika?
• Strukturalizmu?• Kognitivnoj lingvistici?• Funkcionalnoj lingvistici?• Generativnoj lingvistici?
3 / 36
Kada lingvisti koriste kakve empirijske podatke?
Izvori podataka o jeziku
Introspekcija Posmatranje EksperimentNeformalne
Korpusiprocene Eksperimentalnigramatičnosti/ zadaciprihvatljivosti
Napomena: Treća kolona tabele ovde se odnosi na eksperimente u kojimaučestvuju ispitanici koji rade neki jezički zadatak, pri čemu zadatak čini nizpojedinačnih stimulusa na koje ispitanici odgovaraju
4 / 36
Kada lingvisti koriste kakve empirijske podatke?
Od posmatranja do introspekcije i eksperimenta
Oslanjanje na posmatranje dominatno do polovine XX veka
Sredinom XX veka → generativna gramatika → “kognitivnarevolucija” → pomeranja fokusa sa jezika kao teksta na mentalnugramatiku govornika; kritika istraživanja zasnovanih na korpusima:
• Korpusi ne odražavaju jezičku kompetenciju• Broj mogućih rečenica u jeziku je beskonačan, korpusi su konačni• Retke reči i strukture nisu zastupljene u korpusima• Korpusi ne mogu pokazati šta je u jeziku nemoguće
U centar pažnje dolazi introspekcija (pre svega neformalne procenegramatičnosti/prihvatljivosti)
5 / 36
Kada lingvisti koriste kakve empirijske podatke?
Neformalne procene gramatičnosti/prihvatljivosti (?*#)
Bošković, Ž. (in press). Phrasal movement: Wh-movement. In A. Fábregas, J. Mateu,M. Putnam (Eds), The Handbook of Parameters. Bloomsbury.
6 / 36
Kada lingvisti koriste kakve empirijske podatke?
Od introspekcije do eksperimenta i (ponovo) posmatranja
Jezik kao kognitivna sposobnost → raširenije uvođenje eksperimentau (generativna) lingvistička istraživanja
Razvoj računara → sve veća dostupnost korpusa + jačanje lingvističkihteorija koje se oslanjaju na jezičku upotrebu → sveprisutnost posmatranja(korpusa) u lingvistici
Kombinovanje izvora podataka i poređenje rezultata koji se dobijaju
7 / 36
Kada lingvisti koriste kakve empirijske podatke?
Kontinuum između posmatranja i eksperimenta
PosmatranjeKorpusi spontano nastalih tekstovaKorpusi nespontano nastalih tekstova
Podaci dobijeni u terenskim istraživanjimaUpitnici (surveys)
Eksperimenti u kojima se rade uobičajeni jezički zadaciEksperimenti u kojima se rade neuobičajeni jezički zadaci
Eksperiment
8 / 36
Kada lingvisti koriste kakve empirijske podatke?
Korpusi : eksperimenti
Korpusi• Produkcija
• Spontana produkcija• Relativno učestale pojave
Eksperimenti• Produkcija
• Kontrolisana produkcija• I učestale i retke pojave
• Razumevanje• Intuicije• Obrada u realnom vremenu
9 / 36
Kada lingvisti koriste kakve empirijske podatke?
Zašto su eksperimenti poželjan izvor podataka?
Glavne prednosti eksperimenata (u odnosu na korpuse):
• Mogućnost ispitivanja velikog broja pojava• Visok stepen kontrole nad komponentama istraživanja
→ Podešavanje vrednosti relevantnih faktora→ Kontrolisanje faktora koji nisu relevantni
• Jedini način za utvrđivanje uzročno-posledičnih vezaizmeđu pojava
10 / 36
Šta odlikuje eksperimente?
Primer iz psiholingvistike
...
11 / 36
Šta odlikuje eksperimente?
Primer iz psiholingvistike
...
11 / 36
Šta odlikuje eksperimente?
Primer iz psiholingvistike
12 / 36
Šta odlikuje eksperimente?
Primer iz psiholingvistike
12 / 36
Šta odlikuje eksperimente?
Primer iz psiholingvistike
13 / 36
Šta odlikuje eksperimente?
Primer iz psiholingvistike
13 / 36
Šta odlikuje eksperimente?
Komponente eksperimentalnih istraživanja
Glavne komponente eksperimentalnih istraživanja jesu:
• (Relevantno) istraživačko pitanje i hipoteza istraživanja• Odgovarajući uzorak ispitanika i stimulusa• Jasno definisane varijable u istraživanju• Jasno definisan nacrt istraživanja• Inferencijalni statistički testovi
14 / 36
Šta odlikuje eksperimente?
Komponente eksperimentalnih istraživanja
Glavne komponente eksperimentalnih istraživanja jesu:
• (Relevantno) istraživačko pitanje i hipoteza istraživanja• Odgovarajući uzorak ispitanika i stimulusa• Jasno definisane varijable u istraživanju• Jasno definisan nacrt istraživanja• Inferencijalni statistički testovi
14 / 36
Šta odlikuje eksperimente?
Nacrt istraživanja
Nacrt istraživanja je detaljan plan u kome se određuje:
• Koje varijable će se ispitivati• Kako će se varijable meriti
• Kakvi uzorci i procedura će se koristiti• Kako će se rezultati analizirati
15 / 36
Šta odlikuje eksperimente?
Varijable
Varijable (promenljive) su merljive odlike objekata istraživanjakoje mogu imati različite vrednosti
Na primer, ako nas zanima da li naš kognitivni sistem neke oblike pridevaobrađuje brže nego druge, objekat istraživanja su pridevi, a varijable su:
1. Brzina obrade2. Flektivni oblik prideva
Značaj različitih mogućih vrednosti: Da li bi flektivni oblik pridevamogao biti varijabla u istraživanju engleskog jezika?
Varijable nam omogućuju da formulišemo istraživačka pitanja ihipoteze na način adekvatan za inferencijalnu statističku analizu
16 / 36
Šta odlikuje eksperimente?
Podela varijabli
Vrste varijabli prema ulozi koju imaju u nacrtu istraživanja:• Zavisne varijable
→ pojave koje se proučavaju(npr. brzina obrade)
• Nezavisne varijable→ faktori čija veza sa zavisnom varijablom se ispituje(npr. leksikalnost i flektivni oblik prideva)
Nezavisne varijable moraju imati najmanje dve moguće vrednosti,tj. uvek moraju postojati najmanje dva nivoa nezavisne varijable(npr. leksikalnost: reč/pseudoreč; oblik prideva: -ø/-og/-om/-i/-ih/-e)
• Eksperimentalna situacija→ nivo ili kombinacija nivoa nezavisnih varijabli(npr. reč u flektivnom obliku na -i)
17 / 36
Šta odlikuje eksperimente?
Dalje definisanje varijabli
Izuzetan značaj ima i operacionalizacija – odluka o načinu na koji ćese varijable konceptualizovati i meriti
• Teorijska strana: definisanje pojave koju merimo• Kognitivna kompleksnost → brzina obrade• Sintaksička kompleksnost → dužina rečenice – broj klauza
• Statistička strana: način merenja pojave• Prihvatljivost → prihvatljivo/neprihvatljivo – 1, 2, 3, 4, 5, 6, 7• Nivo znanja drugog jezika → početni/srednji/napredni –
A1/A2/B1/B2/C1/C2 – broj poena na testu• Uzrast → mlad(a)/srednjih godina/star(a) – 20, 21, 37, 68, 31, 37...
→ Mnoge varijable mogu se operacionalizovati na više načina
→ Analiza podataka u ogromnoj meri zavisi od toga kako su varijableoperacionalizovane
18 / 36
Šta odlikuje eksperimente?
Merenje varijabli (1)
Prema vrsti merenja:
• Kvalitativne ili kategoričke varijablepol, vrsta reči, vrsta konstrukcije, animatnost, maternji jezik,registar, nivo znanja drugog jezika – početni/srednji/napredni...
• Kvantitativne ili numeričke varijable• Diskretne varijable – vrednost im mora biti ceo broj
apsolutne frekvencije u korpusima (broj reči/karaktera/slogova)...• Kontinuirane varijable – mogu imati ma koju vrednost
uzrast, brzina reakcije, nivo znanja drugog jezika – rezultat na testu...
19 / 36
Šta odlikuje eksperimente?
Merenje varijabli (2)
Merne skale:
• Nominalna skala → kategoričke varijablepol, vrsta reči, vrsta konstrukcije, maternji jezik, registar...
• Ordinalna skala → rangovi, veličina jedinica nije poznata i nezna se da li je udaljenost između rangova jednakapotporučnik ... general, asistent ... redovni profesor,Likertove skale (nimalo se ne slažem ... potpuno se slažem, 1 ... 7)
• Intervalna skala → numeričke varijable sa arbitrarnom nulom ijednakim intervalima između tačaka, bez smislenih razmeraIQ, temperatura (C, F, R; 0◦C=32◦F, 10◦C=50◦F, 20◦C=68◦F)...
• Razmerna skala → numeričke varijable sa realnom nulom(0=odsustvo) i smislenim razmeramatemperatura (K), vreme, frekvencije u korpusima...
20 / 36
Šta odlikuje eksperimente?
Vežba: (Izmišljeno) istraživanje poštapalica (1)
Opišite varijable iz sledeće tabele:
ID Pol Broj Ocena Kontekstpoštapalica poštapalicaI1 m 12 1 formalniI2 ž 10 4 neformalniI3 m 15 3 formalniI4 m 14 5 neformalniI5 ž 9 1 formalniI6 ž 8 3 neformalniI7 m 11 4 formalniI8 ž 10 2 formalniI9 m 13 5 neformalniI10 ž 11 4 neformalni
Koja istraživačka pitanja i hipoteze možemo ispitivati na ovim podacima?
21 / 36
Šta odlikuje eksperimente?
Vrste nacrta (1)
Česti tipovi nacrta prema vrstama varijabli (lista nije iscrpna):
• Frekvencijski nacrti → jedna ili više kategoričkih varijabli(npr. pol i upotreba 610 ili >10 poštapalica)
• Korelacijski nacrti → najmanje dve numeričke varijable(npr. broj upotrebljenih poštapalica i ocena poštapalica)
• Varijansni nacrti → kategorička nezavisna, numerička zavisnavarijabla – najmanje po jedna(npr. kontekst i broj upotrebljenih poštapalica)
Kako izabrati nacrt?
Ponekad priroda varijabli nameće nacrt, dok je nekad moguć izbor uzavisnosti od toga kako se varijable operacionalizuju
22 / 36
Šta odlikuje eksperimente?
Vrste nacrta (2)
Prema broju (zavisnih) varijabli:• Univarijatni nacrti → jedna (zavisna) varijabla• Bivarijatni nacrti → dve (zavisne) varijable• Multivarijatni nacrti → više (zavisnih) varijabli
Prema broju nezavisnih varijabli:• Jednofaktorski nacrti → jedna nezavisna varijabla• Faktorijalni nacrti → više nezavisnih varijabli
• Prema broju varijabli i broju nivoa nezavisnih varijabli:2 x 6, 3 x 4, 2 x 2 x 3 ...
23 / 36
Šta odlikuje eksperimente?
Vrste nacrta (3)
Prema stepenu kontrole:
• Korelacioni nacrti → nizak stepen kontrole• Eksperimentalni nacrti → visok stepen kontrole• Kvazieksperimentalni nacrti → eksperimenti koji nisu zasnovanina slučajnim uzorcima
24 / 36
Šta odlikuje eksperimente?
Uzorci
U istraživanjima jezika gotovo nikada ne postoji pristup populaciji ineophodno je oslanjanje na uzorke
U ovome leži značaj statističke analize:• Deskriptivna statistika - opisuje uzorak• Inferencijalna statistika - omogućuje generalizaciju van uzorka
Uzorci bi trebalo da budu:• Reprezentativni - posebno su poželjni slučajni uzorci
• Prigodni i dobrovoljački uzorci?• Dovoljno veliki - mali uzorci su podložniji nesistematskoj varijaciji
• Koliko je dovoljno?
25 / 36
Šta odlikuje eksperimente?
Još jedna bitna podela uzoraka
Prema raspodeli ispitanika po nivoima nezavisne varijable:
• Nezavisni uzorci → različiti ispitanici učestvuju u različitimnivoima nezavisne varijable(npr. jedna grupa ispitanika čita reči, a druga pseudoreči)
• Zavisni uzorci → isti ispitanici učestvuju u različitim nivoimanezavisne varijable(npr. isti ispitanici čitaju i reči i pseudoreči)
Mešoviti nacrti → uključuju i nezavisne i zavisne uzorke (više grupaispitanika, ispitanici učestvuju u različitim nivoima nezavisne varijable)(npr. ispitanici su grupisani prema polu, pripadnici oba pola čitajui reči i pseudoreči)
26 / 36
Šta odlikuje eksperimente?
Vežba: (Izmišljeno) istraživanje poštapalica (2)
Na kakvim uzorcima se ispituju varijable označene plavom bojom?
ID Pol Broj Ocena Kontekstpoštapalica poštapalicaI1 m 12 1 formalniI2 ž 10 4 neformalniI3 m 15 3 formalniI4 m 14 5 neformalniI5 ž 9 1 formalniI6 ž 8 3 neformalniI7 m 11 4 formalniI8 ž 10 2 formalniI9 m 13 5 neformalniI10 ž 11 4 neformalni
27 / 36
Šta odlikuje eksperimente?
Vežba: (Izmišljeno) istraživanje poštapalica (3)
Na kakvim uzorcima se ispituju varijable označene plavom bojom?
ID Pol Broj Ocena Kontekstpoštapalica poštapalicaI1 m 12 1 formalniI2 ž 8 3 formalniI3 m 15 3 formalniI4 m 10 2 formalniI5 ž 9 1 formalniI1 m 15 4 neformalniI2 ž 12 4 neformalniI3 m 11 3 neformalniI4 m 14 5 neformalniI5 ž 11 4 neformalni
28 / 36
Šta odlikuje eksperimente?
Zadatak - izbor stimulusa
Stimulusi prema modalitetu:• Tekstualni (reči, rečenice...)• Slike/animacije• Video/audio snimci• Predmeti (igračke...)
Stimulusi prema ulozi u nacrtu:• Eksperimentalni stimulusi
→ predmet istraživanja• Distraktori
→ odvlače ispitanicima pažnju sa teme istraživanja
Stimulusi u zadacima gotovo uvek su uzorak mogućih stimulusa
29 / 36
Šta odlikuje eksperimente?
Zadatak - organizacija i prikaz stimulusa
Broj stimulusa:• Obavezno više eksperimentalnih stimulusa po situaciji• Jednak broj stimulusa po situaciji
Prikaz stimulusa:• Negrupisan, idealno nasumičan• Eksperimentalne liste
Raspoređivanje po slučaju (randomizacija) i uravnoteživanje(kontrabalansiranje) stimulusa (i/ili ispitanika)
30 / 36
Šta odlikuje eksperimente?
Šta je još bitno?
Kontrola kvaliteta eksperimenata
Replikabilnost
Konvergentni dokazi
Etika u eksperimentima
Obavezan (pisani) pristanak ispitanika ili njihovih staratelja
31 / 36
Kakvi eksperimentalni zadaci se koriste u lingvistici?
Podele zadataka
Razlike prema oblasti lingvistike
Prema aspektu jezičkog znanja koji se meri:• Zadaci produkcije• Zadaci razumevanja• Zadaci zasnovani na intuicijama
Prema načinu i rezultatu merenja:• Offline zadaci - beleže samo konačni rezultat jezičke obrade• Online zadaci - mere jezičku obradu u realnom vremenu( 6= online zadaci : zadaci na papiru)
32 / 36
Kakvi eksperimentalni zadaci se koriste u lingvistici?
Primeri zadataka
Ispitivanje produkcije Ispitivanjerazumevanja Ispitivanje intuicija
Zadatak povezivanjarečenica
Zadatak proceneistinitosti rečenica
Zadatak proceneprihvatljivosti
Vođena produkcija Zadatak odabira slike Zadatak procene slikeVođena imitacija Zadatak leksičke odluke Zadatak procene veličine
Zadaci čitanjasopstvenim tempom
Praćenje kretanja očiju(eye-tracking)
Detaljniji opis nekih od ovih zadataka, primenjenih u usvajanju drugog jezika,može se naći u Kraš, T. i M. Miličević (2015). Eksperimentalne metode uistraživanjima usvajanja drugoga jezika. Rijeka: Sveučilište u Rijeci.
33 / 36
Kakvi eksperimentalni zadaci se koriste u lingvistici?
Tehnička strana
Softver za eksperimente:• PsychoPy• OpenSesame• IbexFarm• E-Prime ($$$)• SuperLab ($$$)
Online obrasci:• GoogleForms• SurveyMonkey• ProProfs ($, besplatna proba)• Mechanical Turk ($)
34 / 36
Preporuke za čitanje
(1) Arunachalam, S. (2013). Experimental methods for linguists. Language and LinguisticsCompass 7. 221-232.(2) Blom, E. and S. Unsworth (Eds) (2010). Experimental Methods in Language AcquisitionResearch. Amsterdam/Philadelphia: John Benjamins.(3) Gilquin, G. and S. Th. Gries (2009). Corpora and experimental methods: A state-of-the-artreview. Corpus Linguistics and Linguistic Theory 5. 1-26.(4) Kraš, T. i M. Miličević (2015). Eksperimentalne metode u istraživanjima usvajanja drugogajezika. Rijeka: Sveučilište u Rijeci.(5) Litosseliti, L. (Ed.) (2008). Research Methods in Linguistics. London: Continuum.(6) McEnery, T. and A. Hardie (2011). Corpus Linguistics: Method, Theory and Practice.Cambridge: Cambridge University Press.(7) Milas, G. (2009). Istraživačke metode u psihologiji i drugim društvenim znanostima (2.izdanje). Zagreb: Naklada Slap.(8) Podesva, R. J. and D. Sharma (Eds) (2013). Research Methods in Linguistics. Cambridge:Cambridge University Press.(9) Todorović, D. (2008). Metodologija psiholoških istraživanja. Beograd: Centar za primenjenupsihologiju.(10) Tummers, J., K. Heylen and D. Geeraerts (2005). Usage-based approaches in CognitiveLinguistics: A technical state of the art. Corpus Linguistics and Linguistic Theory 1. 225-261.
35 / 36
Hvala na pažnji!