Ölçme - ebeay.files.wordpress.comÖlçme yöntemi / aracı ve kullanılan soru sayısı Soruların homojenliği Yönerge Puanlama nesnelliği Testi alan birey ve gruba bağlı faktörler

1

GEÇERLİK VE GÜVENİRLİK

Validity and Reliability

Ölçme

Ölçme, birey ya da nesnelerin

niteliklerinin uygun araçlar kullanılarak

gözlenip, gözlem sonuçlarının sembollerle

gösterilmesidir.

Eğitimde Araştırma Yöntemleri

Niteliklerin kendileri ile aynı türden

araçlarla ölçülmesi doğrudan ölçmedir.

Metre ile uzunluğun, terazi ile ağırlığın

ölçülmesi gibi.

Niteliklerin göstergeleri ile ölçülmesi

dolaylı ölçmedir. Test ile başarının,

anket ile görüşlerin ölçülmesi böyledir.


Temel Kavramlar...

Ölçme düzeyi (ölçek türü), birey ya da nesnelerin ölçülen özelliklerine ilişkin elde edilen ölçme sonuçlarının matematiksel nitelikleridir. Sınıflama, sıralama, aralık ve oran olmak üzere dört ölçme düzeyi vardır. Ölçme hatası, gözlenen puanların gerçek

puanlardan olan sapma miktarıdır. Ölçmelere karışan hatalar sabit, sistematik ve tesadüfi (seçkisiz) olmak üzere üç grupta incelenir.


Temel Kavramlar...

Ölçme sonuçlarının tesadüfi hatalardan arınık olma derecesidir.

Aynı bireyler üzerinde aynı ya da paralel formlar kullanılarak yapılan ölçmelerin tutarlılığıdır.

Bir özelliğin doğru olarak ölçülebilme derecesidir.


Güvenirlik...

Güvenirlik...

(Fraenkel & Wallen, 2000) Eğitimde Araştırma Yöntemleri

2

Güvenirlik...

Güvenirlik Tekrarlanabilirlik

Farklı araştırmacılar aynı yöntemleri kullanarak araştırmayı tekrar edebiliyor ve benzer sonuçlar elde edebiliyorsa veriler güvenilirdir.


Not - Güvenirlik...

• Güvenirlik, aracın kendisine değil, bir ölçme aracıyla

elde edilmis ölçümlere (veya sonuçlara) isaret eder.

Güvenirlik testin kendisinin değil, eldeki veriler veya

ölçümlerin bir özelliğidir. Böylelikle, testin güvenirliği

veya aracın güvenirliği ya da test güvenilirdir diye

ifade etmek doğru değildir.

•Güvenirlik, yalnızca kullanılmıs olan ölçme aracı

tarafından değil, örneklem tarafından da

etkilenmektedir.

•Bir test güvenilir veya güvenilmez değildir ve test

ölçümleri veya eldeki veriler güvenilir veya

güvenilmezdir. Eğitimde Araştırma Yöntemleri

Tutarlılık: Bir ölçme aracındaki (test) maddelerin

(soruların) test bütünü ile olan uyumudur

Kararlılık: Ölçme konusu olan özellik aynı ölçme

aracıyla farklı zamanlarda birkaç defa

ölçüldüğünde aynı değerleri vermesi durumudur.

Duyarlılık: Ölçme aracının veya ölçme sonuçlarının

biriminin büyüklülüğü ile ilgilidir. Birimi aralığı

küçük olan ölçme daha güvenilirdir.


Güvenirlik ve Üç Kavram...


Güvenirliği inceleme yöntemleri...

I. Tek uygulamaya dayalı yöntemler

Kuder Richardson (KR) 20-21: D/Y, E/H ikili

cevap seçenekleri –Maddelerin birbiriyle

tutarlılığı-

Cronbach Alpha: Derecelemeli cevap (Likert)

seçenekleri

Hoyt’un varyans analizi

Testi Yarılama: Spearman Brown ve Rulon

formülleri



II. İki uygulamaya dayalı yöntemler

Eşdeğer (Alternatif, Paralel) Formlar

Test-Tekrartest: Aynı test ya da eş formlar belli

aralıklarla



III. Değerlendirmeciler Arası Tutarlılık: İki veya daha çok uzmanın aynı nitelikleri aynı yönergeye dayalı değerlendirmeleri arasındaki uyumun düzeyidir.

IV.Ölçmenin Standart Hatası. Bireysel puanların yorumlanmasında kullanılır. Belli güven düzeyleri için bireyin teste ilişkin gerçek puanının (performansının) hangi sınırlar içinde kalacağını tahmin etmede kullanılanılır.

3


Güvenirliği etkileyen faktörler

Ölçme aracı

Ölçme yöntemi / aracı ve kullanılan soru sayısı

Soruların homojenliği

Yönerge

Puanlama nesnelliği

Testi alan birey ve gruba bağlı faktörler

Bireyin sağlık durumu

Grubun heterojen olması

Uygulama koşulları ve zaman


Geçerlik

Ölçülmek istenen özelliğinin diğer

özelliklerle karıştırılmaksızın ölçülebilme

derecesidir.

Ölçme sonuçlarının geçerliği, amaçlanan

ölçmenin gerçekleştirilebilme derecesidir.


Geçerliği Etkileyen Faktörler

Ölçme sonuçlarının güvenirliği

Ölçme yöntemi ve soru sayısı

Puanlayıcı yanlılığı

Uygulama koşulları

Geçerlik Türleri

• Ölçülmek istenen özelliğin diğer özelliklerle karıştırılmadan ölçülebilme derecesidir. Geçerlik sonuçlarımızın, yaptığımız çıkarımların veya önerilerimizin gücüdür.

– Internal Validity (İç Geçerlik): Bir araştırmanın doğruluğu ile ilgilidir. Araştırmacı düşündüğü şeyi doğru olarak gözlüyor veya ölçüyor mu?

– External Validity (Dış Geçerlik): Çalışmanın sonuçlarının diğer örneklere ve durumlara genellenebilirliği ile ilgilidir.


Araştırmada Geçerlik

Validity Accuracy

Geçerlik-Doğruluk


Geçerlik- Güvenirlik İlişkisi

Bir ölçüm güvenilir olabilir, fakat geçerli değildir, (Kafatasi Ornegi).

Bir ölçüm geçerlikten önce ilk olarak güvenilir olmalıdır.

Bu yüzden güvenirlik gereklidir, fakat yeterli değildir, (geçerlik şartı)

Bir ölçüm sürekli olarak bir olguyu ölçebilir, fakat ölçüm istediğiniz şeyi test etmedikçe, geçerli değildir.


4

Geçerlik- Güvenirlik

Alanyazın bu konuda ikiye ayrılır:

•Nicel araştırma geleneğini kullanan araştırmacılar

•Nitel araştırmanın alternatif terimlerini kullanan araştırmacılar



Merriam, S. B. (1998)

• Internal Validity

– Çeşitleme

– Üye kontrolleri

– Uzun süreli gözlem

– Akran değerlendirmesi

– Araştırmacı önyargıları

• Reliability(Güvenirlik)

– Araştırmacıların pozisyonu

– Çeşitleme

– Denetim yolu

• External Validity

– Zengin,ayrıntılı anlatım

– Çoklu durumlar



Lincoln & Guba (1985)

• Credibility (inandırıcılık)

– Çeşitleme

– Uzun süreli gözlem

– Sürekli gözlem

• Transferability (Aktarılabilirlik)

– Zengin, ayrıntılı anlatım

• Confirmability (teyit edilebilirlik)

– Çeşitleme

– Çoklu yöntemler

– Denetim yolu

• Dependability (tutarlık)

– Denetim yolu


Terimler

– Pozitivist kavramlar güvenirlik ve geçerlik

– Güvenirlik ve geçerlik için alternatif kavramlar

• Credibility(inandırıcılık) equivalent to internal validity

• Transferability(aktarılabilirlik) equivalent to external validity

• Dependability(tutarlık) equivalent to reliability

• Confirmability(teyit edilebilirlik) equivalent to objectivity


Nitelde Güvenirlik

• Nitel araştırmalarda güvenirlik= teyit edilebilirlik (objektiflik) anlamında kullanılır.

– Farklı araştırmacılar benzer sonuçlara ulaşırlar

– Tekrarlanan çalışmalar benzer gözlemler üretirler

– Çoklu araştırmacılar aynı veriden benzer yorumlar yaparlar (üretirler)


Nitelde İç Güvenirlik

• İç güvenirlik: Başka araştırmacıların aynı veriyi kullanarak aynı sonuçlara ulaşıp ulaşamayacağına ilişkindir.

• Verilerin Betimsel Bir Yolla Doğrudan Sunulması

• Çoklu Araştırmacılar

• Çoklu Yöntemler

• Akran Değerlendirmesi

• Kavramsal Çerçeveye Bağlı Olarak Yapılan Veri Analizi


5

Nitelde Dış Güvenirlik

• Dış Güvenirlik: Araştırma sonuçlarının benzer ortamlarda aynı şekilde elde edilip edilemeyeceğine bakar.

• Araştırmacının Pozisyonu

• Veri Kaynaklarının Seçimi ve Tanımlanması

• Sosyal Ortamlar ve Şartlar

• Kavramsal Çerçevenin Tanımlanması

• Veri Toplama ve Analiz Yöntemleri

–Nitel veriyi analiz etmek belirsiz, sezgisel ve kişiseldir.


Nitelde güvenilir bir veri için

1. Triangulation (Çeşitleme)

2. Peer Examination (Akran Değerlendirmesi)

3. Audit Trail (Denetim Yolu)


Nitelde güvenilir bir veri için

1. Görüşmelerin, gözlemlerin, vs. detaylı kayıtları

2. Yazılı alan notları

3. Analizlere ve yorumlara grup yaklaşımları

4. Güvenilir bir transkript için

a.Transkriptlerin bağımsız değerlendirilmesi

b.Başkaları tarafından denetime açık kayıtlar ve transkriptler

c.Aynı kişi veya farklı kişiler tarafından video-kasetlerin çoklu izlenimleri

d.Aynı kişi veya farklı kişiler tarafından ses-kasetlerin çoklu dinlenimleri

e.Aynı kişi veya farklı kişiler tarafından ses-kasetlerin çoklu transkriptleri

5. Gözlemci güvenirliğini değerlendirmek için

a. İki gözlemci gerçekleşmekte olan şey üzerinde fikir birliğinde mi?

b.Gözlemcileri eğitme

c. Gözlemcileri izleme


Nitel Araştırmada Geçerlik

•Bulguların ve verilerin geçerliği araştırmanın doğruluğu ve tamlığı (mükemmelliği) anlamına gelir(Lewis J. & Ritchie J.).

• Nitel araştırmada çalışılan olgu, araştırma popülasyonu tarafından algılandığı gibi doğru bir şekilde yansıtılmalıdır.


Nitel Araştırmada Geçerlik (devam)

•Bir problemi araştırmayı veya bir durumu , bir süreci, sosyal bir grubu, veya etkileşimli bir modeli açıklamayı amaçlayan nitel bir çalışmanın gücü onun geçerliği ile ilgilidir(Marshall & Rossman).

•Nitel literatürde geçerlik için bazen credibility, transferability or plausibility gibi alternatif terimler kullanılır.


Nitel Araştırmada Geçerlik (devam)

•Araştırmacı düşündüğü şeyi gerçekten gözlemliyor veya ölçüyor

mu? Internal Validity

•Bir araştırmanın sonuçları benzer ortamlara ve durumlara

genellenebiliyor mu? External Validity (LeCompte & Goetz)


6

İç Geçerlik

•Araştırma bulguları kendi içinde tutarlı ve anlamlı mıdır?

•Bulguları teyit etmede kullanılan kurallar stratejiler var mı?

•Açık olmayan olgular ya da olaylar belirlenmiş midir?

•Bulgular araştırmaya katılan bireyler tarafından gerçekçi bulunmuş mudur?

(Lewis & Ritchie).


İç Geçerlik (devam)

İç geçerliği artırmak için; 1. Çeşitleme -Triangulation 2. Üye kontrolleri- Member checks 3. Uzun süreli gözlem-Long-term observation 4. Akran değerlendirmesi-Peer examination 5. Araştırmanın katılımcı ve işbirlikçi aşamaları-Participatory

or collaborative modes of research 6. Araştırmacının önyargıları-Researcher’s biases (Merriam, S. B.)



1. Çeşitleme : çok sayıda araştırmacı, çoklu veri kaynakları, veya

bulguları doğrulamak için çoklu yöntemler kullanmak.

2. Üye kontrolleri: elde edilen sonuç veya çıkarımlar makul ve

mantıklı mı? bunları elde ettiğimiz veri kaynaklarına tekrar kontrol ettirme

3. Uzun süreli gözlem: bulguların geçerliğini artırmak için aynı

olguyu uzun süreli veya tekrarlı gözlemlere tabii tutmak



4.Akran değerlendirme: bulgularda ortay çıkan yorumların

meslektaşlar tarafından değerlendirilmesi

5.Araştırmanın katılımcı ve işbirlikçi aşamaları: çalışmanın kuramsal aşamasından bulguların yazım aşamasına kadar tüm aşamalarda katılımcıların yer alması

6. Araştırmacı ön yargıları: çalışmanın başında araştırmacının

varsayımları, dünya görüşü, ve teorik eğilimi açıklığa kavuşturulmalı.


Dış Geçerlik

•Dış geçerlik araştırma sonuçlarının genellenebilirliğine ilişkindir. Eğer bir araştırmanın sonuçları benzer ortamlara ve durumlara genellenebiliyorsa araştırmanın dış geçerliğinin olduğu söylenebilir.

•Nitel araştırmada, araştırmacı özel bir durumu derinlemesine anlamak istediğinden (çoğunluğun gerçeğini bulmak istemediğinden) tek bir durum veya küçük rastgele olmayan bir örneklem seçer(Merriam, S. B.).

•“Üretilen, işlenen veya test edilen soyut yapıların veya postulatların” popülasyon içindeki diğer gruplara uygulanabilirliği ile ilgilidir(LeCompte & Goetz).


Dış Geçerlik (devam)

Sosyal olayların, içinde bulunan ortama göre değiştiği varsayımından hareketle hiçbir araştırmanın sonuçları başka bir duruma doğrudan genellenemez. Ancak bir dereceye kadar benzetilerek genellenebilir. Nicel araştırmada bu genelleme doğrudan olabilirken nitel araştırmada genelleme dolaylı olarak yapılabilir.


7


•Araştırma örnekleminin ortamının ve süreçlerinin özellikleri başka örneklemlerle karşılaştırma yapabilecek düzeyde ayrıntılı olarak tanımlanmış mıdır? •Örneklem genellemeye izin verecek ölçüde çeşitlendirilmiş midir?

•Araştırma sonuçları araştırma sorusu ile ilgili kuramlarla tutarlı mıdır?

•Araştırma bulguları benzer ortamlarda kolaylıkla test edilebilir mi?



Nitel araştırma sonuçlarının olasılığını artırmak için; 1. Zengin, ayrıntılı anlatım: 2. Özgün ve kalıcı kategori: 3. Çoklu durumlar:



Her nitel araştırmacının bu soruların tümüne doğru yanıtlar vermesi güç olabilir. Ancak araştırma sonuçlarının benzer ortamlara genellenebilmesi için araştırmacının okuyucuyu yaptığı çalışmanın tüm aşamaları hakkında ayrıntılı bir şekilde bilgilendirmesi gerekmektedir.

Eğitimde Araştırma Yöntemleri Eğitimde Araştırma Yöntemleri

Geçerliliği Ve Güvenirliği Sağlamak

Amacıyla Kullanılan Stratejiler

Ölçüt Nicel araştırma Nitel araştırma Kullanılan

yöntemler

Araştırma

sonuçları yoluyla

gerçeğin doğru

temsili

İç geçerlik İnandırıcılık Uzun süreli

etkileşim derinlik

odaklı veri

toplama

çeşitleme uzman

incelemesi

katılımcı teyidi

Sonuçların

uygulanması

Dış geçerlik

(genelleme)

Aktarılabilirlik Ayrıntılı

betimleme

amaçlı

örnekleme

Tutarlılığı

sağlama

İç güvenirlik Tutarlılık Tutarlılık

incelemesi

Nesnel olma Dış güvenirlik Teyit edilebilirlik Teyit incelemesi

Özet Olarak Geçerlik ve Güvenirlik

(Fraenkel & Wallen, 2000) Eğitimde Araştırma Yöntemleri

Nitel ve Sosyal Bilimlerde Geçerlik ve Güvenirlik

Kolay Değildir?

– Doğal yapılar and tekli durumlar tekrarlanabilir değildir

– Araştırmacının kişisel stratejileri

– İnsan davranışı durağan değildir

– Etkileşim günden güne değişir


8

So what should we do?

1. Consistent Observation Guidelines

Tutarlı/uyumlu Gözlem

Helps:

• Katılımcılara güven telkin etme

• Kültürü öğrenme

• Değişimleri gözleme

• Değişimleri anlama

How:

• Araştırmacı ve katılımcıları eğitme


2. Triangulation Guidelines

Çeşitleme/Güçlendirme

Helps:

• Bulguların niteliğini artırma

How:

• Çoklu araştırmacılar kullanma

• Çoklu veri kaynağı kullanma

• Çoklu yöntemler kullanma


3. Peer Review Guidelines

Akran Değerlendirmesi

Helps:

• Araştırma sürecinin dış denetimini sağlama

How:

• Elde edilen bulgular üzerinde akranların yorumunu alma

• Akran sorgulaması araştırmacı dürüstlüğünü ortaya koyar


4. Negative Case Analysis Guidelines

Ters Durum Analizi

Helps:

• Refining working hypotheses

How:

• in the light of negative or disconfirming evidence


5. Clarifying Researcher Bias Guidelines

Araştırmacının Yanlılığını ve Önyargılarını Açıklama

Helps:

• Araştırmayı etkileyen önyargıları veya

İddiaları anlama

How:

• Araştırmacı çalışmaya yaklaşımında ve yorumunu şekillendirmede geçmiş deneyimlerini, önyargılarını ve eğilimlerini katıyor mu?


6. Member Checks Guidelines

Çıkarımları Veri Kaynağına Kotrol Ettirme

Helps:

• Bulgular ve yorumların inandırıcılığı ile ilgili veri kaynaklarının görüşlerine başvurma

How:

• Katılımcılardan araştırmacının çalışmasının kaba taslağını incelemeleri ve alternatif dil, eleştirel gözlemler veya yorumlar yapmaları istenebilir.


9

7. Rich, Thick Description Guidelines

Yöntemin Zengin ve Ayrıntılı Anlatılması

Helps:

• Aktarılabilirlik ile ilgili kararlar alma

How:

• çalışmadaki katılımcıları ve kuramsal

yapıyı detaylı bir şekilde tanımlama


8 - External Audits Guidelines

Dış Denetime Açma

Helps:

• Hem süreci hem de sonucu inceleme, onların doğruluğunu değerlendirme

How:

• Dış bir uzman

• Sonucu değerlendirmede, denetçi bulguların, yorumların, ve sonuçların veriler tarafından desteklenip desteklenmediğini inceler


Instrument

Strategy Application

1. Validity 1.1. The questionnaires (Q1, Q2, and Q4) and all interview guides

were developed after doing a literature review.

1.2. Each of the questionnaires and interview guides were

examined by at least three peers (graduate students).

1.3. Each of the questionnaires and interview guides were reviewed

by at least four experts.

1.4. Pilot tests were conducted to decrease the researcher’s biases

for the questionnaires (Q2 and Q4) and all guides.

1.5. All instruments were checked by a Turkish language expert for

clarity of the language.

1.6. Each question on the questionnaires and interview guides had

just one thought.

2. Reliability 2.1. The questionnaires (Q1, Q2, and Q4) and all interview guides

were developed after doing a literature review.

2.2. Pilot tests were conducted to check reliability of the

questionnaires (Q2 and Q4) and all guides.

2.3. Most of the questions on the questionnaires and guides were

relevant to answering the research questions. Eğitimde Araştırma Yöntemleri

Study

Strategy Criteria Application

1. Internal

Validity /

Credibility

1.1.Triangulatio

n

1.2.Member

checking

1.3.Peer

examination

1.4.Researcher’

s biases

1.1.1. The data collection methods, data analysis, and literature review

were used to verify interviews and categorization of the data gathered.

1.2.1. Interview participants reviewed the accuracy of the details in the

transcriptions of each interview. Transcripts and open-ended responses

were also triangulated with literature.

1.3.1. The synthesis of all data gathered was reviewed by peers,

advisor, and co-advisor of the study.

1.4.1. The researcher’s assumptions, limitations, delimitations, and

theoretical orientation at the outset of the study were clarified.

1.4.2. The results of the study were compared to the literature in the

chapter 5.

2. External

Validity /

Transferability

2.1.Nominated

sample

2.2.Dense

description

2.1.1. Every used sampling technique and the criteria for selecting

participants were provided in “population and sample” sections.

2.2.1. A complete description of methodology was given in this chapter

(3).

3. Reliability /

Dependability

3.1.Dependabili

ty audit

3.2.Methodolog

y Triangulation

3.3.Peer

examination

3.4.Evaluation

3.5. Reliable

transcribe

3.1.1. All questions in the instruments were developed after doing a

literature review and conducting pilot interviews. A full description of

the data analysis protocol is provided in this chapter (3). In addition,

advisor and co-advisor of the study provided valuable input with

respect to interview and open-ended material.

3.2.1. The research methodology was fully described. The data

collection methods and data analysis were used to triangulate and

verify interviews and categories were identified from the data gathered.


advisor, and co-advisor of the study.

3.4.1. A consensus discussion of the synthesized data was held with the

researcher, advisor, and co-advisor of the study.

3.5.1. Tapes/transcripts open to inspection by others.

3.5.2. Multiple listenings and transcriptions of audio tape by the

researcher and a different person.

4. Objectivity /

Conformatibilit

y

4.1.Confirmabil

ity Audit


advisor, and co-advisor of the study. Eğitimde Araştırma Yöntemleri

KAYNAKLAR Büyüköztürk, Ş., Kılıç Çakmak, E., Akgün, Ö.E., Karadeniz, Ş. ve Demirel, F. (2008). Bilimsel araştırma yöntemleri.

Ankara: Pegem Yayınları.

Bogdan, R. C. & Biklen, S. K. (1998). Qualitative research methods for education: An introduction to theory and methods.

Needham Heights, MA: Allyn and Bacon.

Cohen, L., Manion, L., & Morrison, K. (2000). Research methods in education (5thed.). New York: RoutledgeFalmer.

Creswell, J. W. (1998). Qualitative inquiry and research design: Choosing among five traditions.Thousand Oaks, CA: Sage.

Fraenkel, J. R., & Wallen, N. E. (2000). How to design and evaluate research in education (4 ed.). New ork:McGraw Hill.

Le Compte, M. D. & Goetz, J. P. (1982). Problems of reliability and validity in ethnographic research. Review of

Educational Research, 52, 31-60.

Marshall, C. & Rossman, G. B. (1999). Designing qualitative research (3rd ed.). Thousand Oaks, CA: Sage.

Merriam, S. B. (1998). Qualitative research and case study applications in education. (2 ed.) San Francisco: Jossey-Bass.

Stake, R. E. (1995). The art of case study research. Thousand Oaks, CA: Sage Publications.

Strauss, A. L. & Corbin, J. (1990). Basics of qualitative research: Grounded theory procedures and techniques. Thousand

Oaks, California: Sage.

Yıldırım, A. & Şimşek, H. (2000). Sosyal bilimlerde nitel araştırma yöntemleri [Qualitative research methods in social

sciences] (2nd ed.). Ankara: Seçkin Yayıncılık.

Yin, R. K. (1996). Case study research: Design and methods. (2nd ed.) Thousand Oaks, CA: Sage.

Bu sunum; yukarıdaki sunu ve kaynaklardan yararlanılarak hazırlanmıştır. Emek sahiplerine teşekkür ederiz...


Documents

Ölçme - ebeay.files.wordpress.comÖlçme yöntemi / aracı ve kullanılan soru sayısı Soruların homojenliği Yönerge Puanlama nesnelliği Testi alan birey ve gruba bağlı faktörler