Upload
salaam
View
112
Download
1
Embed Size (px)
DESCRIPTION
Tıp Eğitiminde Program Değerlendirme. Dr. İskender Sayek Emekli Öğretim Üyesi Hacettepe Üniversitesi Tıp Fakültesi Kocaeli Üniversitesi Tıp Fakültesi Tıp Eğitimi Seminerleri 9 Nisan 2013. Terminoloji. Evaluation/Assessment/Appraisal ... - PowerPoint PPT Presentation
Citation preview
Tıp Eğitiminde Program Değerlendirme
Dr. İskender SayekEmekli Öğretim Üyesi
Hacettepe Üniversitesi Tıp Fakültesi
Kocaeli Üniversitesi Tıp FakültesiTıp Eğitimi Seminerleri
9 Nisan 2013
Terminoloji• Evaluation/Assessment/Appraisal ...• Değerlendirme/ Ölçme-değerlendirme/Değerlendirme
• Evaluation/Research• Değerlendirme/Araştırma
• Output/Outcome• Ürün/Çıktı
• Curriculum/Programme• Müfredat/Program
Eğitimde Değerlendirme/Araştırma
• Değerlendirme: Yerel olarak kullanılacak veri ve bilgiyi üretmek için yapılan ve genellikle etik kurul onayına gerektirmeyen ancak etik ilkelere uygun olarak yapılması gereken (sonuçların kullanılabilirliğini arttırmak için) çalışmalar
• Araştırma: Genelleştirilebilir sonuçları üretmek için yapılan, akran değerlendirmesi olan bir dergide yayınlanması hedeflenen, etik kurul onayı gerektiren çalışmalar
Morrison J BMJ 2003; 326:385-87
Tıp Eğitiminin Özellikleri
• Karmaşık (Kompleks) bir sistem• Farklı komponentleri ve komponentler arası
etkileşim vardır• Değerlendirme bütüncül bir yaklaşım
gerektirir: Bireysel komponentlerin değerlendirilmesi yararlı değildir
• Programın tümü komponentlerinin toplamından fazladır
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eğitimini Etkileyen Faktörler
Program özellikleri
Bileşenler ve düzenleyicilerin etkisi
Alan ile ilgilibilgi değişimi
İç ve dış faktörler
Eğitim ortamı
Program katılımcıları
Meslekiuygulamalar
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eğitiminde Program Değerlendirme
• Tıp eğiticisi/eğitimcisinin sorumluluğudur• Eğitimde değişimin anahtarıdır• Program geliştirme için önemli • Eğitim programının durumunu ve bunu sağlayan
faktörleri belirler• Program geliştirme ya da eğitim programlarının
incelenmesi ile ilgilenenler değerlendirme ile ilgili teorik ilkeler çerçevesinde daha yapıcı ve etkin değerlendirme yöntemlerini kullanır
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
Tıp Eğitiminde Program Değerlendirme Nedir?
• Bir eğitim programının kavramsallığı, tasarımı, uygulamaları ve yararı ile ilgili verilerin toplaması, analizi ve yorumunu sağlayan sistematik bir yaklaşımdır.
• Bir kurs veya eğitim programı ile ilgili eleştirel değerlendirme yapma ve karar vermek için bilgi toplama sürecidir.
Wall D; in Understanding Medical Education 2010
Tıp Eğitiminde Program Değerlendirme Nedir?
• Eğitim programlarına bir ‘’değer biçme’’ sürecidir
• Eğitim programının tasarımı, uygulanması ve ürün/çıktılarının niteliğinin izlenmesi ve geliştirilmesi ile etkililiğini değerlendirmek amacıyla kullanılacak verilerin sitematik toplanması ve analizidir (ACGME)
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
TEPDAD : Program Değerlendirme
• Eğitim programının değerlendirilmesi, program geliştirme ve öğretim tasarımı sürecinin bir parçasıdır.
• Eğitim programının değerlendirilmesi, programın geliştirilmesi ve/veya etkinliğinin gösterilmesi amacına yönelik olarak eğitimle ilgili tüm ögeler üzerinden kesitsel ve/veya sürekli veri toplanması, analizi ve yorumlanması süreci olarak tanımlanabilir.
Program Değerlendirme İçin Nedenler
İç Nedenler
Dış Nedenler
Akreditasyon kurumlarıKaynak sunucular Eğiticilerin sorumlu olduğu kurumlar
Program çıktılarının ölçümlenmesiProgram geliştirme
Frye AW, Hemmer PA. AMEE Guide No 67 Med Teach 2012;34:6288-99
• Eğitimin öğrenenin beklentilerini karşıladığının güvencesini vermek
• Eğitimde düzeltilmesi gereken alanları belirlemek• Kurum kaynaklarının uygun kullanımını sağlamak• Eğiticilere geri bildirim vermek ve teşvik
etmek/ödüllendirmek : Eğiticinin gelişimini sağlamak
• Tıp fakültelerinin ‘‘değerlerini’’ ortaya çıkarmak• Müfredat geliştirilmesini kolaylaştırmak
Tıp Eğitiminde Program Değerlendirme Amaçları?
Morrison J BMJ 2003; 326:385-87
Tıp Eğitiminde Program Değerlendirme Amaçlar ?
Tanınırlıkamaçlı değerlendirme
Bilgiamaçlı değerlendirme
Gelişmeamaçlı değerlendirme
Tıp Eğitiminde Program Değerlendirme Amaçlar ?
Müfredatilişkili
Eğitim ve Öğrenmeilişkili
Ölçme-Değerlendirmeilişkili
Tıp Eğitiminde Program Değerlendirme Amaçlar ?
• Müfredat– Müfredat/Program geliştirme– Öğrenim amaç ve hedeflerine uygunluğun değerlendirilmesi– Program çıktılarının değerlendirilmesi
• Eğitim ve Öğrenme– Öğrenenin gereksinimlerinin karşılanma güvencesi– Kötü/Uygun olmayan eğitimin belirlenmesi– Eğitim programlarının onaylanması– Eğitici ve kurumlara geri bildirim verilmesi– Eğiticilere yıllık değerlendirme– Yükselme ve kariyer geliştirme
Tıp Eğitiminde Program Değerlendirme Amaçlar ?
• Ölçme-Değerlendirme– Ölçme-Değerlendirme çıktılarını değerlendirme :
sınavların değerlendirilmesi (Kurumsal , Ulusal)– Değerendirme araçları geliştirme: Değerlendirme
araçlarının geçerliliği ve güvenirliğinin değerlendirilmesi
– Değerlendirme stratejilerinin uygunluğunu belirleme
Program Değerlendirme Planlaması
Değerlendirmenin amaç ve hedefleri nedir?
Kimden ve nasıl bir veri toplanacaktır?
Verileri kim toplayacak ve analiz edecektir?
Hangi analiz, yorumlama ve karar verme süreç kuralları uygulanacaktır? Sorumlu kimdir?
Değerlendirme sonuçları kime verilecektir?
Wall D; in Understanding Medical Education 2010
Program Değerlendirme Çeşitleri
Tanılayıcı Değerlendirme
Biçimlendirici Değerlendirme
Düzey BelirleyiciDeğerlendirme
Programa girişte yapılan değerlendirme
Program sürecinde yapılan değerlendirme
Program çıkışında yapılan değerlendirme
Demirel Ö Kuramdan Uygulamaya 2002
Tıp Eğitiminde Program Değerlendirme
TanılayıcıDeğerlendirme
(Diagnostic Evaluation)
BiçimlendiriciDeğerlendirme
(Formative Evaluation)
Düzey BelirleyiciDeğerlendirme
(Summative Evaluation)Programa girişteyapılan değerlendirme:bilişsel davranışları,duyuşsal özellikleri vedevinişsel becerilerideğerlendirir Program sürecinde
yapılan değerlendirme:Öğrenme güçlükleriniortaya çıkarmak ve gerekli düzeltmeler ve planlama yapılması amaçlanır
Program sonundayapılan değerlendirme:Kazanılmış davranış, özellik ve becerileri ölçmeye yararan değerlendirme
Demirel Ö Kuramdan Uygulamaya 2002
Değerlendirme Modelleri
• Deneysel/ Yarı-deneysel modeller: Yeni uygulamalar ile eski uygulamaları karşılatırmak; uygulanması zor
• Kirkpatrick’in dört-düzey değerlendirme modeli: Program çıktıları ile ilgili değerlendirme
• Mantık modeli: Değişim sürecine odaklı; eğitimde yenileşim (inovasyon) içerikli
• CIPP (context/input/process/product) modeli
Kirkpatrick’in Değerlendirme HiyerarşisiSonuçla
rın Değerlendirilm
esi (Toplu
ma etkisi)
Tutum/Davranışın Değerlendirilmesi
(öğrenmenin çalışma ortamına taşınması)
Öğrenmenin Değerlendirilmesi (Gerekli bilgi ve beceriler)
Eğitilenin memnuniyeti ya da tepkisinin Değerlendirilmesi
Wall D; in Understanding Medical Education 2010
Tıp Eğitiminde Kirkpatrick’in Hiyerarşisi
Sağlık hizmet
sunumunda iyileşme
Mesleki davranışta değişim
Öğrenme gerçekleşmesi
Yanıtlayanların memnuniyeti
Eğitim etkinliğine katılım
Wall D; in Understanding Medical Education 2010
Kirkpatrick‘in Değerlendirmede Odaklanma Düzeyleri
• Düzey 1— Öğrenenlerin memnuniyet ve tepkileri
• Düzey 2a—Tutum ve algıların modifikasyonu• Düzey 2b—Bilgi ve becerilerin edinilmesi• Düzey 3—Davranış değişikliği• Düzey 4a— Kurumsal uygulamalarda değişim• Düzey 4b— Hasta yararı
Morrison J BMJ 2003; 326:385-87
Mantık (Logic) Modeli
Girdi Etkinlikler Çıktı (Outputs)
Ürün(Outcomes)
KaynaklarAlt yapıİnsangücüKurum kültürü
Girişimler StratejilerYenileşimlerHedeflenendeğişimler
Eğitilenin bilgi veya becerileriYeni bilgi vebecerilerin uygulanmasıHasta yararı
Eğitilen sayısıEğitici özelliğiÜretilen modülsayısı
CIPP Modeli
• CIPP (context/input/process/product) modeli– (Bağlam/ girdi/ süreç/ürün)
• Program geliştirme odaklı , programın başarısını ya da başarısızlığını göstermeyi hedeflemez
• Programın kısımlarının karmaşık, dinamik ve lineer olmayan bir ilişkide olduğunu fark eden yaklaşımlar için güçlü bir model
CIPP Modeli• Bağlam/ girdi/ süreç değerlendirmesi iyi leştirme odaklı :
Biçimlendirici değerlendirme (Formative)• Ürün değerlendirmesi düzey yükseltici değerlendirme
(Summative)• Bağlam Değerlendirilmesi: Yeni program planmada ya da
planlı değişimlerde yararlı– Programın amaç ve hedeflerini gereksinimlere, sorunlara ve
olanaklara göre belirler• Girdi Değerlendirilmesi: Eğitim planlamasında kaynak
kullanımı ile yeni program planlanması ve önerisinde yararlı, sürekli veri sağlar- tıp eğitiminde çok etkili
CIPP Modeli
• Süreç Değerlendirilmesi: program uygulanmalarını değerlendirmede etkili, çıktının değerlendirilmesini sağlar ve bir program değişiminde yararlı (Sürekli gelişim) – Program sonu değerlendirmede kullanılabilir– Program bileşenlerine tanınırlık sağlar
• Ürün Değerlendirmesi: Program çıktılarına odaklı değerlendirme– Olumlu-olumsuz, kısa-uzun dönem, beklenen-beklenmeyen
çıktıları değerlendirir, – Eğitim gereksinimlerinin ne kadar karşılandığını belirler
Değerlendirme Modellerinin Karşılaştırılması
CIPP Bağlam Girdi Süreç ÜrünMantık Model
Girdi Etkinlikler Çıktı Ürün
Kirkpatrick Eğitilen-ilgili çıktılarDeneysel/Yarı deneysel
Program içeriği ile çıktının lineer ilişkisi
Değerlendirme Evreleri
Planlama ve Hazırlık
Eğitim ve Öğrenim Etkinliği
Etkinlik ile İlgili Veri Toplanması
Yansıma (Refleksiyon) ve
Analiz
Wall D; in Understanding Medical Education 2010
Eğitim Programlarında Etkililik Değerlendirmesi Evreleri
Veri Toplama
Verileri Ölçütlerle
Karşılaştırıp Yorumlama
Etkililik Hakkında
Karar Verme
Demirel Ö Kuramdan Uygulamaya 2002
Değerlendirme Yöntemleri
• Subjektif ve objektif ölçütler içerebilir• Niteliksel ve niceliksel yaklaşımlar olabilir• Fazla veri toplamaktan kaçınmak gerekir• Kolay uygulanabilir ve hızla kullanılabilir bilgi
üretmesi gerekir
Morrison J BMJ 2003; 326:385-87
Yöntemler• Görüşmeler
– Mülakatlar– Odak grup görüşmeleri
• Kurum ziyaretleri• Anketler• Grup görüşmeleri
– Kar topu inceleme (Snowball review) : Grup üyeleri tartışarak sonuca varır
– Nominal grup tekniği: Grup üyelerinin hepsi görüş bildirir• Öğrenci performans değerlendirmeleri
– Öğrenim çıktılarının değerlendirilmesi• Gözlemler
Öğrenci Değerlendirmeleri
• Geribildirimler, anket uygulamaları • En sık kullanılan yöntem• Çok değerli bilgi verir• Tek başına kullanılmamalı
Değerlendirme ÖrnekleriSubjektif Objektif
NitelikselOdak gruplarıGörüşmeler
NÖKS ile başarılı sonuçlandırılmış görevlerin analizi
NicelikselDeğerlendirmeler: Anket
Sınav sonuçlarınıneğilim değerlendirilmesi
Morrison J BMJ 2003; 326:385-87
Değerlendirme Araçları
• Öğrenci değerlendirmeleri
• Uzman değerlendirmeleri
• Dış değerlendirmeler• Öz-değerlendirme• Eğitim video kayıtları• Öğrenci görüşmeleri-
mülakatları
• Mezunların değerlendirmeleri
• İşveren değerlendirmeleri• Yönetici değerlendirmeleri• Eğitim Bursları/
Ödüllendirmeleri• Eğitim çıktılarının
ölçümlenmesi• Eğitim portfolyoları
Wall D; in Understanding Medical Education 2010
• Değerlendirmede yanlı tutumu azaltmak için öğrenciler, eğiticiler, diğer klinisyen ve hastalar gibi gruplardan birden çok kişiden görüş alınmalıdır.
• Müfredatın tam etkililiği öğrencilerin mezun olmasından belli bir süre geçtikten sonra ancak belirlenebilir.
İdeal bir Değerlendirme
• Güvenirlik• Geçerlik • Değerlendiren ve değerlendirilen tarafından
kabul edilirlik• Düşük maliyetli
TEPDAD: UTEAK Standartları
• 5. PROGRAM DEĞERLENDİRME 5.1. Program değerlendirme sistemi TS.5.1.1. Tıp fakültelerinde, eğitim programını ve öğrencilerin gelişimini izleyen, programa ilişkin görüş ve önerilerin tanımlanması ve ele alınmasını sağlayan bir program değerlendirme sistemi mutlaka olmalıdır. Program değerlendirme sistemi, mutlaka, düzenli olarak toplanan öğretim üyesi ve öğrenci geribildirimleri ve eğitim programı hedefleriyle ilişkilendirilmiş öğrenci performansı izlemlerini kapsamalıdır.
• GS.5.1.1. Tıp fakülteleri evrensel eğitim programı değerlendirme modellerinden yararlanarak, fakülteye özgü kapsamlı bir eğitim programı değerlendirme sistemi geliştirilmelidir.
• GS.5.1.2. Program değerlendirme kapsamında programın bağlamı, girdileri, süreci ve çıktılarına yer verilmeli, mezunların tıbbi kariyerlerine ilişkin bilgiler değerlendirilmelidir.
• 5.2. Program değerlendirme sonuçlarının paylaşım ve kullanımı
• TS.5.2.1. Tıp fakülteleri program değerlendirme sonuçlarını mutlaka fakülte yönetimi, akademik görevliler, öğrenciler ile paylaşmalı ve programın iyileştirilmesi yönünde kullanmalıdır.
• GS.5.2.1. Tıp fakülteleri, program değerlendirme süreci ve sonuçlarının geçerlik ve güvenirlik kanıtlarını toplamalı ve göstermelidir.
• GS.5.2.2. Tıp fakülteleri dış değerlendirme yöntem ve süreçlerini kullanmalıdır.
Özet• Değerlendirme:– Müfredat geliştirmede kullanılabilmeli– Tıp fakültesinin akademik gelişimine pozitif süreç
olarak katkı sunmalı• Değerlendirme hedefleri – Açıkça tanımlanmalı– Öğretim çıktıları ile ilişkilendirilmeli
• Değerlendirme yapılırken:– Birden çok kaynaktan bilgi toplanmalı– Sonuçlar tüm katılımcılarla paylaşılmalı
• Öğrenenler:– Değerlendirme geliştirilirken mutlaka katkı
sunmalı– Görüşlerine değer verilmeli
• Değerlendirenler:– Değerlendirme sonuçlarına göre eksikliklerin
düzeltilmesi, yöntemlerin ve içeriğin iyileştirmesi ve güncellenmesi sağlanmalı
– Süreç tekrar edilebilmeli
Tıp Eğitiminde Program Değerlendirme
Eğitim süreçlerinin önemli öğelerinden birisidir.
Uygulanan eğitim programının etkililiği
hakkında karar verme
Eğitim hedeflerinin karşılanma derecesini
tayin etme
Eğitim araçlarının niteliği ile ilgili sistematik
bilgi toplama aracı
Eğitim programına devam, değiştirme ya da yeni bir aşamaya geçme ile ilgili karar verme
Teşekkür ederim .....