Smysl, zkušenosti a další vývoj Národních srovnávacích

zkoušek

RNDr. Ondřej Šteffl, CSc.20. 5. 2010

Společnost Scio

od roku 1995

Národní srovnávací zkoušky (NSZ)

• Certifikované zkoušky se zaručenou kvalitou testů i průběhu, podle normy ISO 9001:2008

• Účastnit se může každý (i učitelé VŠ)

• Za absolvování zkoušky platí (416 Kč, uchazeči s nárokem na sociální stipendium platí jen 100 Kč) – nezávislé na příjmech rodiny uchazeče

• Úroveň nastavena podle vysokých škol

• Zkoušky kompletně zabezpečuje nezávislá společnost Scio (nejde o přijímací zkoušky!)

• Fakulty z NSZ čerpají objektivní informace o uchazečích

Úhrada NSZ

• Za absolvování zkoušky platí (416 Kč, uchazeči s nárokem na sociální stipendium platí jen 100 Kč)

• Nezávisí na příjmech rodiny uchazeče:

• zkoumá obecné dovednosti, které jsou nezbytné pro studium prakticky každého vysokoškolského oboru

• z jeho výsledku lze dobře odhadnout, zda bude uchazeč úspěšným studentem (predikční validita)

• stabilnější než znalostní testy

• podle modelu testu GRE (Graduate Record Examinations), USA od roku 1966

Test obecných studijních předpokladů (OSP)

Stabilita testu OSP

0%

2%

4%

6%

8%

10%

12%

14%

16%

18%

20%

22%

24%

26%

28%

30%

32%

34%

-40 -30 -20 -10 0 10 20 30 40 50 60

zlepšení 1/2 pokus

zlepšení 2/3 pokus

zlepšení 3/4 pokus

zlepšení 4/5 pokus

bez zlepšení

kdyby bylo průměrnézlepšení o 10 pcb.

PŘEDMĚTY NSZ 2010

testy pro NMgr. studium FZS OSU

Národní srovnávací zkoušky1996 až 2010

• 450 000 zkoušek z toho 75 % test OSP

• Celkem přes 150 000 uchazečů

• V roce 2010 absolvuje 41 800 uchazečů

OSP, ZSV, Mat, Jazyky: Aj, Nj, Fj, Šj,

Přírodní vědy: Fy, Bi, Ch,Čj,Dě, ZeČj pro cizince

PŘEDMĚTY v NSZ

Národní srovnávací zkoušky 2010

6 termínů, 38 míst v ČR i SR

Do roku 2006 cca 10 přihlíží, FSS rovnocenné

2007 - 28 fakult využívá z toho 10 plně

2008 - 47 fakult využívá z toho 24 plně

2009 - 55 fakult využívá z toho 26 plně

2010 – 61 fakut využívá z toho 29 plně (včetně např. PF Plzeň)

Využití NSZ fakultami

Počet fakult využívajících NSZ

0

10

20

30

40

50

60

70

2007 2008 2009 2010

Rok

Po

čet

faku

lt

Fakulty 2010

Hranice přijetí podle NSZ

Model B

NSZ řeší problémy fakult (alespoň trochu)

• Klesá úroveň přijatých studentů

• Klesá počet uchazečů (i jejich úroveň)

• Přijímací řízení velmi zatěžuje celou fakultu

• Studenti po prvním roce studia odcházejí jinam

• Stále více přezkumů se řeší právní cestou

• Nelze dobře odhadnout, kolik z přijatých nastoupí

Další:– Fakulta nedokáže spolehlivě zajistit utajení testů

– Fakulta nemá dostatečně pod kontrolou zpracování výsledků

– Problémy s dodržováním vyhlášky č. 343/2002 Sb.

– Dodržování bezpečnostních a hygienických předpisů

– Přijímací zkoušky nejsou objektivní (např. pohovory)

– Problémy s realizací (nejsou lidi)

Možnosti pro fakulty

• Nejlepší výsledek každého uchazeče do poloviny května nebo do poloviny června

• Vždy harmonizovaný percentil – číslo 0 až 100, plně srovnatelné ze všech termínů

• U OSP, ZSV a PV v rozdělení po oddílech: možnost vlastní interpretace i podle jednotlivých oborů studia

Model A

Model B

Chystané změny od roku 2011

Dramatické změny ve struktuře uchazečů

0%

5%

10%

15%

20%

25%

30%

dec1 dec2 dec3 dec4 dec5 dec6 dec7 dec8 dec9 dec10

Pedagogika 2007

Pedagogika 2008

Pedagogika 2009

Práva 2007

Práva 2008

Práva 2009

LékBakaláři2007

LékBakaláři2008

LékBakaláři2009

Medicína2007

Medicína2008

Medicína2009

• Stále větší šíře kvalit uchazečů

• Boloňský proces – bakaláři x magistři

• Přizpůsobení potřebám VŠ (práva)

• Výhoda pro školy: větší možnost výběru

• Výhoda pro uchazeče: test odpovídá jejich schopnostem

Test OSP od roku 2011

Základní verze – typicky pro bakalářské obory

3 oddíly jako dosud (zjednodušení, zkrácení):– verbální oddíl

– analytický oddíl

– kvantitativní oddíl

Rozšířená verze – typicky pro obory s předpokladem pokračování mgr.

+ 2 oddíly:– kritické myšlení a argumentace (LSAT Law School Admission Test)

– abstraktní uvažování (nejen v matematice, filosofie, IT)

Základní Rozšířená: uchazeč, který absolvuje rozšířenou, automaticky má i základní

Test OSP od roku 2011

Test OSP 2011

Verbální oddíl: práce s textem (přesné porozumění, slovní zásobu, vztahy v textu, schopnost rozlišování významů), práce s informacemi (rychlost orientace, vyhledání)

Analytický oddíl: logické uvažovaní (přesné vyvozování, práce s více podmínkami, přenášení daných podmínek do nových vztahů) práce s informacemi, přesné vyhodnocení, kombinování)

Kvantitativní oddíl: práce s kvantitou (proměnná, grafické vyjádření kvantity, čtení tabulek a grafů, procenta, zlomky)

Oddíl logického uvažování a argumentace: srovnávací čtení, hledání souvislostí, schopnost argumentace, zobecňování, dedukce, logická koherence/konzistence, pochopení rozporů v textech a argumentace

Oddíl abstraktního myšlení: postačující podmínky, nevýpočtové slovní úlohy, abstraktní (fiktivní) pravidla a strategické kombinace, abstraktní operace se symboly, práce s definicemi

Test OSP 2011

Na Slovensku

• STU Bratislava, Fakulta informatiky a informačných technológií

• UPJŠ Košice, Prírodovedecká fakulta

• UK Bratislava, Filozofická fakulta

• ŽU Žilina, Fakulta prírodných vied

A dobrá zpráva nakonec…

Uchazeči o studium na vysoké škole se dělí do 5 hlavních skupin podle toho, jak si školu vybírají. Do které skupiny patříte Vy?

Odpověď Počet odpovědí

Podíl Průměrný percentil OSP

Co nejlevnější studium. Rozhodující je vzdálenost od bydliště, náklady spojené se studiem.

921 6,2% 47,5

Snadnější cesta. Hlavní je, na školu se dostat a udržet se na ní.

2730 18,5% 41,3

Studentský život. Kde mám přátele, jaká je možnost si při škole přivydělat, výběr města, ve kterém je škola.

2827 19,2% 53,5

Uplatnění v praxi. Jistota nalezení dobrého místa, vysoký výdělek.

5895 40,0% 50,9

Kvalita výuky. Co nejvyšší kvalita poskytovaného vzdělání (co se naučím), kvalitní učitelé.

3792 25,7% 58,3

Následuje ještě dalších 20 snímků

http://blog.aktualne.centrum.cz/blogy/ondrej-steffl.php?itemid=7678

http://blog.aktualne.centrum.cz/blogy/ondrej-steffl.php?itemid=7678

Prediktivní validita podle meta-analýzy Nathana Kuncela z r. 2001 (Nathan R. Kuncel, Sarah A. Hezlett, Deniz S. Ones. A Comprehensive Meta-Analysis of the Predictive Validity of the Graduate Record Examinations: Implications for Graduate Student Selection and Performance. Psychological Bulletin 2001, Vol. 127, No. 1, 162-181).  Dodnes nejkomplexnější a nejautoritativnější studie predikční validity GRE.  Tabulky existují pro velké množství kritérií.  Struktura GRE je identická s OSP.  Oddíly a testy GRE Validita GRE

samotnéhoKombinovaná validita GRE a prospěchu na

nižší škole

V+Q+A 0,45 0,50V+Q+A

+předmětové testy0,50 0,54

Test OSP – predikční validita

Vliv kvality testů

Přijímací řízení znamená velkou zátěž pro celou fakultu

Trojí námitkové řízení

Transparentnost – vše na webu

1. Nezávislá odborná komise k obsahu testů – teprve po rozhodnutí se počítají konečné výsledky

2. Námitky k průběhu do protokolu – možnost vrátit peníze (náhradní termín)

3. Námitky k vyhodnocení

Veškerou zodpovědnost nese Scio, ne fakulta

Rok 2011 – termíny a místa

Minimálně 6 termínů na 30 místech

Předběžný harmonogram 2010/2011

  4.12. 4.2. 5.3. 2.4. 30.4. 28.5.

předměty sobota pátek sobota sobota sobota sobota

prosinec únor březen duben květen I. květen II.

OSP OSP OSP OSP OSP OSP OSP

ZSV   ZSV ZSV ZSV ZSV ZSV

MAT   MAT MAT MAT MAT MAT

Bi / Fy / Ch       Bi Bi, Fy, Ch  

AJ   AJ     AJ  

NJ   NJ     NJ  

FJ         FJ  

Obecně klesá úroveň přijatých?

• V nových podmínkách nemusí fungovat staré (znalostní) zkoušky

• Test OSP vybírá jinak

• Výběr by měl být co nejpřesnější

Na základě analýz lze zcela objektivně zjistit, zda by NSZ (OSP) byly pro fakultu přínosem a jakým.

Musí klesat i úroveň přijatých studentů?

Státní maturita a NSZ

Souvislosti s projektem NSZ se přeceňují, nebude mít velký vliv, snad jazyky.

Výhody NSZ:

• v maturitě není a nebude test OSP

• pro fakulty s převisem bude úroveň maturit příliš nízká

• servis pro fakulty – výsledky v databázi

• možnost uchazeče opakovat zkoušku

• NSZ jsou pro všechny uchazeče (staré, mladé, zahraniční)

• obsah i forma se pružně přizpůsobuje fakultám

• propagace fakulty

• 13 let zkušeností, tradice, spolehlivost

• stojí 10x méně

Přehled fakult NSZ

Bratislava České Budějovice

STU, Fakulta informatiky a informačných technológií

JU, Filozofická fakulta

Brno JU, Pedagogická fakulta

MU v Brně, Fakulta sociálních studií JU, Teologická fakulta

MU v Brně, Ekonomicko-správní fakulta JU, Přírodovědecká fakulta

MU v Brně, Fakulta informatiky Hradec Králové

MENDELU v Brně, Lesnická a dřevařská fakulta

U Hradec Králové, Filozofická fakulta

MENDELU v Brně, Provozně ekonomická fakulta

Jindřichův Hradec

MENDELU v Brně, Fakulta regionálního rozvoje a mezinárodních studií

VŠE, Fakulta managementu

VUT v Brně, Fakulta strojního inženýrství Karviná

VUT v Brně, Fakulta informačních technologií

SU v Opavě, Obchodně podnikatelská fakulta

VUT v Brně, Fakulta stavební Košice

VUT v Brně, Fakulta elektrotechniky a komunikačních technologií

UPJŠ Košice, Prírodovedecká fakulta

NSZ nahrazují přijímací zkoušky na fakultu  fakulta přihlíží k výsledkům NSZ  

Přehled fakult NSZ

ZČU v Plzni, Fakulta strojníOU v Ostravě, Fakulta zdravotnických studií

OU v Ostravě, Pedagogická fakulta

OU v Ostravě, Přírodovědecká fakulta

ZČU v Plzni, Fakulta elektrotechnickáOstrava

ZČU v Plzni, Fakulta aplikovaných vědSU v Opavě, Fakulta veřejných politik

ZČU v Plzni, Fakulta právnickáSU v Opavě, Filozoficko-přírodovědecká fakulta

ZČU v Plzni, Fakulta pedagogickáOpava

PlzeňUP v Olomouci, Právnická fakulta

U Pardubice, Fakulta ekonomicko-správníUP v Olomouci, Filozofická fakulta

PardubiceOlomouc

VŠB-TU v Ostravě, Univerzitní studijní programy

ŠkodaAuto Vysoká škola

VŠB-TU v Ostravě, Fakulta elektrotechniky a informatiky

Mladá Boleslav

VŠB-TU v Ostravě, Fakulta strojní TUL Liberec, Ekonomická fakulta

VŠB-TU v Ostravě, Fakulta bezpečnostního inženýrství

TUL Liberec, Fakulta přírodovědně-humanitní a pedagogická

VŠB-TU v Ostravě, Ekonomická fakultaLiberec

NSZ nahrazují přijímací zkoušky na fakultu  fakulta přihlíží k výsledkům NSZ  

Přehled fakult NSZ

VŠCHT, Fakulta potravinářské a biochemické technologie

VŠCHT, Fakulta potravinářské a biochemické technologie

VŠCHT, Fakulta chemicko-inženýrská

VŠCHT, Fakulta chemické technologie

ČVUT, Fakulta informačních technologií

ČVUT, Fakulta elektrotechnická

OA T. Bati a Vyšší odborná škola ekonomická Zlín (bc. studium)

CEVRO Institut

UTB ve Zlíně, Fakulta aplikované informatiky

ČZU v Praze, Fakulta agrobiologie, potravinových a přírodních zdrojů

UTB ve Zlíně, Fakulta multimediálních komunikací

ČZU v Praze, Fakulta životního prostředí

UTB ve Zlíně, Fakulta managementu a ekonomiky

VŠE v Praze, Fakulta informatiky a statistiky

UTB ve Zlíně, Fakulta humanitních studiíVŠE v Praze, Národohospodářská fakulta

ZlínUK v Praze, Právnická fakulta

UJEP v Ústí nad Labem, Pedagogická fakulta

UK v Praze, Fakulta sociálních věd

Ústí nad Labem

Praha

NSZ nahrazují přijímací zkoušky na fakultu  fakulta přihlíží k výsledkům NSZ  

Důvěryhodnost NSZ

• Vývoj testů podle standardizované metodiky

ISO 9001 na testy i provedení• 13 let zkušeností ověřených přímo na fakultách • Bezchybné provedení i při 23 500 zkouškách v

jednom termínu • Transparentnost průběhu a vyhodnocení• Kontrola uchazeči (protokoly, námitky k průběhu

i otázkám)• Nezávislá odborná komise

0

50

100

150

200

250

0 20 40 60 80 100 120Matematika

OS

P +

M

atem

atik

a

OSP a matematika

Discipliny a kritéria úspěchuV- Verbální

oddílQ-Kvantitativní

oddílA-Analytický

oddílProspěch nanižší škole

Závěrečný prospěch 0,34 0,32 0,36 0,30

Prospěch v prvním ročníku 0,34 0,38 0,36 0,33

Závěrečný prospěch

Humanitní vědy 0,32 0,27 0,48 0,14

Společenské vědy 0,39 0,34 0,38 0,32

Přírodní vědy 0,39 0,37 0,36 0,28

Matematika/Fyzika 0,30 0,38 0,36 0,41

Prospěch v 1. ročníku

Humanitní vědy 0,40 0,35 0,33 0,33

Společenské vědy 0,37 0,37 0,38 0,33

Přírodní vědy 0,34 0,35 0,34 0,34

Matematika/Fyzika 0,24 0,37 0,33 0,34

Humanitní vědy jsou: Umění, Výtvarné umění, Klasické kultury (především řecká a románská), Historie, Jazyky a literatura, Performační umění (film, divadlo, tanec), Náboženství a filosofie. Společenské vědy: Antropologie, Ekonomie, Vzdělávání, Zeměpis, Historie, Informatika, Mezinárodní vztahy, Právo, Lingvistika, Politické vědy, Psychologie, Sociální politika, Sociologie. Některé disciplíny mají charakteristiky obojích věd, aspoň částečně (např. Historie zcela spadá pod obojí).  Některé školy mají vlastní definice, které disciplíny patří do humanitních či společenských věd.

Test OSP – predikční validita II

ZnPrum OSP verb anal kvant ZSV MA NJ AJ Bi Fy ChZnPrum 1,000OSP -0,198 1,000verb -0,192 0,874 1,000anal -0,191 0,887 0,697 1,000kvant -0,109 0,838 0,576 0,607 1,000ZSV -0,236 0,687 0,693 0,572 0,504 1,000MA -0,122 0,568 0,376 0,429 0,593 0,518 1,000NJ -0,066 0,506 0,555 0,460 0,289 0,824 0,342 1,000AJ -0,093 0,652 0,616 0,538 0,459 0,309 0,167 1,000Bi -0,214 0,571 0,532 0,504 0,380 0,763 1,000Fy -0,083 0,545 0,524 0,509 0,411 0,887 0,630 1,000Ch -0,057 0,328 0,293 0,405 0,296 0,572 0,503 1,000

Korelace - NSZ 2007

Ondřej Šteffl

steffl@scio.cz

Děkuji za pozornost