Учебный курс

«Информирование различных целевых групп о результатах оценки учебных достижений школьников»

27-30 сентября 2011 года, г. Москва

Связь результатов оценки и управления образованием

Скотт Мюррей, DataAngel Policy Research Inc.

Telephone: (613) 240-8433e-mail address: dataangel@mac.com

Характер систем образования:

• Сложные производственные предприятия?

• Сложные учреждения культуры?

Одним из способов, которыми школы компенсируют наличие учащихся с низким уровнем грамотности, является применение менее продуктивных систем организации труда, процессов работы и технологий производства:

Результат

Издержки

Граница производственных возможностей: точка получениянаибольшей отдачи при наименьшей удельной стоимости продукции

•

•

Менее продуктивнаяконфигурация

Возможность учета и обратный эффект: иногда результат не совпадает с

ожиданиями:

Волшебный рецепт:

• Наличие достоверных, надежных, сопоставимых и поддающихся интерпретации данных

• Анализ с учетом исходных различий• Инклюзивные процессы, проводящие

заинтересованных участников по континууму «данные/знания/мудрость/действие»

• Деньги и навыки для выполнения хорошей работы

• Уважение и объективность

Как мы достигаем успеха?(с точки зрения полезных выводов)

• Относительное положение можно оценить с помощью множества критериев: масштабы, количество, качество, эффективность, результативность, значимость и равенство образовательных результатов в подростковый период

• Результаты зависят от ряда факторов

• Каждая мелочь значит мало – если их сложить, они значат много

• Поведенческие и когнитивные результаты взаимодействуют конструктивно и деструктивно

• Большое значение имеет то, что происходит за пределами школы

Структура управления

Перспектива расположения элементовПерспектива расположения элементов

CC GSUGSU GG PSUPSU PP SSUSSU SS

Le

arne

rL

earn

er

11

22

33

??

WW

WW

CC GSUGSU GG PSUPSU PP SSUSSU SS

Te

ach

er

Te

ach

er

II

IIII

IIIIII

11

22

33

??

11

22

33

11

22

33

WW

WW

CC GSUGSU GG PSUPSU PP SSUSSU SS

Prin

cipal

Prin

cipal

AA

BB

CC

II

IIII

IIIIII

$$

??

II

IIII

IIIIII

11

22

33

II

IIII

IIIIII

WW

WW

CC GSUGSU GG PSUPSU PP SSUSSU SS

Su

perin

tend

ent

Su

perin

tend

ent

XX

YY

ZZ

AA

BB

CC

$$

??

AA

BB

CC

II

IIII

IIIIII

AA

BB

CC

WW

WW

Инспектор Инспектор

Директор Директор

Учитель Учитель

Учащийся Учащийся

Каково Каково ваше ваше

видениевидение??

реальностреальностьь??

Структура управления

Перспектива расположения элементовПерспектива расположения элементов

CC GSUGSU GG PSUPSU PP SSUSSU SS

Le

arne

rL

earn

er

11

22

33

??

WW

WW

CC GSUGSU GG PSUPSU PP SSUSSU SS

Te

ach

er

Te

ach

er

II

IIII

IIIIII

11

22

33

??

11

22

33

11

22

33

WW

WW

CC GSUGSU GG PSUPSU PP SSUSSU SS

Prin

cipal

Prin

cipal

AA

BB

CC

II

IIII

IIIIII

$$

??

II

IIII

IIIIII

11

22

33

II

IIII

IIIIII

WW

WW

CC GSUGSU GG PSUPSU PP SSUSSU SS

Su

perin

tend

ent

Su

perin

tend

ent

XX

YY

ZZ

AA

BB

CC

$$

??

AA

BB

CC

II

IIII

IIIIII

AA

BB

CC

WW

WW

CC GSUGSU GG PSUPSU PP SSUSSU SS

BO

E/

BO

E/

Paren

tsP

arents

XX

CC

II

11

YY

BB

IIII

22

$$

youyou

??????

YY

BB

IIII

22

youyou

??????

YY

BB

IIII

22

WW

WW

Директор Директор

Учитель Учитель

Учащийся Учащийся

СоветСовет//РодителиРодители//МинистерствоМинистерствоИнспектор Инспектор

ФедерацияФедерация??

Переход от обучения чтению к чтению для обучения:

225 275 325 375 500

Обучение чтению

0

Чтение для обученияПреобладающее значение механических навыков чтения

Преобладающее значение когнитивных стратегий

Уровень 1 Уровень 2 Уровень 3 Уровень 4 Уровень 5

Отчеты об учебной успеваемости по итогам проведения TIMSS в Катаре:

учащиеся

Образование родителей (годы)

Результаты по естественным наукам

Отчеты об учебной успеваемости по итогам проведения TIMSS в Катаре :

средние значения по школамРезультаты по естественным наукам

Образование родителей (годы)

Отчеты об учебной успеваемости по итогам проведения PISA в Катаре:

Взаимосвязь между школьными усредненными показателями по естественным наукам и средним уровнем образования родителей, по типу школ, Катар, PISA 2006

Отчеты по итогам проведенияTIMSS в Катаре: школы

Балл по математике

Профиль школы по успеваемости по математике в 4 классе

Отчеты по итогам проведенияTIMSS в Катаре: школы

Профиль школы по успеваемости по математике в 4 классе

Анализ успеваемости в школах Квебека показывает, что высокий средний уровень навыков чтения, демонстрируемых учащимися провинции, достигается не за счет нескольких элитных школ. Напротив, успехи Квебека являются результатом успешной работы школ, обслуживающих учащихся из семей со средним социально-экономическим положением (СЭП). В провинции есть несколько школ, где обучаются учащиеся с очень низким СЭП, и эти школы демонстрируют относительно низкие результаты.

Характеристика школ в Квебеке

Источник: J. D. Willms, UNB

Квебек демонстрирует высокие результаты за счет школ, обслуживающих средний класс…

Анализ социально-экономических градиентов (Рисунок 3) показал, что учащиеся Онтарио намного отстают от своих сверстников в Квебеке и Альберте в пределах всего диапазона СЭП. Характеристика школ показывает, что показатель СЭП у общего количества учащихся в большинстве школ Онтарио выше среднего значения для стран ОЭСР. Однако показатели успеваемости в большинстве школ Онтарио находятся ниже линии регрессии, что свидетельствует о том, что они не достигают таких результатов, как другие канадские школы с сопоставимым контингентом учащихся. Таким образом, относительно низкая результативность в Онтарио происходит не из-за нескольких отстающих школ, обслуживающих учащихся с низким СЭП. Скорее это связано с более низким в целом уровнем качества работы большинства школ провинции.

Характеристика школ в Онтарио

Источник: J. D. Willms, UNB

Онтарио уступает по всем параметрам…

Разрыв междузнанием и практикой

Осмысление через международный сопоставительный анализ:

Readi ng - pr ofi ci ency l evel based on 1st pl ausi bl e val ue . 0 1 23 4 5

100

200

300

400

500

600

700

800

Pl ausi bl e val ue i n r eadi ng

100. 00 200. 00 300. 00 400. 00 500. 00 600. 00 700. 00 800. 00 900. 00

FSA ( RE_SCAL)

PI SA

( exceed expect at i on)

( meet expect at i on)

( bel ow expect at i on)

PI SA

Процент учащихся в возрасте 15 лет в различных провинциях, не соответствующих стандарту навыков чтения, установленных для учащихся 10-х классов в Британской Колумбии, 2000 г.

1. Все показанные результаты даны для учащихся в возрасте 15 лет, за исключением учащихся 10-х классов в

Британской Колумбии, которые в среднем на 6 месяцев старше 15 лет.2. Территории приведены в порядке, соответствующем проценту учащихся, соответствующих или превышающих ожидания.Источник: Таблица 6

Несмотря на высокий средний уровень успеваемости значительный процент учащихся в возрасте 15 лет не соответствует стандарту, установленному в

Британской Колумбии для учащихся 10-х классов…

Осмысление через международный сопоставительный анализ:

20%

Осмысление через международный сопоставительный анализ: сопоставление шкал PISA и IALS:распределение процентилей и уровни

Процентили

225

275

325

Level 5Level 4

Level 3

Level 4

Level 3

100

80

60

40

Level 2

480

552

625

335

407

800

375

Level 2

Level 1

Below Level 1

20

0

396

459

529

Среднее значение535

329

703648

593

Грамотность IALS PISA

Среднее значение285

234209

257

283

354330

308

500

Level 1

Alberta - Percent Levels 1 and 2 Prose Literacy

Percentage

0 - 10%

11 - 20%

21 - 30%

31 - 40%

41 - 50%

51 - 60%

61 - 70%

71 - 80%

81 - 90%

91 - 100%

No Data

190 0 19095 Kilometers

Комбинации ошибок в единицах оценки свидетельствуют о недостатках учебных программ: PISA (Катар)

Область учебного плана

Когнитивный уровень (компетентность)

Количество (%) респондентов

# (%)Балл0

# (%)Балл1

# (%)Балл2

# (%)Балл3

# (%)Балл4

Особенные аспекты учебного планы, которые требуют внимания

Физические системы

Научное объяснение явлений

187(100%)

128(7%)

425(23 %)

503(27%)

815(44%)

0(0%)

Учащиеся не поняли, что Интернет или библиотека могут быть источником информации о том, как сохранить траву пышной и зеленой, в то время, как вечерние новости не могут

Научный запрос

Определение научных вопросов

1866(100%)

217(12%)

371(29%)

557(30%)

721(39%)

0(0%)

1) Учащиеся не поняли дизайн научного эксперимента и не осознали, что бумага относится к категории леса; или

2) Учащиеся не поняли дизайн научного эксперимента и не осознали, что выставленная земля не относится к почве, где деревья никогда не росли; или

3) Учащиеся не поняли дизайн научного эксперимента и не осознали, что порывы воздуха являются ветром

Комбинации ошибок в единицах оценки свидетельствуют о недостатках учебных

программ: PISA (Катар)Область учебного плана Когнитивный уровень (компетентность) Процент учеников, ответивших неверноТехнологические системы Научное объяснение явлений 62Физические системы Научное объяснение явлений 35Научный запрос Определение научных вопросов 53Живые системы Научное объяснение явлений 63Физические системы Научное объяснение явлений 63Научные объяснения Использование научного доказательства 63Живые системы Научное объяснение явлений 77Научный запрос Определение научных вопросов 77Технологические системы Использование научного доказательства 56Системы земли и космоса Научное объяснение явлений 59Научные объяснения Использование научного доказательства 72Научный запрос Определение научных вопросов 56Системы земли и космоса Научное объяснение явлений 58Системы земли и космоса Научное объяснение явлений 60Научные объяснения Использование научного доказательства 73Научные объяснения Использование научного доказательства 66Физические системы Научное объяснение явлений 47Физические системы Научное объяснение явлений 73Физические системы Научное объяснение явлений 69Научный запрос Использование научного доказательства 67Научный запрос Определение научных вопросов 78Научный запрос Определение научных вопросов 70Научный запрос Определение научных вопросов 75Системы земли и космоса Научное объяснение явлений 61Системы земли и космоса Научное объяснение явлений 64Научные объяснения Использование научного доказательства 61Живые системы Научное объяснение явлений 45Живые системы Научное объяснение явлений 55Живые системы Научное объяснение явлений 67Живые системы Научное объяснение явлений 40Живые системы Научное объяснение явлений 50

Выявление значимых факторов: проксимальные и дистальные показатели

Вероятностные коэффициенты для взаимозависимости между научной грамотностью и факторами школьной политики и практики, в привязке к образованию родителей, 15-ти летние ученики, Катар, PISA 2006

Выявление значимых факторов: проксимальные и дистальные показатели

Подготовка учителя

Возможность изучать предмет

Отношение к предмету

Школьный климат

Ресурсы школы

Диаграмма ресурсов обучения по математике и естествознанию в 4 классе

Восполнение разрыва между знаниями и практикой за счет

инноваций: