STATISTICAL METHODS OF THE EDUCATIONAL QUALITY

ESTIMATION (lecture series)

Vladimir BakhrushinProfessor, D.Sc. (Phys. & Math.)

Vladimir.Bakhrushin@gmail.com

Objective

The objective of lecture series is familiarization of professionals in education area with the modern statistical techniques and typical examples of their usage.

The target group: professionals in the area of education and education management, postgraduates and senior students of relevant specialties.

The number of lectures can vary between 2 and 6.

The concept of quality in education

Main approaches to the definition of "quality“.

Quality as a compliance with the requirements.

Quality as a multi-dimensional characteristic.

Educational quality.

Testing technologies in education.

Educational rankings.

Basic methods of educational data analysis

Data collection.

Data visualization.

Main indicators of descriptive statistics.

Hypothesis testing.

Verification of statistical relation between samples.

Regression analysis.

Factor analysis.

Data classification.

Time series analysis.

Main tools for analysis of educational data

Spreadsheets (MS Excel, OpenOffice Calc, Google, …);

Mathematics software (MathCad, MatLab, …);

Statistical software (SPSS, Statistica, …);

Programming language R

University rankings

Main types of the university rankings.

Main world university rankings (ARWU, QS, THE, Webometrics, etc.) – their objectives, structure, methods of calculation.

Main Ukrainian and Russian university rankings – their objectives, structure, methods of calculation.

Some other university rankings.

Statistical properties of university rankings

General requirements to the statistical properties of university rankings.

Statistical properties of some university rankings.

Examples of the distribution of ratings total scores

score

Testing as a tool for evaluating the quality of

education

Tests as a tool for evaluating the quality of education.

Main types of educational tests.

Test options setting.

Statistical nature of the testing results.

Advantages and disadvantages of the testing.

Indicators of the educational tests quality

Indicators of the tests quality and their estimation:

reliability;

validity.

Indicators of the test tasks quality and their estimation:

difficulty level;

correlation coefficient;

discrimination coefficient (index).

Statistical analysis of the Ukrainian External Independent

Evaluation testsIndicators of the UEIE tests quality and

their dynamics.

Quality parameters of the UEIE tests tasks quality on disciplines, their distribution and dynamics.

Factors affecting the quality of the UEIE tests and test tasks.

Examples of the distribution of the test tasks quality

indicators

Other examples of statistical methods application in

education

Comparison of universities and education programs on applicants scores

Development of estimation scales (ECTS, etc).

Account of the test tasks difficulty in the scores appointment for their fulfillment.

Some publications of the author

1. Бахрушин В.Є. Методи аналізу даних / В.Є. Бахрушин. – Запоріжжя: КПУ, 2011. – 268 с.

2. Бахрушин В.Є. Якість вищої освіти та сучасні підходи до її вимірювання / В.Є. Бахрушин, О.М. Горбань // Освіта і управління. – 2012. – Т. 15, № 4. – С. 7 – 11.

3. Бахрушин В.Є. Побудова описової статистики складних систем та графічне зображення даних за допомогою мови програмування R / В.Є. Бахрушин, М.О. Ігнахіна // Складні системи і процеси. – 2012. – № 2. – С. 3 – 14.

4. Бахрушин В.Є. Застосування емпіричних функцій розподілу в дослідженні соціально-економічних систем / В.Є. Бахрушин, М.О. Ігнахіна // Складні системи і процеси. – 2012. – № 1. – С. 103 – 111.

5. Бахрушин В.Є. Статистичний аналiз ЗНО 2009 – 2011 // Higher Education in Ukraine: Internationalization, Reform, Innovation. International Conference. April 20-21, 2012. Kyiv, Ukraine, http://educationconferenceua2012.org.ua/doc/Bakhrushin_UA_Paper.doc

6. Бахрушин В.Є. Статистичний аналіз рейтингів українських університетів // Освіта і управління. – 2011. – № 2 – 3. – С. 30 – 37.

Деякі публікації автора7. Бахрушин В.Є. Статистичний аналіз університетських рейтингів / В.Є.

Бахрушин // Освіта і управління. – 2011. – № 1. – С. 7 – 12.8. Bakhrushin V.E. Test technologies in education: The problem of test

quality / V.E. Bakhrushin, A.N. Gorban // Ukr. J. Phys. Opt. 2011, V12, Suppl. 2 Sc. Horiz. – S. 1 – 10.

9. Бахрушин В.Є. Тестові технології в освіті: Проблеми якості тестів / В.Є. Бахрушин, О.М. Горбань // Наукові записки Академії наук вищої школи України. – 2011. – Т. 6. – С. 24 – 34.

10. Бахрушин В.Є. Статистичний аналіз тестів ЗНО 2009 – 2011 / В.Є. Бахрушин // Вища освіта України. Тематичний випуск "Вища освіта України в контексті інтеграції до Європейського освітнього простору" / Ред. Кремень В.Г., Савченко О.Я., Маноха О.П. та ін. – 2011. - Додаток 2 до № 3. Т. 3 (28) – С. 29 – 35.

11. Бахрушин В.Е. Автоматизация определения результатов тестирования // В.Е. Бахрушин, С.В. Журавель, М.А. Игнахина // Управляющие системы и машины. – 2010. – N 2. – С. 10 – 12.

12. Бахрушин В.Е. Эмпирические функции распределения результатов тестирования выпускников школ / В.Є. Бахрушин, С.В. Журавель, М.А. Игнахина // Управляющие системы и машины. – 2009. – № 2. – С. 82 – 84.