An Assessment of the Early Implementation of GE

A TDG Project

Project Team(Lilian Vrijmoed, Xiaoyan Wang, Ivan Chiu)

April 27, 2010

Outline

• GE at CityU

• The GE Evaluation Project– Purpose – Research questions– Survey design– Data analysis– Semester A findings

• Future work

GE Program at CityU

• 30 credits (25% of 4Y curriculum)• 9 /12 CU of University requirements • 21 /18 CUs on courses based on 3 categories

– Arts and Humanities

– Studies of Societies, Social and Business Organization

– Science and Technology

• 27 GE courses offered in  2009/2010• 23 more courses approved in the latest GEC meeting• At least 40 GE course expected to be available in 2012

Objectives of ProjectObjective 1Evaluate perceptions and achievementsWHO ‐ staff and studentsWHAT ‐ the purposes, pedagogies, and ILOs of GE program WHEN ‐ before and after teaching/taking GE courses.

Objective 2Examine the relationship  between students’ personal attributes 

and change in attitude as a result of taking GE courses  

Objective 3Provide data to improve the GE program

Project Timeline

2009 Summer

2009‐2010

2010‐2011

2011‐2012

Survey Design

Data Collection & Analysis

Assess expectation and perception of GE ILOs and pedagogy

Measure students’ actual achievement of selected GE ILOs. 

Report

Research Questions      Student Survey DesignWhat learning outcomes and pedagogies do students expect for GE courses?

The ILO’s, teaching and learning strategies, Bloom’s taxonomy of cognitive learningOpen‐ended questions

What is the relationship between personal attributes and perceptions of GE ILOs, and pedagogies utilized? (correlation and regression)

Self‐efficacy & Intrinsic valueSelf‐esteem scale & learning for self‐understandingThe ILO’s, teaching and learning strategies, Bloom’s taxonomy of cognitive learning

Gender, year, program of study

Research Questions            Staff Survey Design

What learning outcomes do staff expect  students to achieve from GE courses?

Open‐ended questions

What is staff perception of GE ILOs and pedagogy utilized in GE? 

The ILOs, teaching and learning strategies, Bloom’s taxonomy of cognitive learning

Rank, gender, number of GE courses taught

Open‐ended questions motivation, additional support

Research Questions    Data Analysis

Do students’ view on GE change as a result of exposure to a GE course

Paired Samples t‐test (compare means pre+post

What gaps exist in students’perception of the goals of GE and staff  perception?

Independent Samples t‐test (compare means of staff and students

Do staff perceptions correlatewith/influence student perception of GE?

Bivariate correlation

Results

Number of Student Participants

13 GE Courses Area 1 

Arts and Humanities

GE1101 

Chinese Cultural 

Heritage in Modern 

Perspective

(N = 4)

GE1102Cinema: East and West

(N = 2)

GE1105Chinese Music 

Appreciation(N =15)

GE2105Popular Culture

(N = 26)

Area 2 Study of Societies, Social and 

Business Organizations

GE1202Managing your 

Personal Finance

(N = 70)

GE2202 Globalization and Business

(N = 3)

GE2203Psychology for 

Young Professionals

(N =24)

GE2205Lifestyle 

Diversity and Choices

(N = 31)

GE2209Market 

Developments in China

(N = 21)

GE2210 China: A Socio‐

Political Transformation

(N = 3)

GE2211 Sexuality, Culture and Diversity

(N = 2)

Area 3 Science and Technology

GE2301 Science and Technology: From Past to 

Future

(N =5)

GE2302 Forensics and Modern Society

(N = 1)

11

Students and Staff Perception of ILOs of GE 

Courses

Research Question One 

• students’ expectations of ILOs before taking course

RELATE

• students’ perception of their achievement of LOs after taking course

Students’ Expectations of Learning Outcomes BEFORE 

Nine ILOS M SD N1 Develop critical thinking skills 4.09 0.67 1892 Develop independence and self‐directedness as a 

learner3.96 0.67 190

3 Develop and broaden understanding of cultures 3.91 0.75 1914 Develop teamwork skills 3.83 0.76 1905 Develop ethical decision making skills 3.77 0.69 1886 Develop oral communication skills 3.75 0.77 1917 Help students to understand my social 

responsibilities3.65 0.80 191

7 Develop numeric and information skills 3.65 0.80 1899 Develop writing skills 3.50 0.80 191

Strong disagree=1, disagree=2, neutral=3, agree=4,  strongly agree=5

Students’ Perception of Achievement of ILOs  AFTER

Nine ILOS M SD N1 Developed and broadened understanding of cultures 3.81 0.79 1912 Developed critical thinking skills 3.80 0.77 1893 Developed teamwork skills 3.78 0.87 1904 Developed independence and self‐directedness as a 

learner3.74 0.74 190

5 Developed ethical decision making skills 3.54 0.79 1886 Developed numeric and information skills 3.51 0.87 1896 Developed oral communication skills 3.51 0.83 1916 Helped students to understand my social 

responsibilities3.51 0.84 191

9 Developed writing skills 3.41 0.85 191

Students’ Perception Change of ILOS: Academic Related Skills

Students’ Perception Change of ILOs: Academic Related Skills 

Students’ Perception Change of ILOs: Personal Growth

Continued

P <0.01 ** P <0.05 *P >0.05

• In general, students perceived experiences of achieving ILOs were lower than their initial expectations  

o Critical thinking skillso Oral communication skillso Ethical decision making skillso Team work skillso Numeric and information skillso Writing skillso Self‐directed as learnerso Social responsibilitieso Culture

Summary Finding

Index

Decreasing p< 0.05

Decreasing, p> 0.05 

Increasing, p>.005

19

Research Question Two

• staff and students’ perception of the achievement of intended learning outcomes 

relate 

• to each other at the end of the semester 

Staff’s Perception of Students’Achievement of ILOs

Nine ILOS M SD N

1 Developed students' critical thinking skills 4.71 0.47 142 Developed students' independence and self‐

directedness as a learner  4.50 0.76 14

3 Developed and broadened students' understanding of cultures  

4.43 0.94 14

4 Developed students' teamwork skills   4.36 0.50 145 Developed students' writing skills  4.07 0.73 146 Developed students' oral communication skills  3.86 0.77 147 Developed students' ethical decision making skills   3.64 1.08 148 Developed students' numeric and information skills  3.50 0.85 148 Helped students to understand their social 

responsibilities 3.50 0.76 14

Comparison of Staff and Students’ Perception on Academic Skills Development

Continued

P <0.01 ** 

Comparison of Staff and Students’ Perception on Academic Skills Development 

P > 0.05

Comparison of Staff and Students’Perception on Personal Growth

P <0.01 ** P >0.05

• In general, students perceived achievement of  ILOs were lower than staff perception.

• Academic skills: o Critical thinkingo Teamworko Writing skillso Oral communicationo Ethical decision makingo Numeric and information skills

• Personal growth: o Self‐directness as learnerso Cultureo Social responsibilities

Summary Findings

Index

Decreasing p<.005

Decreasing, p>.05 

Increasing, p>.05

25

Students and Staff Perception of Pedagogies Utilized in  GE Courses

Research Question Three

• expectations of pedagogies before taking course

RELATE

• perception of the pedagogies after taking course 

Students’ Perception of Pedagogy BEFORE  

12 pedagogical approaches M SD N

1Relate the course material to modern human experience

4.02 0.61 191

2Use various active learning approaches (e.g., discussions, games, case studies, simulations, etc.) to facilitate my learning

3.93 0.64 191

2Emphasize making judgments about the value of information

3.93 0.70 190

4Emphasize synthesizing information and organizing ideas

3.84 0.65 191

5 Emphasize analyzing basic elements of an idea or theory 3.79 0.63 191

6 Emphasize applying theories or concepts 3.74 0.72 190Strong disagree=1, disagree=2, neutral=3, agree=4,  strongly agree=5

continued

Students’ Perception of Pedagogy at BEFORE

12 pedagogical approaches M SD N

7Require students to work together on project during class

3.70 0.79 191

8Require students to work together on projects outside of class

3.67 0.83 191

9Use interdisciplinary approaches to the subject matter

3.58 0.61 190

10Address complex issues or topics where answers are ambiguous

3.56 0.71 190

11Use traditional lectures as the primary mode of instruction (‐)

3.06 0.89 191

12 Emphasize memorizing facts, ideas or methods (‐) 2.74 0.85 191Strong disagree=5, disagree=4, neutral=3, agree=2,  strongly agree=1

Students’ Perception of Pedagogy AFTER

12 pedagogies M SD N

1 Related the course material to modern human experience

3.85 0.74 191

2 Required students to work together on projects outside of class

3.79 0.87 191

3 Used various active learning approaches (e.g., discussions, games, case studies, simulations, etc.) to facilitate my learning

3.74 0.78 191

4 Required students to work together on project during class

3.68 0.81 191

4 Emphasized making judgments about the value of information

3.68 0.77 190

6 Emphasized analyzing basic elements of an idea or theory

3.64 0.75 191

6 Emphasized synthesizing information and organizing ideas

3.64 0.79 191

Students’ Perception of Pedagogy AFTER

12 pedagogies M SD N

8 Emphasized applying theories or concepts 3.60 0.81 190

9Addressed complex issues or topics where answers are ambiguous

3.57 0.79 190

10Used interdisciplinary approaches to the subject matter

3.54 0.65 190

11Used traditional lectures as the primary mode of instruction (‐)

2.74 0.86 191

12 Emphasized memorizing facts, ideas or methods (‐)

2.70 0.87 191

Students’ Perception Change of Cognitive Learning

P < 0.05 *P >0.05

Students’ Perception Change of Cognitive Learning

P < 0.01 ** P < 0.05 *

Students’ Perception Change of Teaching and Learning Activities

P < 0.05 *P > 0.05

Students’ Perception Change of Teaching and Learning Activities

P < 0.05 *P > 0.05

Summary of Student Perception Change

Index

Decreasing p< 0.05

Decreasing, p> 0.05 

Increasing, p> 0.05

36

• Cognitive learning:o Applying theorieso Analyzing basic elements of a theory, making judgments, 

synthesizing informationo Addressing complex issueso Memorizing facts

• Teaching and learning activities:o Using various learning approacho Using traditional lectureso Relating the course material to modern human experienceo Teamwork during class o Using interdisciplinary approacheso Teamwork outside of class

Research Question Four 

• Staff and students’ perception of the course pedagogies

relate to each other at the end of the course? 

Staff Perception of Pedagogy for GE Courses

12 pedagogical approaches M SD N

1Related the course material to modern human experience

4.79 0.43 14

2 Used various active learning approaches (e.g., discussions, games, case studies, simulations, etc.) to facilitate students' learning

4.50 0.65 14

3 Used interdisciplinary approaches to the subject matter 4.43 0.94 14

3 Required students to work together on projects outside of class

4.43 0.65 14

5 Emphasized making judgments about the value of information

4.36 0.63 14

6 Emphasized synthesizing information and organizing ideas

4.29 0.73 14

6 Emphasized applying theories or concepts 4.29 0.73 14

Staff Perception of Pedagogy for GE Courses 

12 pedagogical approaches M SD N

8 Addressed complex issues or topics where answers are ambiguous  

4.00 0.68 14

8 Required students to work together on project during class  

4.00 0.88 14

10 Emphasized analyzing basic elements of an idea or theory  

3.86 0.95 14

11 Emphasized memorizing facts, ideas or methods 3.79 0.70 14

12 Used traditional lectures as the primary mode of instruction

3.43 1.09 14

Comparison of Staff and Students Perception of Cognitive Learning

P < 0. 01 ** P > 0.05

Comparison of Staff and Students Perception of Cognitive Learning

P <0.01 ** P >0.05

Comparison of Staff and Students Perception of Teaching and Learning Activities

P <0.01 ** 

Comparison of Staff and Students Perception of Teaching and Learning Activities

P < 0. 01 ** P > 0.05

• Cognitive learning:o Memorizing facts, applying theorieso Making judgmentso Synthesizing informationo Addressing complex issueso Analyzing basic elements of theory

• Teaching and learning activities:o Relating the course material to modern human experienceo Interdisciplinary approacheso Using active learning approaches, team work inside class and outside of class

o Using traditional lecturers

Summary Findings

Index

Decreasing p< 0.05

Decreasing, p> 0.05 

Increasing, p> 0.05

44

Summary

• In general, students perceived experiences of achieving the nine ILOs were lower than their initial expectations, and lower than staff perception.

• In general, students did not perceive staff using pedagogical approach to help them to develop higher level of learning  as staff perceived.