Sneak Peek into the courseware development model built for teachers at CUHK for enhancing teaching and learning

eLFA 2016@ Shanghai  2016.06‐13‐15

Background• Our Team

– eLearning Team, Academic Support Division, Information Technology Service Center, The Chinese University of Hong Kong

• Our Service– Provide Consultation, Courseware Development, Facilities and Equipment Rental Services, etc.

• Project Title– Development of a practical model to support teachers at CUHK to create courseware for enhancing teaching & learning

• Project nature– 50% Research vs 50% Practical

• History– CUHK started eLearning Courseware Development (CD) since 1990

• Difficulties – Past courseware is difficult to maintain or update– Long Development Time, etc.

• Challenges – New Pedagogy & Change: MOOC, Flipped Classroom, Mobile Learning, etc.

The Model• Tackle current problems• Based on the existingmodelsa. Bloom’s Taxonomy  Identify the learning goal

b. Dick & Carey Model Courseware 

Development and Evaluation

• Flexible and Adaptive• Easy to follow• Practical

Bloom’s Taxonomy CreatingEvaluatingAnalyzingApplying

UnderstandingRemembering

Dick & Carey Model

IdentifyInstructional 

Goal

WritePerformanceObjectives

DevelopCriterion

Referenced Tests

DevelopInstructional Strategy

Develop & Select 

Instructional Materials

Develop& ConductFormativeEvaluation

ConductInstructional Analysis

IdentifyEntry

Behaviors

Develop& ConductSummativeEvaluation

ReviseInstruction

Project Timeline

Phase 1 (Aug 2014 ‐ )

•Existing CD practice review•Literature Review •Both H/W and S/W Tool Selection•Call of Tool Pilot

Phase 2(Oct 2014 ‐ Feb 2016)

•Monitoring on‐going project•Courseware development and tool consultation•Courseware development support service•Pilot run on Model

Phase 3(Feb – Apr 2016)

•Tool Evaluation (Interview w/ pilot users)

Phase 4(Apr – Jun 2016)

•Training and promotion of selected tools•Model and workflow promotion

Existing Courseware Development Practice Review

1. Interview with eLearning Development Team

2. Prepare a survey for all teaching staffs (electronic)

‐ Lots of valuable inputs‐ Focusing on sharing of past CD project development experiences working with teachers

Phase 1 (Aug 14 ‐ )

Phase  2

Phase  3

Phase  4

‐ FAILED as very low response

Failed to directly collect data from teachers

Phase 1 (Aug 14 ‐ )

Phase  2

Phase  3

Phase  4

Call for H/W & S/W Tool Pilot

Phase 1 (Aug 14 ‐ )

Phase  2

Phase  3

Phase  4

Time                                                                         EffortTool Selection

Tool Selection

Achieve Learning outcome

Achieve Learning outcome

LearnLearnUseUse

3 “easy‐to” Criteria

For both hardware and software

Phase 1 (Aug 14 ‐ )

Phase  2

Phase  3

Phase  4

3 Major Support Areas

Pilot Users

Tools

Knowledge

Resources

Phase 1 (Aug 14 ‐ )

Phase  2

Phase  3

Phase  4

Input from teachers (e.g. needs and problems) collected directly through: 

• Tool introduction briefing sessions• Face‐to‐face consultation (before project start)• Status review meetings 

(during development)• Project review meeting (after completion)

?

?

ii

?

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

Problems Identified• Lengthy development• Big • Difficult to maintain/update• Huge demand on teachers’ 

devotion and commitment• Gap – teachers’ perception 

vs students’ actual needs

• Inefficient communication b/w production team and teachers

• Lack of Instructional design advice

• Lack of guidance for resource estimation

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

?

Model Revisit (1)• Modularization

– Break it small– Easier to maintain & update, flexible to re‐sequence and fit actual learners’ needs

• Agile Software Development– Use agile methodology to speed up development

• Devise formula for resource estimation 

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

New Model ‐but, is it feasible?

Draft Model of Courseware Development in CUHK (Date: Sep, 2014 )

Problems Revisit (1)• Lengthy development• Big • Difficult to maintain/update• Much Huge demand on 

teachers’ devotion and commitment

• Gap – teachers’ perception vs students’ actual needs?

• Huge demand on Inefficient communication b/w production team and teachers

• Still Lack of Instructional design advice

• Lack of guidance for resource estimation

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

?

Model Revisit (2)

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

Characteristic of Courseware Development for CUHK (Date: Oct, 2014 )

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

Draft Model of Courseware Development for CUHK (Date: Oct, 2014 )

Model Revisit (2)

Problems Revisit (2)• Lengthy development• Big • Easier Difficult to 

maintain/update• Much Huge  Demand on 

teachers’ devotion and commitment

• Gap – teachers’ perception vs students’ actual needs

• Less Huge demand on communication b/w production team and teachers

• Capable of providing Still Lack of  instructional design advice

• Capable of providing Lack ofguidance for resource estimation

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

?

Additional Challenges• CUHK 2016 – 2020 Strategy• MOOC• Flipped Classroom• Mobile Learning, etc.

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

Additional Challenges (1)• Elearning‐wide

– Call for Micro‐module (微單元, a.k.a. Micro‐learning) Courseware Development Proposal to support flipped classroom

• Our Team provides support, consultation and promotion

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

http://www.cuhk.edu.hk/eLearning/vod/web/mmvideo.htm

Additional Challenges (2)• ELearning‐wide

– Establish Center for eLearning Innovation and Technology (a.k.a. ELITE) on 21 Feb, 2016

• To support Micro‐modules Courseware Development• Our Team assisted the establishment, preparation work and equipment advice

http://www.cuhk.edu.hk/clear/elite/

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

About ELITE Facilities• Self‐recoding Studio• Chroma‐key Studio• Multi‐purposes Open Area

– Preparation, attend training/ consultation and post‐production.

• Interactive Digital Whiteboard

Services• Audio Recording• Video Recording• Media Post‐production• Instructional design 

consultation 

Operated by The Centre for Learning Enhancement And Research (CLEAR)

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

Model Revisit (3)

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

Draft of Characteristic of Courseware Development Model (Date: Feb, 2015 )

Legend

Learners Teachers InstructionalDesigners

CoursewareDevelopers

MultimediaDesigners

Problems Revisit (3)• Shorten Lengthy development• Big • Easier Difficult to maintain/update• Much Huge  Demand on teachers’ 

devotion and commitment (But, teachers can decide how to devote on development, but can’t skip at the beginning of development)

• Shorten the gap – teachers’ perception vs students’ actual needs

• Less Huge demand on communication b/w production team and teachers

• + Easy to collaborate with production team

• Capable of providing Still Lack of instructional design advice

• Capable of providing Lack ofguidance for resource estimation

Phase  3

Phase  4

Phase 2 (Oct 14 – Feb 16 )

Phase  1

?

Courseware Development Model for CUHK

Draft Model of Courseware Development for CUHK (Date: Dec, 2015 )

Phase  2

Phase  3

Phase 4 (Apr – Jun 16 )

Phase  1

It’s not about the tools, It’s all about idea, workflow & process

Current Status• The model

– Not finalized yet– Continuous review and improvement of CD process– Flexible and Adaptive

This is a starting & Not the end

Way Forward• Our plan is to

– Promote the model to our teachers at CUHK– Keep finding good tools– Recruit pilot users– Provide training – Fine tune our model

Phase  2

Phase  3

Phase 4 (Apr – Jun 16 )

Phase  1 Future

Additional take‐away (1)

Some Our Works

Storyboard  vs Final Product

Storyboard  vs Final Product

Storyboard vs Final Product

Storyboard vs Final Product

Additional take‐away (2)

Feedback from teachers

Feedback from Tools Evaluation • Total 18 interview invitations are sent• 12 teachers or staffs accept our interview

Phase  2

Phase  4

Phase 3(Feb – Apr 16 )

Phase  1

Tool ID Avg. Score(Max.: 5)

H1 4.70

H2 3.34

H3 4.00

H4 2.75

Tool ID Avg. Score(Max.: 5)

S1 3.91

S2 4.00

Some Quotes from Interviews• Did the tools (S1) help your courseware development? How do they 

help?– Yes. Video Editing is good. User Interface is simple. Screen Capture is easy and 

quick, even though I didn’t have any video editing experience, I can pick up the technique very quickly.

• Do you have any other feedback related to the tools (S1) that you would like to share with us?– Software introductory course or workshop is highly‐recommended– Training course may help me to get use of other features of the tools

Phase  2

Phase  4

Phase 3(Feb – Apr 16 )

Phase  1

Case Sharing by teachers • In the first semester, the length of Micro‐Module videos is about 15 mins for 

Year 3 and 4 students. They watched videos at home and discussed in class (Flipped classroom) but very poor feedback from my course evaluation

• In my second attempt (2nd Sem.), I trimmed down the length of videos to 5‐10 mins for mainly Year 1 and 2 students

• I taught more advanced knowledges on class and showed how I can apply those taught theories (in real life) as well

• I also used online animation software to create a teacher character to guide the learners via the video lecture and illustrated the ideas with Cantonese narration

• Since I used a lot of animations and images to illustrate the knowledge and got good feedback from Course Evaluation 

Phase  2

Phase  4

Phase 3(Feb – Apr 16 )

Phase  1

Case Sharing by teachers • Generally, I need around a week to prepare content from the current society or worldwide issues, four days to complete the animation and two days for video editing and production for a 6‐10 min micro‐module video.

• Total: 5 + 4 + 2 = 11 days

Phase  2

Phase  4

Phase 3(Feb – Apr 16 )

Phase  1

Q&A?

?

?

How to get feedback from teachers?

• Good Timing• Cordial and relaxed way

– Face‐to‐face session, 

• Know their desire and let them to share 

Other Tools or Skills (Non‐H/W nor S/W)• Round Table‐Read for voice recording• Storyboard for video lecture and interactive courseware 

development• Video recording techniques and tricks• Simple Calculation for Courseware Development

– (Moseley, Sue and Valverde, Raul (2014) A Cost Model for E‐learning projects in the United Kingdom. International Journal of Digital Accounting Research, 14 . pp. 93‐116. ISSN ISSN: 2340 ‐ 5058)

• Interaction and Levels Selector– Levels of Interactivity in Best Practices in Instructional Design for Web‐based Training by LearningLink, the department of labor’s (US) portal

• Evaluation Selector– Kirkpatrick model of training evaluation 

Phase  2

Phase  3

Phase 4 (Apr – Jun 16 )

Phase  1

Levels of Interactivity

Phase  2

Phase  3

Phase 4 (Apr – Jun 16 )

Phase  1

Storyboard for Video Lecture and Interactive Courseware Development 

Phase  2

Phase  3

Phase 4 (Apr – Jun 16 )

Phase  1

Simple Calculation for Courseware Development

Phase  2

Phase  3

Phase 4 (Apr – Jun 16 )

Phase  1

Media in the Courseware AmountNumber of screens (X1)Images (X2)Audio clips (X3)Interactions (X4)Animations (X5)Video (X6)

Formula of calculating the number of man days by Regression Model= 32.13‐0.07 *(X1) + 0.26*( X2) + 0.13*( X3) ‐ 0.03*( X4) + 0.86*( X5) ‐ 7.81*( X6)

Moseley, Sue and Valverde, Raul (2014)

Comparison of Calculation Accuracy

Phase  2

Phase  3

Phase 4 (Apr – Jun 16 )

Phase  1