OECD 국제 학업성취도 평가 연구: PISA 2018 예비검사 시행 기반 구축

OECD 국제

학업성취도 평가 연구:

PISA 2018 예비검사

시행 기반 구축

연구책임자 구자옥

공동연구자 김성숙 / 이혜원 / 조성민 / 박혜영

연구보고 RRE 2016-2-1

OECD 국제 학업성취도 평가 연구:

PISA 2018 예비검사 시행 기반 구축

연구보고 RRE 2016-2-1

발행일

발행인

발행처

주 소

전 화

팩 스

홈페이지

인쇄업체

I S B N

2016년 12월 31일

김 영 수

한국교육과정평가원

서울 중구 정동길 21-15 정동빌딩

(02)3704-3704

(02)730-7487

http://www.kice.re.kr

경일칼라콤(02-2265-8774)

979-11-5788-316-5 94370

979-11-5788-315-8 94370 (전2권)

※ 본 자료 내용의 무단 복제를 금함

본 연구에서 제시된 정책 대안이나 의견 등은 한국교육과정평가원의

공식적인 의견이 아닌 본 연구진의 견해임을 밝혀 둡니다.

i

강성철 (교육부)

구남욱 (KICE)

구영산 (충남대)

권성필 (KICE)

김다원 (광주교대)

김민아 (경복고)

김신실 (전주 서곡중)

김완수 (KICE)

김준엽 (홍익대)

김지연 (명지대)

김지연 (청주 중앙여고)

김행연 (청량고)

김형렬 (서울대)

김혜령 (성신여대)

김효정 (UNESCO APCEIU)

남호엽 (서울교대)

류진원 (간재울중)

문성빈 (한국교육개발원)

박정효 (건국대)

박찬호 (계명대)

서민희 (KICE)

설규주 (경인교대)

송미영 (KICE)

옥현진 (이화여대)

유삼목 (교육부)

유원호 (서강대)

윤천탁 (한국교원대)

이민형 (서일중)

이봉민 (한국방송통신대)

이소연 (KICE)

이인화 (KICE)

이정우 (KICE)

이지영 (세종대)

이창우 (고양국제고)

이현숙 (건국대)

이희경 (고려대)

임효진 (서울교대)

장의선 (KICE)

장혜진 (고려대)

전경희 (강남대)

정혜경 (KICE)

정혜덕 (전 한국어교육문화재단)

정혜승 (경인교대)

조은진 (신림고)

하영우 (카이스트)

허혜정 (교육부)

Martyn Barret (영국 서리대)

(이상 가나다 순)

연구협력진

iii

OECD(Organization for Economic Cooperation & Development)가 주관하는

PISA(Programme for International Student Assessment, 이하 PISA) 연구는만 15세학

생을대상으로미래사회시민이갖추어야할역량을점검하기위해수행되며, 분석된결과

는 각국의 교육 정책 수립을 위한 기초 자료로 활용되고 있습니다.

디지털시대를맞이하여PISA 2018에서는컴퓨터매체환경에서의읽기, 수학, 과학소

양에대한평가와함께, 혁신영역으로신규도입된글로벌역량에대한평가가이루어집니

다. 본보고서는PISA 2018 본검사에앞서2017년시행예정인예비검사수행을위한기반

구축의세부과정과함께, 연구과정에서얻은성과와경험을토대로우리나라읽기, 수학,

과학 교육개선을위한 정책 방향과 예비검사의 성공적 시행을 위한다양한지원 방안을

제시하였습니다. PISA 2018 주영역인읽기에서는디지털시대의성숙한민주시민이갖추

어야할디지털읽기역량을타당하게평가하기위해새로운평가틀과문항을개발하였으

며, 혁신영역인글로벌역량에서는문화적다양성에대한존중을바탕으로세계시민들과

효과적으로 상호작용할 수 있는 학생들의 역량을 평가하는 데 중점을 두었습니다. 또한

수학과과학영역에서는기존의문항을활용하여학생들의역량변화의추이를점검하며,

학생 및 학교와 교사, 학부모 설문 조사를 통해 학생들의 성취를 심층적으로 설명할 수

있는 다양한 자료를 수집하고 분석할 예정입니다.

연구팀이제안한예비검사의 안정적 시행 방안과 함께, 디지털 시대의 읽기‧쓰기 역량

강화를 위한기초 연구활성화및글로벌역량 교육강화를위한정책, PISA의선진화된

ICT 평가 체제에 대한 비판적 도입에 대한 제언들은 우리나라 교육의 질적 제고를 위한

의미있는시사점을줄수있을것입니다. PISA연구수행을적극적으로지원해주신교육

부, 시‧도 교육청 관계자, 학교장, 교사, 그리고 연구 협력진께 진심 어린 감사의 말씀을

드리며, 쉽지 않은 여건 속에서도 연구를 성실히 수행하신 연구진의 노고를 치하합니다.

2016년 12월

한국교육과정평가원

원장

머리말

v

PISA는미래시민이갖추어야할기본적인소양을평가하는역량중심의국제학업성취

도 평가로서 만 15세 학생을 대상으로 3년마다 시행되며 현재 70개국 이상이 참여하고

있다. PISA 검사도구는학생들의인지적성취를측정하는평가문항뿐아니라학생들의

성취에 영향을 미칠 수 있는 교육맥락변인 특성을 묻는 설문 문항을 포함하고 있으므로

PISA 결과는 참여국 학생들의 인지적 영역에 대한 성취 특성 및 성취에 영향을 미치는

여러가지교육맥락변인의영향력에대한정보를제공해준다. 각국의정부는PISA결과를

활용하여자국의교육성과를국제적수준에서비교하고증거기반교육정책수립의중요

한 기초 자료로 활용하고 있다.

본 연구의 목적은 PISA 2018 본검사 시행에 앞서 2017년에 시행될 예정인 PISA 2018

예비검사의안정적시행을위한기반을구축하고, 이과정에서얻은연구성과와경험을

바탕으로우리나라교육개선을위한정책을제언하는것이다. 즉, PISA 2018 예비검사의

인지적평가영역인읽기, 수학, 과학, 글로벌역량영역의평가틀을분석하고, 국제본부와

의협력을통해영역별문항의출제, 번역, 검증작업을수행하며예비검사시행에참여할

학교와학생에대한표본설계및표집을수행하였다. 또한역량중심의선진적PISA평가

체제에서우리나라교육평가체제향상에도움을줄수있는요소를파악하여국내대규모

평가의 시행에 도입하는 방안을 마련하였다.

PISA 2018 예비검사 시행 기반을 구축하기 위해 본 연구팀은 선행연구에 대한 문헌

분석, 시행 관련 문서에 대한 국내 검토, 영역별 평가틀 검토 및 문항 번역 작업을 위한

전문가협의회개최, 문항번역및설문문항검토를위한워크숍개최, PISA 2018 예비검사

읽기 새 문항과 글로벌 역량 파일럿 문항 개발, NPM 회의 및 PGB 회의, 웨비나 참여

등의 연구 활동을 하였다.

PISA 영역별소양에대한정의와평가틀을분석한결과, PISA 2018의주영역인읽기에

서는 디지털 매체 환경에서의 학생들의 읽기 역량을 중점적으로 평가하며, 이번 주기에

연구요약

vi

신설된 글로벌 역량에서는 세계 민주 시민으로서 갖추어야 할 역량을 평가하는 것으로

파악되었다. 보조영역인수학과과학에서는이전주기의평가틀을바탕으로학생들의성

취도추이를점검하게된다. 교육맥락변인조사를위한설문은학생들의성취특성을심층

적으로 설명하고자 학생 설문, 학교 설문, 교사 설문 및 학부모 설문을 포함하고 있으며,

주영역인 읽기와 신설 영역인 글로벌 역량에 관한 설문 문항이 추가된 것이 특징이다.

PISA 2018 예비검사 평가도구는 읽기·수학·과학 영역에서 각각 6개의 추이 문항군과

주영역인읽기영역의새문항군12개를합하여모두30개의문항군으로구성되며130개의

단위문항과528개의하위문항을포함한다. 한편교육맥락변인에관한정보를수집하고비

인지적영역의성과를파악하기위해95개의문항으로구성된2종의학생설문, 34개문항

의 학교 설문, 18개 문항의 교육경험 설문, 17개 문항의 ICT 설문, 46개 문항의 학부모

설문, 63개문항으로구성된2종의교사설문이사용된다. 설문문항은PISA 2018 교육맥락

변인조사를위한설문모듈을기반으로개발되었고, 주영역인읽기와더불어글로벌역량

관련 내용이 중점적으로 보강되었다.

PISA 2018 예비검사평가도구개발, 검토, 번역과관련하여참여국과국제본부의협업을

통해서개발된318개의읽기문항에대해세차례의검토가이루어졌으며, 문항타당도와

완성도를높이기위한의견이국제본부에제출되었다. PISA 2018 예비검사읽기번역및

번안은XLIFF 번역파일과문항번안양식(TAS)을중심으로국제본부와의협의를통해

이루어졌다. 글로벌역량은 PISA 2018 예비검사에서제외되고별도의글로벌역량파일럿

이시행됨에따라새로운평가도구가개발되었다. 우리나라는글로벌역량파일럿평가도

구개발에참여하였으며, 글로벌역량이다양한요소를포함하는복합적이며다학문적영

역임을 고려하여 10세트를 개발하였다. 또한 글로벌 역량 검토 업무는 첫째, 우리나라가

개발한10세트에대해국제본부에서수정한사항에대한재검토와둘째, 다른개발국에서

제출한 두 개 묶음(Batch 1, 2)에 대한 검토였으며, 검토 과정에는 읽기 영역에서와 같은

원칙을 적용하였다. 교육맥락변인에대한검토는그동안 설문조사에서사용되었던추이

문항 이외에도 새로 개발된 읽기와 글로벌 역량 설문 문항에 대해서도 진행되었으며, 본

연구팀은국가교육체제에적합한정도, 설문대상자의적합성, 문화적혹은인종적민감성,

번역상의 문제 등을 고려한 검토 결과를 국제본부에 제출하였다. 설문 조사 도구의 번역

및 검증은 참여국, DIPF, cApStAn, ETS에 의해 진행되었다.

vii

국제본부에서제공하는표준화된기준에따라PISA 2018 예비검사시기를2017년 5월로

정하였으며표집에는 이전 주기와 동일하게 2단계 비례층화표집설계를 적용하였다. 즉

첫번째단계에서는학교를, 두번째단계에서는해당학교내학생을표집하였으며층화

변인(stratification variable)은세가지요소, 즉학교급, 계열, 도시화(지역규모)를고려하

여추출하였다. 또한국제본부에서제시한세가지유형의표집설계중 40개학교와최소

학생수45명에해당하는 ‘설계 2’를선택하였고, 평가율을고려하여학교별목표군집크기

(TCS)를 48명으로정하였다. 층화변인에따른최종표집대상모집단의학교수비율에

따라표집학교가선정되었으며KeyQuest 프로그램을사용하여총1,920명학생이추출될

예정이다.

본 연구에서는 PISA 2018에 나타난 특징적인 변화를 중심으로 우리나라 평가 개선을

위한정책추진방향을크게네가지로제시하고, 각추진방향별로정책제언과실행전략

을 다음과 같이 제시하였다.

첫째, 주영역인읽기와관련하여 ‘컴퓨터기반다문서읽기및자료통합형쓰기교육을

통한디지털시대의읽기·쓰기역량강화’를정책추진방향으로정하고, ‘컴퓨터기반다문

서읽기및자료통합형쓰기의학교교육실행을위한기초연구를활성화’와 ‘실생활과제

수행을위한시나리오기반읽기·쓰기연계교육프로그램을개발하고웹사이트를구축’하

는 정책을 제언하였다. 이를 위한 실행 전략으로 ‘학교급별 연계를 고려한 다문서 읽기

교육의내용구안’, ‘컴퓨터기반의자료통합형쓰기를학교교육에도입’, ‘실생활과제수행

을위한시나리오기반읽기·쓰기연계교육프로그램개발’, ‘관련수업사례공유및소통

을 위한 웹사이트 구축 방안’을 제시하였다.

둘째, 신설된혁신영역인글로벌역량영역과관련하여 ‘미래사회대비를위한글로벌

역량교육강화’를정책추진방향으로정하고, ‘교육 2030 대비를위한거시적‧장기적차원

의글로벌역량교육정책수립’과 ‘학교현장의글로벌역량교육활성화·내실화를위한실

제적 교수학습 방법을 구안’할 것을 제언하였다. 이를 위한 실행 전략으로 ‘글로벌 역량

교육정책협의체운영’, ‘글로벌역량관련문헌적, 실증적, 경험적연구수행’, ‘글로벌역량

교육 지원을 위한 TF 운영’, ‘교사 공동체 기반의 온라인 교사 연수 실시’를 제시하였다.

viii

셋째, 컴퓨터기반평가의적용과관련하여 ‘ICT를활용한국내대규모평가체제의선진

화’를정책추진방향으로정하고, ‘대규모학업성취도평가에서 ICT 기반평가 시스템을

도입하여학교급의교육성과를파악’하는것과 ‘ICT를활용하여문항출제과정의효율성

과안정성을제고’하는정책을제언하였다. 이를위한실행전략으로 ‘복합적능력과수행기

술을 파악하기 위한 평가문항 제시 방법의 전환’, ‘행렬표집설계 도입 및 자동 검사배정

방법의 적용’, ‘서답형 문항 채점과 점수 산출 과정의 자동화 구현’, ‘온라인 포탈 구축 및

운영’, ‘비 색인어 검색이 가능한 기출 문항 검색 시스템의 도입’을 제시하였다.

마지막으로, 내년에시행될PISA 2018 예비검사의성공적시행과관련하여 ‘제도적·인적

지원강화를통한PISA시행의안정성확보’를정책추진방향으로정하고, ‘국제학업성취

도평가관련이해도를제고하고전문인력을확보’하는것과 ‘표집학교의 ICT 관련정보

수집을위한법을개정하고표집학교에대한지원을강화’, ‘PISA 2018 혁신적영역평가에

대비 및 주도적 역할을 수행하기 위한 체제를 구축’하는 정책을 제언하였다. 이를 위한

실행전략으로 ‘국제학업성취도평가담당연구사및장학사대상PISA워크숍의정례화’,

‘국제 학업성취도 평가 관련 교사 직무 연수 과정 개설 및 운영’, ‘표집 학교의 ICT 관련

정보의안정적수집을위한 ‘교육관련기관의정보공개에관한특례법시행령’ 개정’, ‘표집

학교에 대한 지원 강화’, ‘지속적 변화에 대비하기 위한 국제본부 및 참여국과의 긴밀한

협력관계유지’, ‘우리나라의 위상과역할제고를위한국내 PISA 연구팀내 혁신적영역

전담 연구원 확보 및 전문가 인력풀 확대 방안’을 제시하였다.

ix

Ⅰ 서론 ················································································································· 1

1. 연구의 필요성 및 목적·······························································································3

2. PISA 2018 연구 일정 및 추진 체계··········································································· 6

3. 연구 내용····················································································································8

가. PISA 2018 예비검사 도구 개발············································································ 8

나. PISA 2018 예비검사 시행 설계············································································ 8

4. 연구 방법····················································································································9

가. 문헌연구················································································································9

나. 전문가 협의회·······································································································9

다. 글로벌 역량 문항 개발 워킹그룹 구성 및 운영················································· 10

라. 워크숍·················································································································· 10

마. 국제본부 및 국내‧외 유관기관과의 협력··························································· 11

Ⅱ PISA 2018 평가틀 ························································································ 13

1. PISA 개관·················································································································· 15

2. PISA 2018 평가틀····································································································· 18

가. 읽기····················································································································· 18

나. 수학····················································································································· 24

다. 과학····················································································································· 29

라. 글로벌 역량········································································································· 33

마. 교육맥락변인······································································································· 40

3. PISA 2018 문항 특성································································································ 46

가. 새 문항················································································································ 46

나. 추이 문항············································································································ 49

Ⅲ PISA 2018 예비검사 평가도구 설계 및 구성 ··············································· 51

1. PISA 2018 예비검사 평가도구 설계········································································· 53

2. PISA 2018 예비검사 평가도구 구성········································································· 55

가. 읽기····················································································································· 55

차례

x

나. 수학····················································································································· 65

다. 과학····················································································································· 69

라. 글로벌 역량········································································································· 75

마. 교육맥락변인······································································································· 78

Ⅳ PISA 2018 예비검사 평가도구 개발, 검토 및 번역 ····································· 85

1. PISA 2018 예비검사 평가도구 개발········································································· 87

가. 읽기 평가도구 개발····························································································· 87

나. 글로벌 역량 평가도구 개발················································································ 88

2. PISA 2018 예비검사 평가도구 검토········································································· 96

가. 읽기 평가도구 검토····························································································· 96

나. 글로벌 역량 평가도구 검토················································································ 97

다. 교육맥락변인······································································································· 99

3. PISA 2018 예비검사 평가도구 번역········································································ 100

가. 읽기 평가도구 번역 및 검증············································································· 101

나. 글로벌 역량 평가도구 번역··············································································· 102

다. 설문 조사 도구 번역 및 검증··········································································· 102

라. 평가도구 제작 및 확정······················································································ 106

Ⅴ PISA 2018 예비검사 표집 ·········································································· 109

1. 예비검사 표본 설계································································································· 111

가. 모집단 정의······································································································· 112

나. 학교 및 학생 표집 설계방법············································································· 114

다. 표본 설계와 목표 표본 크기의 결정································································ 117

2. 학교 표본의 추출···································································································· 119

가. 예비검사를 위한 모집단 결정··········································································· 119

나. 학교 표집틀의 작성··························································································· 122

다. 학교 표본 할당 및 표집 학교 선정·································································· 123

Ⅵ 결론 및 정책 제언 ······················································································ 127

1. 요약 및 결론··········································································································· 129

2. 정책 제언················································································································· 132

3. 장단기 추진 계획 및 기대효과··············································································· 172

xi

∙ 참고문헌 ········································································································· 175

∙ ABSTRACT ··································································································· 187

∙ 부록 ················································································································ 191

[부록 1] 읽기 문항 검토 결과 제출 양식···································································· 193

[부록 2] 읽기 문항 개발에 대한 국제본부 지침························································· 194

[부록 3] 번역 일관성 검토를 위한 국제본부 제출 양식············································· 195

[부록 4] MemoryLn 사용법··························································································· 197

[부록 5] 문항 풀이 방법 안내····················································································· 199

[부록 6] 문항 번안 양식(TAS) ······················································································ 202

[부록 7] 설문 번안 양식(QAS) ····················································································· 203

xiii

<표 Ⅰ-1> PISA 2018의 연차별 연구 일정·············································································7

<표 Ⅱ-1> PISA 주기에 따른 평가 영역과 설문 대상의 변화············································· 15

<표 Ⅱ-2> PISA 주기별 읽기 평가틀 비교··········································································· 20

<표 Ⅱ-3> PISA 2018 성취수준별 과제 특성········································································ 23

<표 Ⅱ-4> PISA 2018 수학 영역의 평가틀··········································································· 26

<표 Ⅱ-5> ‘수학적 과정’과 ‘기본 수학 능력’ 사이의 관계···················································· 27

<표 Ⅱ-6> 수학 평가틀 ‘수학적 내용’의 하위요소와 세부 내용··········································· 28

<표 Ⅱ-7> 수학 평가틀 ‘맥락’의 하위요소와 세부 내용······················································· 29

<표 Ⅱ-8> 과학 평가틀 ‘맥락’의 하위요소와 세부 내용······················································· 30

<표 Ⅱ-9> 과학 평가틀 ‘역량’의 하위요소와 세부 내용······················································· 31

<표 Ⅱ-10> 과학 평가틀 ‘지식’의 하위요소와 세부 내용····················································· 32

<표 Ⅱ-11> 글로벌 역량 인지 능력별 수준 및 비중···························································· 40

<표 Ⅱ-12> 글로벌 역량 시나리오의 복잡성 수준, 인지 영역의 복잡성, 비중···················· 40

<표 Ⅱ-13> PISA 2018 교육맥락변인 설문별 모듈 구성 및 구인 설명······························· 45

<표 Ⅲ-1> PISA 2018 영역별 문항군 수··············································································· 54

<표 Ⅲ-2> PISA 2018 예비검사 영역별 문항 구성······························································· 54

<표 Ⅲ-3> PISA 2018 예비검사 읽기 추이 문항 구성·························································· 55

<표 Ⅲ-4> PISA 2018 예비검사 읽기 새 문항 구성····························································· 56

<표 Ⅲ-5> PISA 2018 예비검사 읽기 영역 새 문항 정보····················································· 56

<표 Ⅲ-6> 읽기 상황에 따른 PISA 2018 예비검사 읽기 영역 문항 분포···························· 62

<표 Ⅲ-7> 텍스트 체재에 따른 PISA 2018 예비검사 읽기 영역 문항 분포························ 63

<표 Ⅲ-8> 텍스트 유형에 따른 PISA 2018 예비검사 읽기 영역 문항 분포························ 63

<표 Ⅲ-9> 읽기 과정에 따른 PISA 2018 예비검사 읽기 영역 문항 분포···························· 64

<표 Ⅲ-10> 문항 유형에 따른 PISA 2018 예비검사 읽기 영역 문항 분포·························· 64

<표 Ⅲ-11> PISA 2018 예비검사 수학 추이 문항 구성························································ 65

<표 Ⅲ-12> PISA 2018 예비검사 수학 영역 문항 정보························································ 66

<표 Ⅲ-13> 맥락에 따른 PISA 2018 예비검사 수학 영역 문항 분포··································· 67

<표 Ⅲ-14> 수학적 내용에 따른 PISA 2018 예비검사 수학 영역 문항 분포······················· 68

<표 Ⅲ-15> 수학적 과정에 따른 PISA 2018 예비검사 수학 영역 문항 분포······················· 68

<표 Ⅲ-16> 문항 유형에 따른 PISA 2018 예비검사 수학 영역 문항 분포·························· 69

<표 Ⅲ-17> PISA 2018 예비검사 과학 추이 문항 구성························································ 69

표 차례

xiv

<표 Ⅲ-18> PISA 2018 예비검사 과학 영역 문항 정보························································ 70

<표 Ⅲ-19> 맥락에 따른 PISA 2018 예비검사 과학 영역 문항 분포··································· 73

<표 Ⅲ-20> 역량에 따른 PISA 2018 예비검사 과학 영역 문항 분포··································· 73

<표 Ⅲ-21> 지식에 따른 PISA 2018 예비검사 과학 영역 문항 분포··································· 74

<표 Ⅲ-22> 계에 따른 PISA 2018 예비검사 과학 영역 문항 분포······································ 74

<표 Ⅲ-23> 문항 유형에 따른 PISA 2018 예비검사 과학 영역 문항 분포·························· 75

<표 Ⅲ-24> 글로벌 역량 파일럿 시나리오의 내용 영역······················································· 76

<표 Ⅲ-25> 글로벌 역량 파일럿 시나리오의 주제································································ 76

<표 Ⅲ-26> PISA 2018 예비검사 설문 유형별 문항 구성····················································· 78

<표 Ⅲ-27> PISA 2018 예비검사 학생 설문의 내용····························································· 79

<표 Ⅲ-28> PISA 2018 예비검사 ICT 설문의 내용······························································· 80

<표 Ⅲ-29> PISA 2018 예비검사 교육경험 설문의 내용······················································ 81

<표 Ⅲ-30> PISA 2018 예비검사 학교 설문의 내용····························································· 81

<표 Ⅲ-31> PISA 2018 예비검사 교사 설문의 내용····························································· 82

<표 Ⅲ-32> PISA 2018 예비검사 학부모 설문의 내용·························································· 83

<표 Ⅳ-1> PISA 2018 읽기 개발 문항의 제출 일정 및 참여국 수······································ 88

<표 Ⅳ-2> PISA 2018 글로벌 역량 파일럿 일정··································································· 90

<표 Ⅳ-3> 글로벌 역량 평가도구 세트별 영역, 지문 수, 문항 수 및 활용 자료················ 93

<표 Ⅳ-4> 글로벌 역량 시나리오와 문항 정보 양식···························································· 94

<표 Ⅳ-5> PISA 2018 예비검사 읽기 문항에 대한 검토 일정 및 결과······························· 96

<표 Ⅳ-6> PISA 2018 예비검사 설문 조사 문항에 대한 검토 결과··································· 100

<표 Ⅳ-7> 번안 및 번역의 수정 내용 예시········································································ 105

<표 Ⅳ-8> 우리나라의 다문화 학생 현황············································································ 106

<표 Ⅳ-9> PISA 2018 읽기 평가도구 제작 일정································································· 107

<표 Ⅳ-10> PISA 2018 설문 조사 도구 제작 일정····························································· 107

<표 Ⅴ-1> PISA 2018 예비검사 표집 설계 및 표집 일정··················································· 111

<표 Ⅴ-2> 검사 시기와 모집단의 생년월일 범위································································ 113

<표 Ⅴ-3> PISA 2018 예비검사의 표본 설계······································································ 115

<표 Ⅴ-4> PISA 2018 예비검사의 층화 변인······································································ 115

<표 Ⅴ-5> ISCED 2단계 및 3단계의 1997, 2011 변경사항 대비표····································· 116

<표 Ⅴ-6> 국제본부가 제안한 PISA 2018 예비검사 표본 설계안······································ 117

<표Ⅴ-7> PISA 2018 예비검사의목표표본크기(TCS) 및표집학교당최종학생수(.95 평가율

적용) ··················································································································· 119

<표 Ⅴ-8> 우리나라 만 15세 학생들의 학교급별 분포 (2015년 기준) ································ 120

<표 Ⅴ-9> PISA 2018 예비검사 대상 모집단 내 제외 학생 비율······································ 121

xv

<표 Ⅴ-10> 우리나라 만 15세 학생들의 학교급별 분포 (2015년 기준) ······························ 122

<표 Ⅴ-11> PISA 2018 예비검사 학교 표집틀 예시···························································· 122

<표 Ⅴ-12> PISA 2018 예비검사 학교 표집틀의 층화 변인별 분포··································· 123

<표 Ⅴ-13> PISA 2018 예비검사를 위한 층화 변인별 표집 학교 수(안) ···························· 124

<표 Ⅴ-14> PISA 2018 예비검사를 위한 시‧도별 표집 학교 수(안) ··································· 124

<표 Ⅵ-1> 다문서 읽기 관점에서 본 읽기 교육 연구 방향················································ 137

<표 Ⅵ-2> PISA 2015와 PISA 2018 예비검사 표집설계 변화············································· 156

<표 Ⅵ-3> 글로벌 역량 파일럿을 위한 향후 일정······························································ 170

xvii

[그림 Ⅰ-1] 2016년 국내 PISA 연구팀의 주요 연구 내용 및 추진 방향································ 5

[그림 Ⅱ-1] PISA 2018 연구 및 시행에 참여한 조직의 구성과 역할···································· 17

[그림 Ⅱ-2] PISA 주기별 읽기 소양의 정의·········································································· 19

[그림 Ⅱ-3] PISA 2018 읽기의 인지적 ‘과정’에 대한 모형···················································· 22

[그림 Ⅱ-4] PISA 2018 수학 소양의 모델·············································································· 25

[그림 Ⅱ-5] PISA 2018 과학 영역의 평가틀·········································································· 30

[그림 Ⅱ-6] PISA 2018 글로벌 역량의 영역 및 평가 요소··················································· 38

[그림 Ⅱ-7] PISA 2018 글로벌 및 상호문화적 이해의 PISA 인지 평가틀···························· 39

[그림 Ⅱ-8] 교육맥락변인 조사의 개념모형··········································································· 41

[그림 Ⅱ-9] PISA 2018 교육맥락변인 조사에 대한 설문 모듈·············································· 42

[그림 Ⅱ-10] PISA 2018 읽기 문항 예시: 단일 텍스트························································· 47

[그림 Ⅱ-11] PISA 2018 읽기 문항 예시: 다중 텍스트························································· 48

[그림 Ⅱ-12] PISA 2015 예비검사 과학 영역의 표준 단위문항 예시화면···························· 49

[그림 Ⅱ-13] PISA 2015 예비검사 과학 영역의 상호작용 기능을 포함한 문항 예시화면···· 50

[그림 Ⅲ-1] PISA 2018 예비검사 설계 개요·········································································· 53

[그림 Ⅳ-1] PISA 2018 예비검사를 위한 평가 문항 개발 및 검토 절차······························ 87

[그림 Ⅳ-2] 제출된 세트의 구성 및 내용 예시····································································· 95

[그림 Ⅳ-3] 글로벌 역량 Batch 1에 대한 검토의견 예시······················································ 98

[그림 Ⅳ-4] PISA 2018 인지적 영역 및 설문 문항에 대한 번역 및 검증 절차·················· 101

[그림 Ⅳ-5] PISA 2018 설문 문항에 대한 번역 및 검증 과정············································ 103

[그림 Ⅳ-6] 설문 번안 양식(QAS)의 예시············································································ 103

[그림 Ⅳ-7] 설문 저작도구(QAT)의 화면 예시····································································· 104

[그림 Ⅳ-8] 일관성 도구의 예시··························································································· 104

[그림 Ⅳ-9] ‘만’ 나이 관련 PISA 2015와 PISA 2018 문항 비교·········································· 105

[그림 Ⅳ-10] 다문화 학생 현황 파악을 위한 PISA 2015와 PISA 2018의 국가명 비교······· 106

[그림 Ⅴ-1] PISA 2018 예비검사 표집 학교의 확정···························································· 126

[그림 Ⅵ-1] PISA 2018 예비검사 시행 기반 구축의 주요 과제··········································· 132

[그림 Ⅵ-2] PISA 2018 예비검사 특징에 기반한 정책 방향, 제언 및 실행 전략··············· 133

[그림 Ⅵ-3] PISA 2018 읽기 영역의 자료 통합형 쓰기 문항 예시····································· 139

[그림 Ⅵ-4] PISA 2018 읽기 문항의 도입부 시나리오 예시················································ 140

[그림 Ⅵ-5] SBAC의 ‘디지털 라이브러리’ ············································································ 141

그림 차례

xviii

[그림 Ⅵ-6] 학생들이 무엇을 배워야 하는가? ····································································· 142

[그림 Ⅵ-7] ICT 기반 대규모 평가 개념도··········································································· 151

[그림 Ⅵ-8] PISA 2018 포탈 화면 예시··············································································· 152

[그림 Ⅵ-9] PISA 2018 예비검사 평가도구 설계 예시························································· 156

[그림 Ⅵ-10] PISA 시행 관련 기관별 업무 흐름································································· 161

[그림 Ⅵ-11] 교육부 및 시․도 교육청 담당자 대상 워크숍 프로그램(안) 개요················· 164

[그림 Ⅵ-12] 온라인 교원 연수 프로그램(안) ······································································· 165

[그림 Ⅵ-13] 학교알리미의 ‘교사(校舍) 현황’ 공시의 예······················································ 166

[그림 Ⅵ-14] ‘교육관련기관의 정보공개에 관한 특례법 시행령’의 개정 전후(안) ··············· 167

[그림 Ⅵ-15] 정책 추진 방향별 실행 전략의 장단기 계획·················································· 172

Ⅰ서론

1. 연구의 필요성 및 목적

2. PISA 2018 연구 일정 및 추진 체계

3. 연구 내용

4. 연구 방법

Ⅰ. 서 론

3

1. 연구의 필요성 및 목적1)

교육은인간을지적‧정의적으로성장시켜내외적갈등상황에서벗어나자유를누리게

해줄뿐아니라개인의사회적성취를가능하게하고나아가국가발전을견인할수있는

도구로서의가치를가진다. 오늘날세계각국은개인의행복과국가발전을이끄는원동력

으로서교육이가지는이러한가치를강조하며급속하게변화하는미래사회를대비하여

국가 교육력 제고에 많은 노력을 기울이고 있다.

과거산업화시대에사람들이감당해야했던단순하고반복적인일의많은부분을기계

와컴퓨터가대신하고있는오늘날의지식정보사회는새로운능력을갖춘인재를요구하고

있다. 보편적지식의 습득이중시되던과거와 달리, 현대사회에서는주어진 과제목표에

맞는지식과정보를선별하고, 이를통합하여해결하는능력이중요해졌으며, 비판적이고

창의적이며 협력적 문제해결 능력을 갖춘 인재를 필요로 하고 있다(Autor, Levy, &

Murnane, 2003). 또한 21세기 사회는 교통과 통신의 발달로 세계화가 급격히 진행되고

있으며, 다른 문화권에 속한 사람과 사건들을 일상적으로 접하면서 살게 되었다. 따라서

서로다른문화에속한사람을이해하고이들과교감할수있는능력이어느때보다중요한

세상이 되었다. OECD PISA(Programme for International Student Assessment, 이하

PISA), AHELO(Assessment of Higher Education Learning Outcomes), PIAAC

(Programme for the International Assessment of Adult Competencies) 등 최근의 국제

평가들은이러한사회적요구와변화를반영하여실제적인과제맥락내에서자신이가진

능력을효과적으로발휘하여문제를해결할수있는역량을평가하고, 이를국가의미래를

이끌 인재 교육의 중요한 지표로 삼고 있다(Griffin, Care, & McGaw, 2012).

PISA는미래시민이갖추어야할기본적인소양을평가하는대표적인국제역량평가로

서, 세계 각국은 PISA에서 산출된 자료를 통해 자국의 미래 교육 준비 정도를 국제적인

수준에서비교점검하는한편, 보다나은교육정책마련을위한과학적근거자료로활용

하고있다(Organization for Economic Cooperation and Development: OECD, 2013). PISA

1) 본 연구팀은 2016년 ‘OECD 국제 학업성취도 평가 연구 : PISA 2015 결과 분석 및 PISA 2018 예비검사 시행

기반 구축’를 수행하면서 총 2종의 보고서 �OECD 국제 학업성취도평가 연구: PISA 2018 예비검사 시행 기반

구축(본 보고서)�와『OECD 국제 학업성취도 평가 연구: PISA 2015 결과 보고서�를 산출하였다. 두 보고서는

PISA 시행 및 결과 분석 연구에서 연구의 필요성과 목적을 공유하고 있으므로, 서론의 ‘1. 연구의 필요성 및

목적’의 내용을 공통적으로 기술하였다.

OECD 국제 학업성취도 평가 연구: PISA 2018 예비검사 시행 기반 구축

4

참여국의수가지속적으로증가하고있는현상2)은미래교육에대한세계각국의관심과

국제비교연구의중요성을상징적으로보여주는것으로이해할수있다. 우리나라도이러

한교육의세계적흐름을인지하면서, 글로벌시대미래시민의역량을갖춘창의적인재

교육에 관심을 두고변화하는 사회환경에창의적으로적응할수 있는인재양성을 학교

교육의중요한목표로삼고있다(교육부, 2016). 따라서국제수준의선진적평가인PISA에

참여하여 연구를 수행하는 것은 미래 준비를 위한 국가의 역량을 가늠하고 우리 교육을

반성적으로 성찰할 수 있는 중요한 기회가 된다.

한국교육과정평가원은 PISA의최초 주기인PISA 2000 시행을위한검사설계와문항

개발연구를시작으로 1998년부터OECD PISA 연구에참여해왔으며, 매주기마다예비검

사 시행 기반 구축, 예비검사 시행, 본검사시행, PISA 결과에 대한 국제 비교 분석 등의

연구를수행하였다. 한편, PISA 본검사시행의주기는3년이지만각 PISA주기에해당하

는연구와시행은4～6년에걸쳐진행되므로, 국가센터3)는다가오는PISA의시행을준비

하면서도 지난 주기의 PISA 결과에 대한 분석 연구를 병행하여 수행해야 한다. 2016년

우리나라국가센터는작년에시행되었던PISA 2015 본검사에나타난한국학생들의성취

특성에대한결과보고서를작성하여발표하는것과동시에내년에시행될PISA 2018 예비

검사시행기반을구축하는업무를수행해야한다. 뿐만아니라12월에예정된 PISA 2015

의결과발표가나오기전까지는이미발표한PISA 2012 결과의특정주제에대한심층분

석결과를국제사회와공유하기위한노력을지속해서수행했다. 이와같은맥락에서국가

센터는 한국교육과정평가원이 주관한 2016년 3월 ‘한국의 OECD 가입 20주년 기념 국제

교육콘퍼런스’에주도적으로참여하여PISA 2018 글로벌역량평가관련담론을주도하였

고, PISA 2012 결과를중심으로수학, 읽기, 과학, 문제해결력성취와교육맥락변인의영향

력, 성차 분석 등을 수행한 심층분석 연구를 발표하였으며, 주요 비교국 간 PISA 결과의

비교분석을바탕으로적용할수있는교육정책개선안에대한주요시사점을국제사회와

공유하였다(Kim, S. & Han, J., 2016; Park, H. & Ku, J., 2016). 이번콘퍼런스에서확인한

사실은높은성취를거두고 있는우리나라교육에대해국제사회가관심을가지고 있고,

우리나라가 PISA를 통해 얻은 분석 결과들을 교육 개선에 어떻게 적용해왔는지를 알고

2) PISA 2000에 32개국, PISA 2003에 41개국, PISA 2006에 57개국, PISA 2009에 65개국, PISA 2012에 65개국, PISA

2015에 72개국이참여했으며 PISA 2018은 80개국이참여할예정으로 PISA참여국수가계속해서증가하고있는

추세이다.

3) 우리나라의 경우 국내 PISA 연구팀이 국가센터(National Centre)의 역할을 수행하고 있다.

Ⅰ. 서 론

5

싶어 한다는 것이다. 이는 국가센터가 PISA 시행의 업무를 충실히 하는 것뿐만 아니라,

국제전문가네트워크를활성화하여우리의연구성과를국제사회에알리고인류의발전

을 위해서 한 단계 높은 과제를 수행하기를 요구받고 있음을 의미한다.

따라서국내 PISA연구팀은올해연구목표를PISA 2018의예비검사시행기반구축과

PISA 2015의결과분석업무를온전히완수하고연구과정에서국내‧외교류협력을강화

하여 우리나라의 교육 개선과 글로벌 교육환경 개선에 대한 시사점을 제공하는 것으로

결정하였다. 국가센터가본연구를통해올해달성해야할목표를보다구체적으로기술하

면 다음과 같다.

첫째, PISA 2015 결과 분석을 바탕으로 국제적 수준에서 우리나라 학교교육의 성취와

주기별변화추이를비교하여우리나라학교교육의성과를국제적수준에서판단

하고 개선이 요구되는 교육 요소를 점검한다.

둘째, PISA 2015에서의인지적‧정의적성취와교육체제, 학습환경, 개인학습자특성의

결과분석을통해우리나라교육과정, 교수‧학습, 평가를개선하기위한정책수립

의 근거 자료를 제공한다.

[그림 Ⅰ-1] 2016년 국내 PISA 연구팀의 주요 연구 내용 및 추진 방향


6

셋째, PISA 2018 예비검사의평가틀분석, 문항출제및번역, 검증, 예비검사시행설계

및학교표집등의작업을통해PISA 2018 예비검사의안정적시행을위한기반을

구축한다.

넷째, PISA 2018 예비검사 시행 기반 구축 과정에서 얻은 연구 경험을 바탕으로 역량

중심의선진적평가체제가우리나라교육평가체제향상에도움을줄방안을모색

한다.

또한 본 연구 목적 달성을 통해 지향하는 연구의 추진 방향과 이를 위해 수행해야 할

연구의 내용은 [그림 Ⅰ-1]의 붉은 점선으로 표시한 부분과 같다.

2. PISA 2018 연구 일정 및 추진 체계

PISA 연구는주기성을가진연구이므로본검사시행연도를기준으로 3년마다유사한

형태의연구가반복된다. 따라서올해국내PISA연구팀이수행하는연구내용을큰그림

으로이해하기위해서는PISA 연구의연속선상에서올해의연구가어디에위치하는지를

점검해볼필요가있다. PISA 연구는시행연도를기준으로최소 2년전에평가틀과문항

개발(번역및번안), 표집설계등에대한연구가시작되며, 예비검사와본검사시행연구에

각각 1년이 소요된다. 본검사 시행 이듬해에는 OECD PISA 국제본부(이하 국제본부)가

평가결과에대한분석을마치고결과를공표하며, 참여국들은국제본부의결과보고서공

표시기에맞추어자국의교육성취특성에대한1차적인분석결과를발표하게된다. 이후

2년동안 PISA결과에대해서로다른주제의심층분석연구가진행된다. 국내PISA연구

팀에서최근몇년동안수행해왔고앞으로수행해야할PISA연구일정을연차별, 주기별

로 구분하여 제시하면 <표 Ⅰ-1>과 같다.

Ⅰ. 서 론

7

구분 연도 PISA 2018

2015• 평가틀 설정

• 읽기, 글로벌 역량 문항, 설문 문항 개발 착수

본

연구2016

• 읽기, 글로벌 역량 문항, 설문 문항의 검토, 선제

- 읽기, 글로벌 역량, 설문 새 문항 검토

- 참여국의 검토의견 반영 문항 선제

• 글로벌 역량 파일럿 평가도구 개발 및 검토4)

- 시나리오 및 문항 개발, 검토, 번역

- Batch 1, 2 시나리오 및 문항 검토5)

• 예비검사 평가도구 개발

- 평가도구 번역, 번안

- 한글화된 문항에 대한 교차 검증 ,

• 예비검사 시행 설계

- 표집 설계를 위한 학교 정보 수집 및 송부 ,

- 표집 틀 제공

- 예비검사 대상학교 표집 및 시행 환경 적정 여부 사전 조사

• 예비검사 시행 기반 구축 보고서 작성

- 평가틀 분석 및 예비검사 시행 기반 구축 과정 기록

2017• 예비검사 준비 및 시행

• 예비검사 시행 보고서 작성

2018

• 본검사 평가도구 완성

• 본검사를 위한 학생 표집

• 학교 책임자 및 감독교사 연수

• 본검사 준비, 시행 및 채점

• 본검사 시행 보고서 작성

<표 Ⅰ-1> PISA 2018의 연차별 연구 일정

※ : 한국교육과정평가원의 연구, : OECD PISA 국제본부의 연구

<표 Ⅰ-1>에 나타낸 것처럼 2016년은 PISA 2018 본검사 시행을 2년 앞둔 시점으로,

예비검사가 2017년 5월컴퓨터기반평가로 원활하게수행될수있도록평가도구와설문

조사도구의 번역을 수행하는 것이 주요 업무이다.

4) 글로벌역량파일럿예비검사(Pilot Field Trail, 이하글로벌역량파일럿). 국제본부의계획변경(PISA 2018 예비

검사에서글로벌역량제외, 별도의파일럿추가)에따라 2015년에개발되어 2016년에검토및번역과정을거친

글로벌 역량 평가도구와는 별도로 파일럿을 위한 별도의 평가도구(시나리오와 문항)가 새롭게 개발되고 있다.

우리나라는 새로운 평가도구 개발에 참여하고 있다.

5) Batch 1, 2, 3은 우리나라에서 개발한 시나리오 및 문항과 더불어 타 참여국에서 개발한 것도 포함된다.


8

3. 연구 내용

2016년에수행한PISA 2018 국제학업성취도평가연구의내용을정리하면다음과같다.

가. PISA 2018 예비검사 도구 개발

◦PISA 2018 읽기(주영역)/수학/과학소양과 새로도입된 글로벌역량에평가틀 분석

- 읽기/수학/과학 소양에 대한 평가틀 분석

- 글로벌 역량에 대한 평가틀 분석

◦PISA 2018 읽기(주영역)/수학/과학/글로벌역량의평가도구개발, 검토, 번역및번안

- 읽기 새 문항 관련 검사도구의 개발, 검토, 번역 및 번안

- 수학과 과학의 추이 문항 검토 및 수정 보완

- 글로벌 역량 파일럿 평가도구(시나리오 및 문항) 개발, 검토, 번역 및 번안

◦PISA 2018 설문 문항 개발, 검토, 번역 및 번안

- 필수 설문: 학생, 학교 설문 개발, 검토, 번역 및 번안

- 선택 설문: 학부모, 교사 및 학생의 ICT/교육경험 설문 개발, 검토, 번역 및 번안

나. PISA 2018 예비검사 시행 설계

◦PISA 2018 예비검사 시행을 위한 표집 설계 검토

- 학교 계열, 학년, 사용 언어, 국적 등 배경변인에 대한 국제본부와의 협의

- 평가 대상 모집단 정의 및 DB 작성

- 국제본부와 예비검사 대상 선정을 위한 표집 설계 협의

◦PISA 2018 예비검사 시행 대상 표집

- 학교 표집을 위한 양식 작성 및 국제본부 검증

- 예비검사 평가 대상 학교의 표집

◦PISA 글로벌 역량 파일럿 평가도구(시나리오 및 문항) 개발 및 검토

- 글로벌 역량 파일럿 평가도구 개발 워킹그룹 구성 및 운영

- 글로벌 역량 파일럿 평가도구 개발, 검토, 번역 및 번안

- 글로벌 역량 Batch 1, 2 시나리오 및 문항 검토

Ⅰ. 서 론

9

4. 연구 방법

2016년에수행한PISA 2018 국제학업성취도평가연구의방법을정리하면다음과같다.

가. 문헌연구

◦국제본부에서 송부한 각종 자료에 대한 분석 및 피드백

- 목적: PISA 2018 예비검사 시행 준비

- 대상: PISA 2018 관련 국제본부 자료(문항, 지침서 등)

- 내용: PISA 2018 예비검사 문항 구성,

PISA 2018 검사도구 개발 및 표집 관련 자료의 내용 분석

- 시기: 1월∼12월

◦선행연구 자료 분석

- 목적: PISA 시행 관련 선행연구 검토

- 대상: PISA 2000, PISA 2003, PISA 2006, PISA 2009, PISA 2012의국내‧외연구물

및 평가도구

- 내용: 각 주기의 결과보고서, 자료집, 각종 지침서의 내용 분석,

기존 개발된 평가도구(문항, 채점기준 등) 내용 검토

- 시기: 1월∼4월

나. 전문가 협의회

◦PISA 2018 예비검사 평가틀 검토 및 문항 개발 관련 협의회

- 내용: 읽기 새 문항과 글로벌 역량의 평가틀 분석 및 문항 개발

- 대상: 읽기 및 글로벌 역량 내용 전문가 및 교사

- 시기: 3월∼6월

◦PISA 2018 예비검사 설문 문항 개발 및 검토 협의회

- 내용: 새로 추가된 설문 문항 검토

- 대상: 읽기 및 글로벌 역량 내용 전문가 및 교사, 평가 전공자

- 시기: 3월∼6월


10

◦PISA 2018 예비검사 평가도구/매뉴얼 번안 및 검증을 위한 협의회

- 내용: PISA 2018 예비검사 평가도구/매뉴얼 내용 분석 및 검토

- 대상: 읽기, 수학, 과학, 글로벌 역량 교육 전문가 및 교사

- 시기: 4월∼11월

◦PISA 2018 글로벌 역량 관련 논의를 위한 정책 협의회

- 내용: PISA 2018 글로벌 역량 파일럿 전환에 따른 대응 및 참여 방안 마련

- 대상: 교육부 교육과정운영과 담당자, 국내 PISA 연구팀

- 시기: 8월

◦PISA 2018 글로벌 역량 관련 정책 제언을 위한 자문협의회

- 내용: PISA 2018 글로벌 역량 정책 현황 점검, 정책 추진 방향, 정책 제언,

실행 전략 검토

- 대상: 글로벌 역량 내용 전문가

- 시기: 10월

다. 글로벌 역량 문항 개발 워킹그룹 구성 및 운영

◦글로벌 역량 파일럿 평가도구 개발 및 검토를 위한 워크숍(1차∼3차)

- 내용: 글로벌 역량 평가도구(시나리오 및 문항 세트) 개발 및 검토

- 대상: 글로벌 역량 내용 및 문항 개발 전문가

- 시기: 8월

라. 워크숍

◦글로벌 역량 평가도구 개발 워크숍

- 내용: 글로벌 역량 파일럿 시나리오 및 문항의 개발 및 검토

- 대상: 워킹그룹 전문가

- 시기: 1차 워크숍(8월 2일), 2차 워크숍(8월 18일, 19일), 3차 워크숍(8월 24일),

◦읽기/글로벌 역량/설문 문항 검토 워크숍

- 내용: PISA 2018 읽기, 설문 문항 검토 및 글로벌 역량 파일럿 검토 워크숍

- 대상: 읽기, 글로벌 역량, 설문 관련 내용 및 문항 개발 전문가

- 시기: 8월 25～26일

Ⅰ. 서 론

11

마. 국제본부 및 국내‧외 유관기관과의 협력

◦국제본부와의 협력 연구

- 목적: PISA 2018 예비검사 및 글로벌 역량 파일럿 개발에 주도적 역할 수행

- 내용:

ㆍPISA 2018 읽기 새 문항 및 글로벌 역량 파일럿 평가도구 개발 및 검토 참여

ㆍPISA 2018 설문 조사 도구 개발 참여

- 시기: 3월∼12월

◦국제본부 및 다양한 국제기관과의 교류

- 목적: PISA연구의주요현안관련의사결정에참여, 국제본부에서의우리원역할제고

- 내용:

ㆍPGB(PISA Governing Board) 회의 참석과 EG(Executive Group), SDG

(Strategic Development Group), ADG(Analysis and Dissemination Group) 활

동, NPM(National Project Manager) 회의를통해 PISA 2018 평가틀및글로벌

역량 파일럿 평가도구 등에 대한 의견 개진

ㆍ국제연구연합체(ETS, Pearson, Westat 등)의 활동에 대한 피드백 제공

- 시기: NPM 회의(3월/11월), 41차 PGB 회의(6월), 42차 PGB 회의(10월)

ⅡPISA 2018 평가틀

1. PISA 개관

2. PISA 2018 평가틀

3. PISA 2018 문항 특성

Ⅱ. PISA 2018 평가틀

15

1. PISA 개관

PISA는현재전세계에서 70개국이상이참여하는대표적인국제역량평가로만 15세

학생들이현대사회의시민으로참여하는데필수적인핵심지식과기술을얼마나습득하고

있는지를평가한다(OECD, 2014, p.24). 단, PISA는각국의교육과정에바탕을둔교과지

식을직접평가하는것이아니라일상생활에서직면하는여러가지문제상황을해결하기

위해 학생들이 지닌 영역별 지식과 기술을 활용할 수 있는 ‘소양(Literacy)’을 평가한다.

읽기‧수학‧과학의 3개 영역을 평가하되 매 주기마다 세 영역 중 한 영역을 주영역으로,

나머지두영역을보조영역으로정하고시행하고있다. PISA 본검사의주영역은새문항과

추이문항을함께평가하는반면, 보조영역은추이문항만을평가한다. 또한인지적성취에

영향을 줄 수 있는 교육맥락변인에 대한 설문 조사도 실시하고 있다. 2000년부터 시행된

PISA의 인지적 평가와 설문에 포함된 평가 영역의 변화를 주기별로 구분하여 나타내면

<표 Ⅱ-1>과 같다.

<표 Ⅱ-1> PISA 주기에 따른 평가 영역과 설문 대상의 변화

PISA 주기 2000 2003 2006 2009 2012 2015 2018

읽기 ○ ○ ○ ○ ○ ◎ ◎

수학 ○ ○ ○ ○ ○ ◎ ◎

과학 ○ ○ ○ ○ ○ ◎ ◎

혁신적 평가

영역-

문제해결력- -

CBAPS CPS 글로벌 역량

○ ◎ ◎ ◎

선택 영역 - - (+/◎)CBAS (+/◎)DRA

(+/◎)DRA

(+/◎)CBAM

(-)금융소양

(-)금융소양 (-)금융소양

설문 조사

학생

학교장

(+)학부모

학생

학교장

(+)학부모

학생

학교장

(+)학부모

학생

학교장

(+)학부모

학생

학교장

(+)학부모

학생

학교장

(+)학부모

(+)교사

학생

학교장

(+)학부모

(+)교사

∙ ◯ : 지필평가(PBA), ◎ : 컴퓨터 기반 평가(CBA), − : 미시행, (＋) : 우리나라가 참여함, (-): 우리나라가 참여하지 않음.

∙ : 음영 처리된 영역은 각 주기의 주영역에 해당하는 영역임.

∙CBAS : Computer Based Assessment in Science (컴퓨터 기반 과학 평가)

∙DRA : Digital Reading Assessment (디지털 읽기 평가)

∙CBAM : Computer Based Assessment of Mathematics (컴퓨터 기반 수학 평가)

∙CBAPS : Computer Based Assessment of Problem Solving (컴퓨터 기반 문제해결력 평가)

∙CPS : Collaborative Problem Solving Competency (협력적 문제해결력)

출처: 구자옥 외(2015b, p.6)와 송미영, 최혁준 외(2013, p.13)를 바탕으로 수정함.


16

읽기‧수학‧과학영역은PISA 2000 이후매주기마다시행하였으며PISA 2003 이후주

기별로혁신적인평가영역을도입하여함께시행하였다. PISA 2015에는협력적문제해결

력이, PISA 2018에는글로벌역량(Global Competence)이혁신적인평가영역으로선정되

었다. 선택영역은참여를원하는국가가추가적으로선택할수있는평가영역으로금융소

양 영역을 예로 들 수 있는데, 우리나라는 금융소양 평가에는 참여하지 않았다.

PISA는세계적연구성과를기반으로차세대역량평가를위한설계및시행, 평가도구

개발등평가에서의혁신을견인해왔다. 이와관련하여6주기인PISA 2015에서는디지털

지식정보사회의특성을반영하여이전의지필평가시행방식을컴퓨터기반평가방식으로

전면전환하였으며, 미래사회시민의주요역량으로주목되고있는협력적문제해결력영

역을신설하여미래역량평가를위한선진적방안을제시하기도하였다. 또한새롭게시작

되는 7주기 PISA 2018에서는 주영역인 읽기를 중심으로 컴퓨터 기반 평가 특성을 살린

혁신적인읽기문항을대거개발하는한편, 세계적시민의자질을점검하기위한영역으로

글로벌 역량을 신설하여 국제 교육 평가의 방향을 선도하고 있다.

우리나라는 첫 주기인 PISA 2000부터 평가 시행과 연구에 지속적으로 참여하여 매우

우수한성적을거두어왔으며6), 국내 PISA 연구팀은이러한결과를분석하여우리나라학

교교육의효과성을확인하는한편, 미래사회를대비하기위한학교교육정책마련에과학

적 근거를 제공해 온 바 있다. 예컨대 수학과 관련하여, 정부에서는 PISA와 TIMSS(the

Trends in International Mathematics and Science Study)에서우리나라학생들의수학에

대한흥미가상대적으로낮은결과를보인것에근거하여 ‘수학교육선진화방안(교육과학

기술부, 2012b)’ 정책을추진하였으며, 2015년에는해당정책의실행결과를분석하여범국

가적 수학교육 지원 체제를 구축하기 위한 ‘제2차 수학교육 종합 계획(교육부, 2015a)’을

발표한바있다. 교육과정과관련하여서도 2015년문‧이과통합형수학과교육과정의목표

설정에PISA의수학소양에관한정의와평가틀내용이반영되었다(박경미외, 2014). 과학

과 관련하여, 융합인재교육(Science, Technology, Engineering, Arts and Mathematics,

STEAM)의 실행방향정립을위한기초연구(백윤수외, 2012)에서는 우리나라학생들의

과학에대한흥미와자아개념등의정의적성취가낮다는PISA결과에근거하여융합인재

교육도입을촉구하였고, 정부는과학기술인재육성‧지원시행계획에이를반영하여인재

6) OECD 참여국기준, PISA 2000(읽기 6위, 수학 2위, 과학 1위), PISA 2003(읽기 2위, 수학 2위, 과학 3위), PISA

2006(읽기 1위, 수학 1～2위, 과학 5～9위), PISA 2009(읽기 1～2위, 수학 1～2위, 과학 2～4위), PISA 2012(읽기

1～2위, 수학 1위, 과학 2～4위) (송미영, 임해미 외, 2013).


17

교육 활성화 정책을 지속적으로 추진해왔다(교육과학기술부, 2012a).

한편, 전세계 70여개국이참여하는PISA가성공적으로수행되기위해서는문화와언

어, 경제적수준이다른학생들이가능한동일한조건에서평가를치를수있어야하는데

이를위해평가도구의개발및시행, 결과분석에이르는모든과정에많은전문가집단이

참여하여 공동 연구를 하고 있으며 전체 시행과정을 표준화하여 엄격히 관리하고 있다.

또한OECD사무국은국제본부와PISA 참여국들간의유기적인협력이상시적으로이루

어질수있도록PISA를위한연구연합체를구성하여평가틀및평가도구개발, 시행업무

를 관리하고 있고, 영역별 전문가 그룹을 선정하여 연구연합체를 지원하도록 하고 있다.

참여국들은국가별시행을관리하는국가센터를운영하여각국가의PISA시행을책임지

고있으며참여국의대표들이참가하는PISA 이사회(PISA Governing Board, 이하 PGB)

는 PISA업무와관련한중요사안을의결한다. PISA 2018 연구및시행에참여하는조직의

구성과 역할을 그림으로 나타내면 [그림 Ⅱ-1]과 같다.

출처: 송미영과 최혁준 외(2013, p.7)에 내용을 수정 및 추가하여 재구성함.

[그림 Ⅱ-1] PISA 2018 연구 및 시행에 참여한 조직의 구성과 역할


18

2. PISA 2018 평가틀

PISA 문항 개발은 문항 개발의 이론적 바탕인 평가틀에 근거한다. 따라서 문항 의도

및평가목적을파악하기위해서는평가틀에대한이해가필요하다. PISA의평가틀은영역

별로 특성을 고려한 형태로 개발되었지만 각 영역별 소양에 대한 정의에서 출발하며, 각

영역에서평가하고자하는지식, 기술등의하위요소로구성되어있다는점에서유사성을

가진다. 각영역별평가틀의하위요소에는실생활의문제상황또는맥락, 소양과관련된

지식과기능및태도의요소들을포함하고있다. 각영역의평가틀은PISA평가영역으로

최초도입되는시기에개발되며, 읽기‧수학‧과학의경우에는주영역이되는주기에맞추어

기존의 평가틀이 수정‧보완된다.

또한인지적‧정의적성취를관련된교육맥락변인과의관련성속에서심층적으로설명하기

위해설문조사가시행되며, 주영역과신설영역의경우에는학습심리및태도요인에대한

설문문항이포함된다. PISA 2018에서는주영역인읽기와신설된글로벌역량에대한평가틀이

새로개발되었으며, 이에따라학생의배경변인및정의적성취를조사하기위한설문의개념모

형에도변화가있었다. 여기에서는읽기, 글로벌역량평가틀및교육맥락변인에대한설문조사

의 개념모형을 중심으로 PISA 2018 평가틀에 나타난 변화와 특징을 개략적으로 살펴본다.

가. 읽기

PISA 2000과 PISA 2009에이어세번째로주영역이된읽기는디지털시대의민주시민

이갖추어야할읽기소양과소양의하위요소가정의되었다. 첫주기인PISA 2000년이후,

다양한자료가대량으로생산, 유통되는디지털지식정보사회로의전환속에서학생들이

갖추어야할읽기소양도지속적으로변화하고있다. 인쇄매체에의존하여정보를수집하

고학습하던과거와달리, 인터넷과같은디지털매체를이용하게되면서정보를비판적으

로선별하고정보의내용을평가하며성찰할수있는높은수준의읽기능력에대한사회적

요구가커졌다. 대량의정보를비판적으로다루어새로운지식과정보를생산하도록돕는

읽기능력은개인이사회에온전히참여하고소통할수있는가를결정하는디지털시대의

핵심역량이다(Binkley et al., 2012; OECD, 2016f). 이에 PISA 2018에서는비판적‧창의적

읽기소양의중요성을강조하면서21세기디지털매체환경에필요한읽기역량을평가하

기 위해 읽기 소양에 대한 정의와 평가틀을 재정비하였다.


19

(1) 읽기 소양의 정의

PISA는인쇄매체에서중요시되던전통적인읽기능력과함께디지털매체환경에서새롭게

요구되는읽기능력에관한이론들을종합하여PISA 2018의읽기소양을정의하고평가틀을

개발하였다(OECD, 2015d). PISA에서정의하는읽기소양이란“만15세학생들이대학진학이

나 취업을 위한 다양한 읽기 상황과 목적에 능동적으로 참여하는데 필요한 기능적, 능동적,

목적지향적인읽기능력을의미한다(OECD, 2015d, p.11).” 따라서읽기소양은문자를해독하

는(decoding) 능력부터보다넓은범위의인지적, 언어적역량(예: 어휘, 문법, 독해를위한언어

적구조-텍스트구조, 독자의배경지식, 초인지적역량)까지를포함한다(OECD, 2015d, p.11).

[그림 Ⅱ-2]는 PISA 2018 읽기 소양에 대한 정의를 이전 주기와 비교하여 제시한 것이다.

출처: 김경희 외(2010, p. 35), 노국향 외(2000, p.13), OECD(2000, p.10; 2009, p.23; 2015d, p.9)를 재구성함.

[그림 Ⅱ-2] PISA 주기별 읽기 소양의 정의

PISA 2018에서는읽기소양을 “개인의목표를성취하고지식과잠재적능력을계발하며

사회에참여하기위해텍스트를 이해‧활용하고텍스트를 바탕으로평가‧성찰하며, 다양한

텍스트읽기활동에참여하는능력(OECD, 2015d, p.9)”으로정의하였다. 이를이전주기의

정의와비교해보면, PISA 2018 읽기소양의구성요소에 ‘평가하기’가추가되었다는것을


20

알수있다. 디지털매체환경에서는늘어나는정보의양만큼독자의정보선별능력이더욱

중요하며, ‘평가하기’는 읽기와 과제 수행의 목적에 비추어 여러 정보 가운데 보다 필요한

정보가무엇인지, 어떤정보가신뢰할만한것인지를판단하는읽기능력을의미한다. 이에

PISA 2018 읽기에서는 ‘평가하기’를 디지털 매체 기반 읽기 능력을 측정할 수 있는 주요

능력가운데하나로보고읽기소양을구성하는하위요소에도입한것이다(OECD, 2015d).

또한 PISA 2018에서는PISA 2009에이어읽기활동의 ‘참여’적속성을다시한번강조하

였다. PISA에서는읽기소양을개인의목표를성취하고, 지식과잠재력을계발하며, 사회에

참여하기위한 역량으로보고있다. 다양한읽기활동에 ‘참여’한다는것은개인의 목표나

필요 이외에도 개인이 읽기를 통해 사회적 의사소통에 참여한다는 의미까지 포함한다.

(2) 읽기 평가틀

<표 II-2>는 PISA 2009에 개발된 읽기 영역의 평가틀과 PISA 2018에 새롭게 개발된

읽기 평가틀을 차원, 하위요소, 세부 하위요소에 따라 비교한 것이다.

<표 Ⅱ-2> PISA 주기별 읽기 평가틀 비교

PISA 2018 PISA 2009/2012/2015

차원 하위요소 세부 하위요소 차원 하위요소 세부 하위요소

과정

텍스트 과정정보의 위치 파악, 이해,

평가와 성찰양상

접근과 확인

통합과 해석

과제 관리목표 설정과 계획 수립,

점검, 조절 성찰과 평가

텍스트

자료 단일 텍스트, 다중 텍스트

텍스트**

체재연속적, 비연속적,

혼합적, 다중적조직과 탐색 정적, 동적

체재 연속적, 비연속적, 혼합적

유형기술, 서사, 설명, 논증,

지시유형기술, 서사, 설명, 논증,

지시, 상호작용, 교섭

상황 개인적, 공적, 교육적, 직업적 상황 개인적, 공적, 교육적, 직업적

출처: 송미영, 최혁준 외(2013)와 OECD(2013; 2015d; 2016f)를 토대로 재구성함.

* PISA 2009와 2012, 2015에서 텍스트 차원을 구성하는 하위요소는 지필평가/디지털 읽기 평가 여부에 따라 차이가 있음.

여기서는 지필평가를 기준으로 기술하였음(텍스트 하위요소 구성에 관해서는 송미영, 최혁준 외(2013)를 참조).

PISA 2018 평가틀에서는 읽기 소양을 ‘과정’, ‘텍스트’, ‘상황’의 세 차원으로 구분하고

있다. 이는읽기소양을 ‘양상, 텍스트, 상황’ 차원에서기술한이전주기의평가틀구분과


21

유사한 것이다. 그러나 다음과 같은 점에서 이전 주기와 차이가 있다.

첫째, 이전주기의 ‘양상’에해당하는읽기의인지적과정을 ‘과정’이라는용어로대체하

였다. 인지적사고과정을지칭하는인지심리학의학문용어를존중하여PISA 2018 평가틀

에는 ‘과정(process)’이란전문용어를복원한것이다(OECD, 2015d). 둘째, 텍스트의하위

요소에 ‘자료’와 ‘조직과탐색’ 요인이추가되었다. 21세기읽기소양의가장큰변화는읽기

의 주요 매체가 인쇄 매체에서 디지털 매체로 변화하고 있다는 점이다. PISA는 이러한

읽기환경의변화를반영하여전통적인단일텍스트와더불어하이퍼텍스트와같은디지털

매체의다중텍스트를읽기 ‘자료’에포함시켰다. 그리고정보에대한조직과탐색방식을

‘정적’인 텍스트와 ‘동적’인 텍스트로 나누고 이를 모두 평가의 요소에 포함시켰다. 셋째,

읽기가 일어나는 다양한 ‘상황’을 ‘시나리오’로구체화하여제시하였다. ‘시나리오’는관련

문항들을하나의읽기목적과상황으로묶어주어보다유의미하고실제적인평가가가능하

게한다(OECD, 2015d, p.23). 기존의전통적인읽기평가는분절적이고탈맥락적인문항들

의집합으로구성하여학생들의몰입과참여를지체시킨면이있다. 시나리오평가는단위

문항 별특정 과제를 주고 이를해결해나가는 과정에서읽기 문항들을 풀도록 구성되어

있기때문에기존의전통적읽기평가보다학생들의몰입과참여를높일수있으며, 텍스트

읽기 능력과 함께과제 수행 과정에서 나타나는 학생들의 실제적 읽기역량을평가할수

있다(OECD, 2015d, p.23).

(3) 읽기의 인지적 과정 모형

PISA 2018에서는 읽기 소양을 문자 해독과 텍스트 이해라는 전통적 개념에서 나아가

주어진과제를해결하는목표지향적이며복합적인사고과정으로이해하였다. 이에따르

면현대디지털사회에서요구되는읽기소양은텍스트읽기에대한기본능력을바탕으로

주어진과제상황과목표에맞는읽기방법을판단하고적절한읽기목표를설정, 계획하는

독자의 ‘과제관리(task management)(OECD, 2015d, p.15)’ 능력까지를포함하게된다. [그

림 II-3]은 PISA 2018 읽기에서평가하고자하는읽기의인지적 ‘과정’에대한모형을도식

화한 것이다(OECD, 2015d).


22

[그림 Ⅱ-3] PISA 2018 읽기의 인지적 ‘과정’에 대한 모형

먼저 ‘텍스트과정’은텍스트를읽을때필요한독자의인지적과정을모형화한부분으로

7개의하위요소로구성되어있다. 평가틀에나타난텍스트인지과정의하위요소를설명

하면 다음과 같다(OECD, 2015d, pp.15-17).

•유창하게 읽기: 단어와 같은 언어 기호를 해독하는 것으로 텍스트를 정확하게 빨리

읽기

•정보 위치 파악: 단일 텍스트 내에서, 또는 다중 텍스트에서 필요한 정보의 위치를

찾아 읽기

•이해: 텍스트자체의의미를축자적으로이해할수있으면서독자의배경지식을활용

하여 텍스트의 의미를 추론하고 확장하여 이해하기

•평가와 성찰: 텍스트에 있는 다양한 정보의 질과 가치를 평가하고 텍스트의 형식과

내용에 대해 비판적으로 성찰하기

일상생활에서의읽기는주로특정과제목표내에서수행되는경우가많다. 따라서텍스

트를어떻게읽을것인가의문제는과제를수행하는독자의인지과정과긴밀하게관련된

다. PISA의 평가틀에서는 ‘과제 관리’를 구성하는 하위요소를 다음과 같이 설명하였다

(OECD, 2015d, p.18).

•목표설정과계획수립: 과제수행상황에서읽기에대한목표를명확하게설정하고


23

수준 과제 특성

6

일반적으로이수준의과제는복합적인추론능력과상세하고정확한비교‧대조능력을요구한다. 또한

하나또는그이상의텍스트에대해종합적이면서도상세한수준의이해를보여줄것을요구하며, 여러

텍스트로부터정보를통합하는능력을묻기도한다. 어떤과제들은서로상충되는정보를제시한가운

데익숙하지않은아이디어에대해다루도록하며, 이해를위하여추상적인범주를생성해낼수있는지

묻는다. 복합적인기준이나관점을고려하고텍스트를벗어난수준높은이해를적용하면서익숙하지

않은주제의 복잡한텍스트에 대해가설을 세우거나비판적인 평가를하도록 요구한다. 이수준에서

접근및확인과제의가장중요한조건은명확한분석력과잘드러나지않은세부사항에대한세심한

주의력이다.

5

이 수준의 과제는 텍스트에 깊이 내재되어 있는 정보를 찾아내고 그 정보들을 서로 조직하며, 어떤

정보가 관련이 있는지 추론하도록 요구한다. 성찰 과제는 전문적인 지식을 바탕으로 하여 비판적인

평가를하거나가설을세우는능력을필요로한다. 해석과제와성찰과제는내용면이나형식면에서

낯선텍스트에대해종합적이면서도상세한수준의이해를요구한다. 이수준의과제는대개읽기영역

의 모든 측면에서 예상과 다른 개념을 다룰 줄 아는지를 물어본다.

4

이수준의과제는텍스트에내재된정보를찾아서체계화하는능력을필요로한다. 텍스트전체의의미

를 고려하면서 텍스트 각 부분에 사용된 언어의 미묘한 의미 차이를 해석할 것을 요구하기도 한다.

또다른해석과제는익숙지않은맥락의범주를이해하고적용할수있는지알아본다. 아울러공식적인

지식이나 대중적인 지식을 사용하여 텍스트에 대한 가설을 세우거나 비판적인 평가를 할 수 있는지

묻는다. 이 수준의 독자는 내용이나 형식이 낯선 긴 텍스트 또는 복잡한 텍스트를 정확히 이해하는

능력을 보여야 한다.

목표에 도달하기 위한 세부 계획을 수립하기

•점검과조절: 목표에도달하고과제를수행하기위한세부전략점검하기와조절하기

이 외에도 PISA 2018 읽기에서는 디지털 매체 읽기에서 강조되는 효과적인 웹페이지

정보탐색능력과다중텍스트를읽고여러정보가운데신뢰할수있는정보를선별해내는

평가능력, 그리고유사한정보에대해서로상충되거나모순되는정보를통합하여이해할

수있는성찰능력등비판적읽기와다중텍스트읽기에대한평가를강화하였다(OECD,

2015d).

(4) 성취수준과 수준별 과제 특성

평가틀과 평가 문항이 새롭게 개발됨에 따라, 읽기 성취에 대한 수준과 수준별 과제의

특성도 <표 Ⅱ-3>과 같이 재기술되었다.

<표 Ⅱ-3> PISA 2018 성취수준별 과제 특성


24

수준 과제 특성

3

이 수준의 과제는 여러 가지 조건을 만족시키는 정보들을 찾아낼 수 있는지, 때에 따라서는 그 정보

사이의관계를이해하는지물어본다. 또한텍스트의주제를파악하거나단어나구절의의미를해석하거

나 이들 간의 관계를 이해하기 위해 텍스트의 여러 부분을 통합할 수 있는지도 알아본다. 이 수준의

독자는비교, 대조, 범주화과정에서여러특성들을고려할필요가있다. 필요로하는정보가두드러지지

않거나상충되는정보가제시되는경우도더러있다. 또는예상과정반대이거나부정적으로진술된아이

디어와같이텍스트에장애물이존재하기도한다. 이수준의성찰과제는연결하기, 비교하기, 설명하기를

요구하거나텍스트의특징을평가하도록지시하는수도있다. 어떤성찰과제는친숙하고일상적인지식

과관련하여텍스트의의미를잘이해하고있는지묻는다. 또한과제에따라서는상세한수준의텍스트

이해를 요구하지는 않더라도 지나치게 상식적이지 않은 수준의 지식을 요구하기도 한다.

2

이 수준의 과제는 추론을 하거나 몇 가지 조건을 고려하면서 하나 또는 그 이상의 정보를 찾을 수

있는지알아본다. 또한텍스트의중심생각을파악하거나, 텍스트간의관계를이해하거나, 또는정보가

두드러지게제시되지않음으로인해독자가낮은수준의추론을해야하는할때한정된부분의텍스트

의의미를파악할수있는지묻는다. 어떤과제는텍스트의특성하나를근거로비교또는대조할수

있는능력이있는지묻는다. 일반적으로이수준의성찰과제는개인적인경험과태도를바탕으로하여

텍스트와 텍스트 밖의 지식을 비교하거나 몇 가지 관련성을 찾도록 요구한다.

1a

이수준의과제는명시적으로진술된하나또는서로 별개인여러정보를찾아내고익숙한주제에서

글쓴이의의도를파악하거나텍스트상의정보와보편적이고일상적인지식을서로연결할수있는지

알아본다. 필요로하는정보는대개텍스트에명시적으로드러나있으며, 상충되는정보도극히적다.

주어진 과제와 텍스트에서 고려해야 할 관련 요소에 대해서는 명시적인 안내가 뒤따른다.

1b

이수준에서는서사나간단한목록과같이익숙한텍스트, 그리고맥락이익숙하고짧으며구문적으로

단순한텍스트에명시적으로진술된정보하나를찾는과제가제시된다. 이수준의텍스트는대개독자

의이해를돕기위해정보를반복하거나그림또는친숙한상징을제공한다. 상충되는정보는최소한으

로만 제시한다. 인접한 정보를 간단히 연계하여 텍스트를 해석하도록 요구하기도 한다.

출처: OECD(2015d, p.36)

나. 수학

PISA 2018에서수학영역은시간에따른추이분석을목적으로시행하는보조영역이므로,

수학이주영역이었던PISA 2012에서개정한수학소양에대한정의와평가틀을PISA 2015

에이어PISA 2018에그대로적용한다. PISA 2012의평가틀은각국의수학자, 수학교육자,

평가전문가, 테크놀로지전문가, 연구방법전문가를포함한수학전문가그룹(Mathematics

Expert Group)이개발하고40개국이상 170명이상의전문가검토를통해수정‧보완되었다

(OECD, 2016f). 이러한 과정을 통해 정리된 수학 소양의 개념은 다음과 같다.

수학 소양(mathematical literacy)은 다양한 맥락에서 수학을 형식화하고, 이용하고, 해석

하는 개인적인 능력이다. 여기에는 현상을 기술하고 설명하며 예측하기 위해 수학적 추론과

수학적 개념, 절차, 사실, 도구를 사용하는 것을 포함한다. 수학 소양은 개인이 실세계에서

수학의 역할을 인식하고, 건설적이고 참여적이며 반성적인 시민에게 요구하는 근거 있는


25

판단과 결정을 할 수 있도록 돕는다(조지민 외, 2011, p.13; 송미영, 최혁준 외, 2013, p.41;

OECD, 2016f, p.65).

수학소양의정의는수학에적극적으로참여할것을강조하면서, 어떤현상을기술하거

나설명할때수학개념‧절차‧사실‧도구를이용하고수학적으로예측하고추론하는것을

포함한다. 특히 ‘수학적과정’에해당하는형식화하기, 이용하기, 해석하기를통하여문제의

맥락에수학을연결시키고문제를해결하기위한유용한구조를만들어간다. 학생들은 ‘형

식화하기’를통해제시된맥락에서문제상황을수학적형태로형식화하는데필요한구조

를형성하고, ‘이용하기’를통해자신들이알고있던수학개념과사실, 조작, 계산을형식화

된 문제에 적용하며, ‘해석하기’를 통해 수학적 해와 결론을 되짚어보고 실세계 맥락에서

그 결과가 합리적인지 여부를 확인한다.

출처: 송미영, 최혁준 외(2013, p.41)와 OECD(2016f, p.66)를 토대로 구성함.

[그림 Ⅱ-4] PISA 2018 수학 소양의 모델


26

수학 소양의 정의는 수학적 모델링의 개념을 통합하고 있다(송미영, 최혁준 외, 2013,

p.41). 수학소양도실세계맥락에서수학적인수단을이용하여여러현상을정리하고조직

하며현상에내재된수학개념을파악하여문제를해결하고이를다시실세계의문제상황

에 적용하는 과정(황혜정 외, 2016, p.233)을 포함하고 있기 때문이다([그림 Ⅱ-4] 참조).

현대 사회를 살아가면서 수학적 내용, 수학적 추론, 수학적 도구에 대한 이해가 필요한

문제나 상황이 점차 늘어나는 시대적 요구를 반영한 것이라 할 수 있다.

수학소양에관한정의는학생들이어떤과정을거쳐문제해결의과정에참여하고수학

소양이커짐에따라학생들은어떤능력을키워가는지, 만 15세학생들에게기대하는수학

내용지식은무엇인지, 어떤맥락에서수학소양을관찰하고평가할수있는것인지에관한

것으로, 이는수학영역의평가틀로구체화할수있다(OECD, 2016f, p.66). PISA 2012 이후

로 PISA에서는 수학 소양을 수학적 과정, 수학적 내용, 맥락이라는상호 관련된 세 가지

측면으로평가하고있으며, 이는평가틀의주요한세가지차원으로작용한다. PISA 2018

예비검사 수학 영역의 평가틀을 구체화하면 <표 Ⅱ-4>와 같다.

<표 Ⅱ-4> PISA 2018 수학 영역의 평가틀

차원 하위 요소

수학적 과정 형식화하기, 이용하기, 해석하기

수학적 내용 변화와 관계, 공간과 모양, 양, 불확실성과 자료

맥락 개인적, 직업적, 사회적, 과학적

출처: 조지민 외(2011, p.16), OECD(2016f, pp.66-74)

한편 수학적 과정의 바탕을 이루는 기본 수학 능력은 의사소통, 수학화, 표현, 추론과

논증, 문제해결을위한전략고안, 상징적‧형식적‧기법적언어와조작의사용, 수학적도구

의사용이라는일곱가지로정리할수있다(조지민외, 2012, p.27). 기본수학능력은수학적

인방법으로세계를이해하거나문제를해결하기위하여사용하거나배울수있는인지적

능력으로, <표Ⅱ-5>와같이수학적과정의각하위요소에따라다양한형태로나타난다.


27

<표 Ⅱ-5> ‘수학적 과정’과 ‘기본 수학 능력’ 사이의 관계

수학적 과정

기본 수학 능력

형식화하기 이용하기 해석하기

의사소통

ㆍ상황에 대한 모델을 만들

기 위하여 설명, 질문, 과

제, 대상, 이미지를 읽고,

해독하고 이해하기

ㆍ해를정교화하고, 해를구하

는데포함된작업을제시하

고, 중간단계의 수학적 결

과를 요약하고 나타내기

ㆍ문제 상황에 맞게 설명과

논증을 구성하고 의사소통

하기

수학화

ㆍ실생활 문제에 포함된 기

본적인 수학 변수와 구조

를파악하고, 활용할수있

는 가설 세우기

ㆍ수학적인 해결 과정으로

이끌거나 신속한 해결을

위한 맥락을 이해하고 활

용하기

ㆍ적용된수학적모델의결과

로 구해진 해의 정도와 한

계를 이해하기

표현

ㆍ실세계 정보를 나타낼 수

있는수학적표현을만들기

ㆍ어떤 문제에 대하여 상호

작용할 때 다양한 표현을

이해하고, 관련짓고, 이용

하기

ㆍ상황에따라다양한형태로

제시되는 결과를 이해하고

활용하기

ㆍ상황을 나타내는 둘 혹은

그이상의표현을비교하고

평가하기

추론과 논증

ㆍ실세계 상황을 위하여 고

안된 기호를 설명하고, 옹

호하고, 정당화하기

ㆍ수학적 결과나 해를 결정

하는데 이용된 과정과 절

차를 설명하고, 옹호하고,

정당화하기

ㆍ수학적인 해를 구하기 위

해 정보를 연결하거나 일

반화하거나 여러 단계의

논증을 만들기

ㆍ수학적인해에대하여심사

숙고하고, 수학적인 해가

맥락화된 문제를 뒷받침하

거나, 반박하거나, 단서가

될 수 있도록 하는 설명과

논증을 만들기

문제해결을 위한

전략 고안

ㆍ맥락화된문제를수학적으

로 다시 구성하기 위하여

계획이나전략을선택하고

고안하기

ㆍ여러 단계의 절차를 거쳐

수학적 해, 결론, 일반화를

이끌어 낼 수 있는 효과적

이고 지속가능한 통제 기

제를 활성화하기

ㆍ맥락화된문제에따라수학

적 해를 해석하고, 평가하

고, 타당화하기 위하여 전

략을 고안하고 실행하기

상징적, 형식적,

기법적

언어와 조작의

사용

ㆍ기호/형식적 언어를 이용

하여 실생활 문제를 나타

내기 위하여 적절한 변수,

기호, 다이어그램, 표준화

된 모델을 사용하기

ㆍ알고리즘을 적용하는 것

뿐아니라정의, 규칙, 형식

적 체계를 바탕으로 하는

형식적 구인을 이해하고

활용하기

ㆍ문제의 맥락과 수학적 해의

표현사이의관계를이해하기

ㆍ맥락에따라해를해석하고

해의 실행가능성과 제한점

을측정하는데이해를활용

하기

수학적 도구의

사용

ㆍ수학적 구조를 인식하고

수학적 관계를 나타내기

위하여 수학적 도구를 사

용하기

ㆍ수학적 해를 구하는 과정

과절차에도움을줄수있

는 여러 가지 도구를 알고

적절하게 사용하기

ㆍ주어진문제의맥락에서수

학적 해의 합리성과 그 해

가 갖는 한계 및 제한점을

확인하기위하여수학적도

구를 사용하기

출처: OECD(2016f, pp.69-70)를 토대로 구성함.


28

수학적 내용은 특정 수학 개념과 절차의 역사적 발달 과정에서의 요구, 그러한 발달을

이끌어 낸기본적인 현상, 수학영역을 전체적으로 아우르는것, 학교 교육과정의 주요한

흐름에 대한 고찰을 바탕으로 설정된다. 수학적 내용을 정리하면 <표 Ⅱ-6>과 같다.

<표 Ⅱ-6> 수학 평가틀 ‘수학적 내용’의 하위요소와 세부 내용

하위 요소 세부 내용

변화와 관계대수식, 방정식과 부등식, 표와 그래프표현을 포함하여 함수, 대수 같은 전통적인 수학

내용과자료에대한표현과통계를이용하여기술된관계, 기하에대한측정등이포함된다.

공간과 모양기하가본질적인기초이기는하지만, 전통적인기하학의범위를넘어내용과방법면에

서 공간적 시각화, 측정, 대수와 같은 다른 수학 분야의 요소도 활용된다.

양수감각, 수와 관련된다양한 표현들, 연산, 암산, 어림, 결과의 합리성에대한 평가와

같은 양적 추론이 중요한 역할을 한다.

불확실성과 자료

변동가능한부분에대한인식, 변동의양화에대한감각, 측정의불확실성과오류가능

성에 대한 자각, 경우의 수를 아는 것, 불확실한 상황에서 결론을 유도하고 해석하고

평가하는 것, 자료의 표현과 해석이 포함된다.

출처: 조지민 외(2012, pp.24-25) 및 OECD(2016f, pp.71-72)를 토대로 구성함.

맥락은문제의배경이되는상황의유형을의미한다. 문제상황은학생이제시된상황을

어떻게이해하고어떤전략을선택하여수학적으로어떻게표현할것인지에영향을준다.

따라서 PISA 2018에서는다양한맥락을적절하게활용하는것을중요시한다. 특히PISA

에 응시하는 대상이 만 15세의 학생임을 고려하여, 학생들의 흥미와 삶에 부합하면서도

21세기현대사회가요구하는건설적이고능동적이면서반성하는시민에게적절한맥락을

문제 상황으로 선택한다.


29

<표 Ⅱ-7> 수학 평가틀 ‘맥락’의 하위요소와 세부 내용

하위 요소 세부 내용

개인적

학생자신, 자신의가족, 동료집단에서의활동과관련된맥락을의미한다. 음식준비, 쇼핑,

게임, 개인의 건강, 개인의 운송 수단, 스포츠, 여행, 개인적인 일정 관리, 개인 자산 운영

등과 관련된 맥락을 포함한다.

직업적

직업의세계에서일어나는활동이중심이되는맥락을의미한다. 측정하기, 원가계산하기와

주문하기, 급여지급과회계, 품질관리, 일정관리와재고조사, 설계와건축, 직업과관련된

의사결정 등과 관련된 맥락을 포함한다.

사회적지역, 국가, 또는 전 세계와 같이 개인이 속한 사회와 관련된 맥락을 의미한다. 투표, 공공

운송기관, 정부, 공공정책, 인구통계, 광고, 국가통계및경제등과관련된맥락을포함한다.

과학적자연계또는과학이나공학과관련된문제나주제에수학이활용되는맥락을의미한다. 날씨

또는기후, 생태학, 의학, 우주과학, 유전학, 측정, 수학그자체등과관련된맥락을포함한다.

출처: 조지민 외(2012, p.24)와 OECD(2016f, pp.73-74)를 토대로 구성함.

다. 과학

PISA 2018 과학 영역은 보조영역에 해당하므로추이 문항만을평가하고과학소양의

정의와 평가틀은 과학이 주영역이었던 PISA 2015의 것을 따른다.

PISA 2015에서는과학소양을 ‘교양있는시민으로서과학적사고를가지고과학관련

문제에참여하는능력(OECD, 2016f, p.20; 송미영, 최혁준외, 2013, p.19)’으로정의하였다.

또한과학영역의평가틀은 [그림Ⅱ-5]와같이맥락, 역량, 지식, 태도로구성되는데PISA

2018의경우보조영역인과학에대한태도와관련한설문조사를따로시행하지않으므로

태도를제외한맥락, 역량, 지식에대한평가틀만적용된다. 맥락은과학지식을이용하여

실생활의문제를해결하는상황을의미하며문제가영향을미치는범위와관심의영역에

따라서다양한종류의상황으로구분된다. 역량은PISA가측정하려고하는학생들의과학

역량에 해당하며 ‘현상에대한 과학적설명’, ‘과학탐구의평가 및설계’, ‘자료및 증거의

과학적 해석’으로 구분된다. 지식은 실생활에 필요한 문제를 해결하기 위해서 요구되는

과학 관련 지식이며 크게 ‘내용 지식’과 ‘절차적 지식’, ‘인식론적 지식’으로 구분된다.


30

출처: OECD(2016f, p.23), 송미영과 최혁준 외(2013, p.20)를 바탕으로 수정‧보완하여 구성함.

[그림 Ⅱ-5] PISA 2018 과학 영역의 평가틀

PISA 2018 과학 평가틀의 구성요소를보다 구체적으로 나타내기 위해서첫째맥락의

하위요소와 세부 내용을 나타내면 <표 Ⅱ-8>과 같다.

<표 Ⅱ-8> 과학 평가틀 ‘맥락’의 하위요소와 세부 내용

개인적 지역적/국가적 전 세계적

건강과 질병건강 관리, 우발적

사고, 영양물 섭취

질병 관리, 사회적 전달, 식품

선택, 지역 공동체 건강전염병, 감염성 질병의 전파

천연 자원물질과 에너지의

개인적 소비

인구 관리, 삶의 질, 안전,

식품의 생산과 배분, 에너지

공급

재생가능 및 재생 불가능 자연계,

인구 증가, 생물 자원의 지속

가능한 이용

환경의 질

환경 친화적 활동,

물질의 사용과 처리,

도구

인구 분포, 폐기물 처리,

환경 영향

생물의 다양성, 생태계 지속성,

오염 관리, 토양 및 생물량

생성과 손실

위험생활습관에 따른

위험성 평가

급격한 변화(예: 지진,

이상 기후), 느리고 점진적인

변화(예: 해안 침식, 퇴적),

위험성 평가

기후 변화, 현대 통신

기술의 영향

과학과

기술의

새로운 분야

취미의 과학적 측면,

개인 사용자용 기술,

음악과 스포츠 활동

신물질, 기기와 과정, 유전자

조작, 건강 기술, 운송

멸종, 우주 탐사,

우주의 기원 및 구조

출처: OECD(2016f, p.24), 송미영과 최혁준 외(2013, p.22)의 자료를 수정‧보완하여 구성함.


31

맥락의하위요소는다시2가지차원으로구분되는데한축은문제상황을공간적인크기

를기준으로나누어개인적인범위, 지역적/국가적범위, 더나아가전세계적범위로구분

되고, 다른한축은개인혹은공동체의삶을향상시키는것과관련하여어떤종류의과학

내용과관련되어있는지를기준으로구분된다. 예를들어전세계적인범주에속하는이슈

를다루면서내용상으로는위험과관련된분야를다루는문항을출제하기위해서는기후변

화와 관련된 맥락으로 문항을 출제할 수 있다.

둘째, 과학 평가틀에서 ‘역량’의 하위요소와 세부 내용을 나타내면 <표 Ⅱ-9>와 같다.

<표 Ⅱ-9> 과학 평가틀 ‘역량’의 하위요소와 세부 내용

하위요소 세부 내용

현상에 대한

과학적 설명

다음의능력을보여줌으로써다양한자연적및기술적현상에대한설명을인식하고제

공하거나 평가하기

∙적절한 과학적 지식을 회상하거나 적용하기

∙설명적 모델과 표현을 인식하고, 사용하고, 만들어내기

∙적절한 예측을 만들고 정당화하기

∙설명적 가설을 제공하기

∙사회에 대한 과학적 지식의 잠재적 함의를 설명하기

과학 탐구의 평가

및 설계

다음의능력을보여줌으로써과학적인조사를기술하거나평가하고, 과학적으로질문에

답하는 방법을 제안하기

∙제시된 과학적 연구에서 탐구된 질문 인식하기

∙과학적으로 조사가 가능한 질문 구별하기

∙제시된 질문을 과학적으로 탐구할 방법 제안하기

∙제시된 질문을 과학적으로 탐구할 방법 평가하기

∙자료의신뢰성과설명의객관성및보편성을확보하기위해과학자들이사용하는다양

한 방법을 설명하고 평가하기

자료 및 증거의

과학적 해석

다음의 능력을 보여줌으로써 다양한 표현으로 되어 있는 과학적 자료, 주장 및 논쟁을

분석하거나 평가하고, 적절한 결론을 도출하기

∙자료를 표현하는 방식 바꾸기

∙자료를 분석 및 해석하고 적절한 결론을 도출하기

∙과학과 관련된 글에서 가정, 증거 및 추론을 식별하기

∙과학적 증거와 이론에 근거한 주장과 다른 고려 사항에 근거한 주장을 구별하기

∙다양한 경로(예, 신문, 인터넷, 잡지)에서 온 과학적 주장과 증거를 평가하기

출처: OECD(2016f, pp.24-25), 송미영과 최혁준 외(2013, p.24)를 바탕으로 수정‧보완하여 구성함.

과학적 ‘역량’은 과학 소양을 갖춘 사람이 이해하고 행할 수 있는 행동으로 기술될 수

있다. 과학적소양을갖춘사람은실생활에서부딪치는문제를해결하기위해서자연혹은

기술과관련된현상에대하여과학지식을활용하여현상을과학적으로설명할수있어야


32

지식 유형 세부 내용

내용 지식

물상계

• 물질의 구조(예: 입자 모델, 화학 결합)

• 물질의 속성(예: 상태 변화, 열과 전기 전도율)

• 물질의 화학적 변화(예: 화학 반응, 에너지 전환, 산성/염기성)

• 운동과 힘(예: 속도, 마찰) 및 원격 작용(예: 자기력, 중력, 정전기력)

• 에너지와 그 전환(예: 에너지 보존, 에너지 흩어지기, 화학 반응)

• 에너지와 물질의 상호 작용(예: 빛과 전파, 음파와 지진파)

생물계

• 세포(예: 구조와 기능, DNA, 식물과 동물)

• 유기체의 개념(예: 단세포 및 다세포 생물)

• 인간(예: 건강, 영양, 하부조직[소화, 호흡, 순환, 배설, 생식 및 각 상호관계])

• 개체군(예: 종, 진화, 종의 다양성, 유전 변이)

• 생태계(예: 먹이사슬, 물질과 에너지의 흐름)

• 생물권(예: 생태계 서비스, 지속성)

지구

․

우주계

• 지구계의 구조(예: 암석권, 대기권, 수권)

• 지구계의 에너지(예: 자원, 지구 기후)

• 지구계의 변화(예: 판구조론, 지구화학적 주기, 건설적인 힘과 파괴적인 힘)

• 지구의 역사(예: 화석, 기원과 진화)

• 우주 속의 지구(예: 중력, 태양계, 은하)

• 우주의 역사와 규모(예: 광년, 빅뱅 이론)

절차적 지식• 변인의 개념(독립 변인, 종속 변인, 통제 변인)

•측정의개념, 예를들어, 정량적 [측정], 정성적 [관찰], 등급의사용, 범주변수및연속변수

한다. 또한과학과관련된보고서를읽고비판적으로판단하고과학적탐구방법에서변인

통제가잘이루어졌는지이해할수있어야한다. 즉과학탐구에대하여비판적으로평가

하고 과학적 실험을 스스로 설계할 수 있어야 한다. ‘과학 탐구의 평가 및 설계’ 능력은

과학 내용 지식뿐 아니라 과학의 절차적 지식과 인식론적 지식이 필요하다. 그밖에 과학

소양이있는학생은과학적인표현으로상대방을설득할수있도록과학적자료를적절한

도표로바꾸거나, 분석한결과를바탕으로증거가뒷받침되는결론을도출하는능력이필

요하다. ‘자료및증거를과학적으로해석’하는능력은사회구성원간의합의를도출해내기

위해 매우 중요한 능력이다.

셋째, 과학평가틀에서 ‘지식’의하위요소와세부내용을나타내면<표Ⅱ-10>과 같다.

과학 소양을 갖춘 학생들이 실생활의 문제를 해결하기 위해서 필요한 지식은 과학 내용

지식 외에도 변인과 측정에 대한 개념, 그래프 사용, 정보 처리 방법, 과학적 설계 등과

관련된과학의절차적지식이필요하다. 또한과학의본성과과학의한계를이해하는인식

론적 지식도 필요하다.

<표 Ⅱ-10> 과학 평가틀 ‘지식’의 하위요소와 세부 내용


33

지식 유형 세부 내용

• 반복 측정 및 평균 측정과 같은 불확실성을 평가하고 최소화하는 방법

•자료의반복가능성(동일한양에대한반복된측정사이의일치도)과정확도(측정값과참값

사이의 일치도)를 확보할 수 있는 방법

•표, 그래프, 차트를사용하여자료를요약하거나나타내는일반적인방법및그것들의적절한

사용

•실험설계에서변인통제전략과그역할또는이상한결과를피하고가능한인과적인체제

를 확인하기 위한 통제된 임의 추출 시도

•제시된과학적 문제에대한적절한 설계의성질(예: 실험연구, 현장기반 연구, 패턴연구)

인식론적

지식

과학의 구성 및 과학의 정의된 특징

• 과학적 관찰, 사실, 가설, 모형 및 이론 본성

• (인간의필요에대한최적의해결책을제공하는) 기술과구별되는(자연계에대한설명을제

공하는) 과학의 목적 및 목표

• 과학의 가치(예: 출판에 대한 참여, 객관성 및 편견의 배제)

•과학에서사용하는추론의본성(예: 연역적, 귀납적, 귀추적(최선의설명을위한추론), 유추

적, 모형 기반의)

과학에 의해 생산된 지식을 정당화하는 데 있어서의 이 구성의 역할과 특징

• 과학에서 자료와 추론에 의해 과학적 주장이 지지되는 방법

•지식을확립하는데있어다양한형태의실증적탐구의기능, 그목표(설명적가설을검증하

고나 패턴을 파악하는), 그리고 그것에 대한 설계(관찰, 통제된 실험, 상관 연구)

• 측정 오차가 과학적 지식의 신뢰도에 미치는 영향

• 물리적인 체계 및 추상적 모형의 사용 및 역할과 그것의 한계

•협력및 비평의 역할과 과학적 주장에 대한 신뢰를 확보하는것에 대한 동료 평가의 도움

정도

• 사회적, 기술적 쟁점을 확인하고 언급하는 데 있어서 다른 형태의 지식과 더불어 과학적

지식이 갖는 역할

출처: OECD(2016f, pp.26-28), 송미영과 최혁준 외(2013, p.27)를 토대로 구성함.

라. 글로벌 역량

(1) 글로벌 역량 도입의 배경

국제본부는 2000년대후반부터미래사회를대비하기위한필수적이며핵심적인역량으

로글로벌 역량(Global Competence)의중요성을강조해왔으며, PISA 2018에읽기‧수학‧

과학소양과함께글로벌역량을필수영역으로새롭게도입하였다. 글로벌역량은상대적

으로새롭고최근에만들어진개념으로, 글로벌역량이정확하게무엇을의미하는지는맥

락, 문화, 사안, 주체에 따라 다른 의미로 이해될 수 있다. 국제본부에서 제안하고 있는

글로벌역량은그동안관련문헌에서논의되고있는 ‘글로벌/세계시민의식/시민성(Global

citizenship)’, ‘상호문화 역량(Intercultural competence)’, ‘교차문화적 의사소통(Cross-


34

cultural communication)’, ‘글로벌사고방식(Global mind set)’, ‘상호문화이해(Intercultural

understanding)’, ‘국제 교육(International education)’, 또는 ‘글로벌 인식(Global

awareness)’ 등과 맥을 같이하며 배경, 목적, 특성 등에 있어 유사하다(OECD, 2015c,

pp.4-5). 다만국제본부의글로벌역량은위다양한개념을포괄하면서도미래사회를대비

하기위한필수적인역량으로확장되어개념화되었으며, 체계적인교육을통해활성화시키

고 강화시켜야 하는 역량으로 강조되고 있다.

PISA 2018에서의 글로벌 역량 도입은 OECD에서 구상하고 있는 ‘교육과 역량의 미래:

OECD 교육 2030의 틀(The Future of Education and Skills: an OECD Education 2030

Framework, 이하 OECD 교육 2030)(OECD, 2016a)’이라는거시적인틀안에서진행되고

있다. OECD 교육 2030 개념틀은첫째, 교육과정개발을위해도와주고, 둘째, 자료, 평가,

측정 개발, 구체적이고 효과적인 중재를 위한 정보를 제공할 수 있도록 설정되었다. 이

교육 2030 개념틀은 시간이 흐름에 따라 어린 학령기나 전 일생 동안의 고등전문교육

(tertiary education and learning)을 포함하는 학습 생애의 모든 단계와 관련된거시적인

관점을제시하고있지만, 첫번째초점은중등학교(secondary level) 교육과정에두고있음

을 명확히 하고 있다(OECD, 2016a, p.2).

OECD 교육 2030의 틀 안에서 추진되고 있는 PISA 2018 글로벌 역량 도입의 배경을

조금 더 살펴보면 다음과 같다. 경제적으로 글로벌 경쟁과 고용이 확대되고 있는 최근의

상황에서국내및전세계는더큰안정과사회적통합을위해민주주의, 인권, 법치주의의

보호와교육에대한조직강화가필요하게되었다. 또한여행기회의증가및학업과업무

에서의이동성증가, 디지털통신의성장등에대한고려가필요한글로벌사회가되었고,

무엇보다이와같은개념을포괄할수있는개념으로서의글로벌역량을확장하여구체적

으로 정의하고 이를 신장시키기 위한 체계적인 교육에 대한 필요와 요구가 증가하였다

(Barrett et al., 2013; OECD, 2015c; 2016a; 2016e). 뿐만아니라글로벌역량은어느누구도

어느한시점에완벽하게갖출수없는평생동안습득해야하는역량이기때문에(Council

of Europe, 2016; Deardorff, 2014) 평생학습이필요한가운데, PISA 2018 글로벌역량을

새롭게 도입하여 만 15세학생들이갖춘 글로벌 역량의 정도와학교교육의 효과성 등을

점검하게 되었다(OECD, 2016a, p.2; 2016e, p.4).


35

(2) PISA 2018 글로벌 역량의 준비 상황 및 국제본부의 계획 변화

글로벌역량을PISA 2018에도입한다는계획에따라국제본부는전문가그룹및참여국

과의활발한논의를통해준비해오고있다. 그러나PISA 2018 및예비검사글로벌역량과

관련계획과내용이수시로변화되고있다.7) 그리고 2016년 7월 국제본부의글로벌역량

도입관련대변화가 발표되었는데 이를종합하여정리하면 다음과같다. 첫째, 타영역과

달리글로벌역량의인지적평가는PISA 2018 예비검사에포함하지않는다. 대신타영역

과는달리각대륙을대표할수있는국가를대상으로글로벌역량파일럿을2017년상반기

에실시한다. 둘째, 글로벌역량파일럿에서는 2015년부터개발해온컴퓨터기반의문항을

사용하지않는다. 대신글로벌역량파일럿을위한지필기반의시나리오와문항을새롭게

개발하여 사용한다. 따라서 PISA 2018 예비검사를 위해 2015년부터 개발되어 2016년에

진행 중이던 문항 검토, 번역 등의 글로벌 역량 문항 관련 업무가 전면 중단되고 2016년

7월부터 현재까지 글로벌 역량 파일럿을 위한 평가도구가 개발되고 있는 중이다.

이는무엇보다도글로벌역량이라는개념자체의모호성과해석의다양성과같은어려

움에따른것이며, 동시에글로벌역량을PISA 2018의필수영역으로평가하는목적, 글로

벌역량의문화및개인적요소에대한측정의적절성, 평가도구의타당성, 평가결과보고

체계및활용등에대해많은국가에서의문을제기하고있기때문이다. 따라서국제본부는

참여국의의견을수렴하여글로벌역량에대한정의와평가틀을포함한전반적인내용을

지속적으로 수정‧보완해오고 있다.

(3) 국내 PISA 연구팀의 능동적‧적극적 역할 수행

국내 PISA 연구팀은, 이전 PISA 주기별 혁신적 영역(PISA 2012의 문제해결력, PISA

7) 예를들면국제본부는수많은전문가회의를거친후 2015년 10월 PGB 회의에서PISA 2018 글로벌역량의정의,

영역, 요소및평가틀등을포함하는전반적인내용에대해결정(OECD, 2015b; 2016c)하고글로벌역량의인지적

영역문항도2015년도에동시에개발하였다. 그러나많은참여국으로부터다양한의견이제기된바(OECD, 2015a),

국제본부는이들의견을수렴하여 2016년 3월에PISA 2018 글로벌역량에대한최종안(OECD, 2016l)을공지하였

다. 그럼에도불구하고여전히글로벌역량에대한의문과의견이제기되었으며 국제본부는 2016년 4월에 PISA

2018 글로벌역량에 대한수정안을재공지(OECD, 2016a; 2016r)하였다. 2016년 10월 20일 현재에도글로벌역량

관련 모든내용에 대한 완전한 최종본이도출된 상태는아니며, 부분 수정안이수시로 제시되고 있는 상태이다.

글로벌역량인지영역문항도연동되어수정되다가, 그동안개발된문항사용은전면보류되고 PISA 2018 파일럿

이 도입(OECD, 2016b; 2016c)되었으며, 파일럿에 사용될 평가도구(시나리오와 문항)가 2016년 7월부터 별도로

개발(OECD, 2016e)되고 있는 중이다.


36

2015의협력적문제해결력)과비교해볼때유례가없는국제본부계획의대변화를인식하

고 글로벌 역량 파일럿을 위한 능동적이며 주도적인 역할을 수행하고 있다. 구체적으로

본연구팀은글로벌역량파일럿을위한평가도구(시나리오및문항) 개발에참여하고있

다. 글로벌역량평가도구개발의촉박한일정과강도높은업무로인해본연구팀에게는

현실적인 어려움이 가중될 수 있다. 그러나 글로벌 역량 파일럿 평가도구 개발 참여는

PISA도입원년부터참여해오고있는우리나라와PISA국가센터로서수행하는고무적인

역할로, 국내PISA연구팀의PISA 2018 혁신적영역인글로벌역량에대한전문성을제고

할 수 있는 기회이다. 또한 이는 본 연구팀이 그간 글로벌 역량과 관련된 전반적인 논의

과정과내용을주시하고, 우리나라교육과의연관성등을고려하여SDG, PGB, NPM회의

등의국제회의에참석하며관련연구동향을파악하여참여국국가센터들과교류하는것

등과연속선상에있는것으로, 국제본부및PISA참여국들과의긴밀한협력을통해우리나

라, 그리고국가센터로서의국내PISA 연구팀의위상과역할을강화시킬수있는기회가

된다(전문가협의회, 2016.8.1).

(4) 글로벌 역량 평가틀

위와같은글로벌역량평가관련변화, 즉 PISA 2018 예비검사에서의글로벌역량검사

취소, 글로벌역량파일럿시행, 글로벌역량파일럿과PISA 2018 본검사평가도구의차이(지

필기반의글로벌역량파일럿, 컴퓨터기반의PISA 2018 본검사)에따라글로벌역량평가틀

에도변화가생겼다. 국제본부의관련자료(OECD, 2015c; 2015e; 2016a; 2016b; 2016c; 2016e;

2016l; 2016m; 2016r)를토대로PISA 2018 글로벌역량평가틀중여전히유효한내용, 새롭

게 발표된 내용을 포함하여 글로벌 역량의 정의와 평가틀을 정리하면 다음과 같다.

국제본부는PISA의혁신적인영역즉인지적, 비인지적요소를포함하는글로벌역량을

개념화하였으며, 이를토대로글로벌역량에대한조작적정의를도출하였다. 먼저글로벌

역량의개념화를위해고려된구제적인세가지사항은다음과같다. 글로벌역량은첫째,

15세학생들이마주하는교실내외의상황과맥락의유형을고려하고, 둘째, PISA 참여국

들의가치, 관심, 환경에유의하며, 셋째, 학생들이학업및진로와공동체적생활을성공적

으로하기위해필요한사고방식과더불어지식, 기술, 태도를예견(OECD, 2015e, p.24)하

는것이다. 이와같은글로벌역량의개념을토대로국제본부가최근다시제시한글로벌

역량의 조작적 정의는 다음과 같다(OECD, 2016e, p.3).


37

글로벌 역량은 글로벌 및 상호문화적 사안을 비판적이고 다중적인 관점에서 분석하고, 인간의 존엄성

에 대한 공유된 존중을 바탕으로 다른 배경을 가진 사람들과 개방적이고 적절하며 효과적인 상호작용

에 참여하고, 지속가능성과 웰빙 사회를 위한 행동을 취하는 능력이다(OECD, 2016e, p.3).8)

글로벌 역량의 영역과 PISA에서 평가될 요소를 조직화하여 현재까지 제공한 글로벌

역량의평가틀(OECD, 2016e)을살펴보면다음과같다. 먼저글로벌역량은네가지영역,

즉 ‘지식’, ‘기술’, ‘태도’, ‘가치’로구성된다. 다음 [그림Ⅱ-6]은네가지영역과함께하위영

역즉평가요소를도식화한것이다. ‘지식(Knowledge)’ 영역은 ‘글로벌사안에대한지식

(Knowledge of global issues)’과 ‘상호문화적지식(Intercultural knowledge)’을포함한다.

‘기술(Skills)’ 영역은 ‘분석적및비판적사고(Analytical and critical thinking)’, ‘관점설정

(Perspective taking)’, ‘정중한의사소통(Respectful communication)’, ‘적응력(Adaptability)’

을 포함한다. ‘태도(Attitudes)’ 영역은 ‘다른 문화권 사람들을 향한 개방성(Openness

towards people from other cultures)’, ‘다른문화권사람들에대한존중(Respect for people

from other cultures)’, ‘글로벌한 생각(Global-mindedness)’을 포함한다. ‘가치(Values)’

영역은 ‘인간의존엄성에대한가치부여(Valuing human dignity)’, ‘문화적다양성에대한

가치 부여(Valuing cultural diversity)’를 포함한다. 이와 같은 지식, 기술, 태도, 가치를

갖춤으로써 ‘글로벌 및 상호문화적 사안을 이해(Understand global and intercultural

issue)’하고 ‘개방적이고 정중한 상호작용 참여(Engage in open and respectful

interactions)’, ‘웰빙과지속가능성을위한행동(Act for well-being and substantiality)’을

할 수 있는, 즉 ‘글로벌 역량’을 갖춘 글로벌 시민으로 성장하게 된다.

8) 원문: Global competence is the capacity to analyse global and intercultural issues critically and from multiple

perspectives, to engage in open, appropriate and effective interactions with others from different backgrounds

on the basis of a shared respect for human dignity, and take action for substantiality and the well-being

of society(OECD, 2016e, p.3).


38

출처: OECD(2016e, p.6)를 토대로 구성함.

[그림 Ⅱ-6] PISA 2018 글로벌 역량의 영역 및 평가 요소

글로벌 역량은 위 네 가지 영역을 아우르는 역량, 즉 ‘지식’, ‘기술’, ‘태도’ 영역이 상호

연결된복합체이며인간의존엄성과문화적다양성에 ‘가치’를부여하는것을전제로하고

있다(OECD, 2016e, pp.5-6). 이는 글로벌 역량이 인지적 영역 요소뿐만아니라 비인지적

요소도포함한다는것을의미한다. 글로벌역량의인지평가(Cognitive test)에서는 ‘지식’

영역의 ‘글로벌사안에대한지식’과 ‘상호문화적지식’을중심으로평가하고, 설문을통해

‘기술’의일부요소와 ‘태도’의모든요소들을조사할계획이다(OECD, 2016e, pp.7-9). 한편

글로벌 역량의 영역 중 ‘가치’에 대한 평가는 보류하는 것으로 논의가 진행되고 있다

(OECD, 2016e, pp.7-34).

국제본부는인지평가에대해 ‘지식, 관점설정, 분석과평가기술을상호문화적이며글로

벌사안과관련이있는과업을수행할때실제로적용할수있는가를측정하는것(OECD,

2016a, p.10)’이라 명확히 하고, 글로벌 및 상호문화적 이해를 측정하기 위한 PISA 인지


39

평가틀을아래 [그림Ⅱ-7]과같이별도로제시하고있다(OECD, 2016e, p.10). 국제본부가

글로벌 및 상호문화적 사안 이해에 대한 별도의 평가틀을 제시하는 이유는 첫째, 글로벌

역량인지평가에서주요영역이기때문이며둘째, 많은국가에서문화적차이로인해글로

벌역량을측정할도구와해석등에대해제기한우려에대한적극적인반응이며, 평가의

타당성 제고를 위한 요구 수렴의 결과라는 점으로 분석할 수 있다.

출처: OECD(2016e, p.10)를 토대로 구성함.

[그림 Ⅱ-7] PISA 2018 글로벌 및 상호문화적 이해의 PISA 인지 평가틀

글로벌 역량의 인지 능력(cognitive skills/typologies of skills)은 아래 <표 Ⅱ-11>과

같이총다섯가지로분류되어있으며, 정보탐색, 정보의타당성에대한접근, 사안설명,

맥락과 관점 인식, 결과와 함의 이해가 포함되어 있다. 각 인지 능력은 그 활용 정도에

따라 세 가지 수준(하, 중, 상)으로 구분되고, 모두 ‘할 수 있다(can/is able to ∼)’ 진술

체계로제시된다. 글로벌역량평가전체에서각인지영역이차지하는비율은 10∼30%이

다(OECD, 2016e).


40

<표 Ⅱ-11> 글로벌 역량 인지 능력별 수준 및 비중

인지 능력 하 중 상 비중

정보 탐색

하나의관점에서탐구하거나어떠한사안에대해결정하는능

력을 필요로 하며, 자신의 직접적인 환경을 넘어서는 관점을

갖는 능력

정보의 타당성에

대한 접근

지리-문화적맥락, 내제된가정과전제에대한의문을가지며,

내부적인 논리의 지속성을 점검하면서정보의 타당성을 평가

하는 능력이며, 증거를 토대로 지속성을 평가하는 능력

사안 설명

정보를 요약하고 우선순위를 정하며명백한 주장을 산출하고

적절한 의사소통의 방법을 선택하여다른 사람들에게 문제를

설명하는 능력

맥락과 관점 인식자신과다른사람의관점을확인하고분명히설명하며배치하

고 연결시키는 능력

결과와 함의 이해

위험이나이익을측정하고단기와장기적결과의무게를측정

하며결정이나해결법을제안하기위해추론을활용하여, 진술

이나 상황의 결과와 함의를 이해하는 능력

출처: OECD(2016e, pp.12-14)를 재구성하였으며, 국제본부의 보안 준수 요청에 따라 구체적인 내용은 삭제함.

글로벌역량시나리오의인지영역복잡성은특정영역지식의복잡성과일반지식(지문

과언어)의복잡성에따라세가지수준(하, 중, 상)으로구분되며, 인지평가에서차지하는

비중은10∼60%로구분된다(OECD, 2016e). 아래는글로벌역량시나리오의복잡성수준,

인지 영역(특정 영역 지식 및 일반 지식)의 복잡성, 비중의 분류표이다.

<표 Ⅱ-12> 글로벌 역량 시나리오의 복잡성 수준, 인지 영역의 복잡성, 비중

복잡성 수준인지 영역의 복잡성

비중특정 영역 지식의 복잡성 일반 지식(지문과 언어)의 복잡성

하

중

상

출처: OECD(2016e, pp.15-17)를 재구성하였으며, 국제본부의 보안 준수 요청에 따라 구체적인 내용은 삭제함.

마. 교육맥락변인

특정국가의교육체제에서학생들을교육한다는것은가정, 학교, 사회의연결망안에서

학생을 중심으로상호작용하는 과정을포함한다. 따라서 국제학업성취도평가의 인지적

또는비인지적성취결과를해석함에있어각국에서나타나는교육맥락적상황을고려하여


41

교육성과로의의미를부여하고있다. 그동안진행되어온PISA연구는참여국의교육맥락

상황을이해하고성취와의관계를파악하기위해학생, 학교장, 학부모, 교사등을대상으로

다양한설문조사를병행해왔다. 연구주기를거듭하면서설문조사의영역과범위가확장

됨에따라교육맥락변인조사를위한개념모형도개선되고있다. 현재사용하고있는교육

맥락변인개념모형은PISA 2012 연구를시점으로전제, 과정, 성과영역에서학생, 교수‧학

습, 그리고 학교 및 교육체제가 구성하고 있는 요소들을 중심으로 수립되었다. 나아가

PISA 2015 설문조사의개념모형은실제적용할수있도록구체화되어 ‘배경정보’와 ‘학교

교육’ 그리고 ‘성과’ 영역이어떤요소로구성되고있는지제시하였다(조지민외, 2011; 송미

영, 최혁준외, 2013; 구자옥 외, 2015a; OECD, 2012). PISA 2018의교육맥락변인 조사를

위한개념모형은PISA 2015와기본적으로동일한틀을유지하면서인지적성취에서글로

벌 역량을 포함하여 [그림 Ⅱ-8]과 같이 도식화할 수 있다(OECD, 2013).

출처: OECD(2013, p.168), 송미영과 최혁준 외(2013, p.53)를 토대로 재구성함.

[그림 Ⅱ-8] 교육맥락변인 조사의 개념모형

뿐만아니라그동안수행되었던PISA연구에서의주요구인과함께새로운평가영역과

관련된구인을추가하였다. PISA 2015 개념모형에서제시한PISA 연구의교육맥락구조

를연계하면서PISA 2018에서심층적으로파악하고자하는정책적이슈를포함하고있다.

특히PISA 2018 설문개발을위한전문가집단에서는그동안의문헌연구결과에근거하여

설문내용을보완하였고새로운평가영역인글로벌역량과관련된설문문항을개발하였

다. 따라서PISA 2018 교육맥락변인개념모형의구조는배경정보, 학교교육, 그리고성과


42

영역을바탕으로PISA 2015 모형에서추가또는변경된영역에따라설문모듈을구성하고

있다. 특히 PISA 2018의주영역인읽기와관련된학생배경, 교수‧학습, 학교정책과비인

지적 성취, 즉 태도, 동기, 학습전략 등을 중점적으로 조사한다.

(1)교육맥락변인 조사의 구성요인

PISA 2018 교육맥락변인을조사하는설문모듈은 4개의구성요인, 즉비인지적/메타인

지적성취구인, 학생배경구인, 교수‧학습구인, 그리고학교정책및의사결정체계구인

으로 제시하고 있으며 전체적으로 16개의 모듈로 구성되어 있다(OECD, 2016q). PISA

2018 교육맥락변인 조사를 위한 개념모형, 즉 배경정보, 학교교육, 성과에 대하여 각각의

구인이 어떤 설문 모듈을 포함하고 있는지 정리하면 [그림 Ⅱ-9]와 같다.

출처: OECD(2016q, pp.7-12)를 토대로 구성함

[그림 Ⅱ-9] PISA 2018 교육맥락변인 조사에 대한 설문 모듈

모든 PISA 주기의 설문과 마찬가지로 주영역과 일반 영역 설문의 조합으로 구성되며,

제시된 그림의 상반부는 주영역인 읽기 영역 관련 설문, 하반부는 일반 영역에 포함되는

설문으로구성되었다. PISA 2018 교육맥락변인조사를위한각구성요인을설명하면다음

과 같다(OECD, 2016q, pp.10-12).


43

① 비인지적/메타인지적 성취

인지적성취와병행하여비인지적그리고메타인지적성취는설문조사를통해파악할

수 있는 주요한 영역이며, PISA 2018 연구에서는 다음 세 개의 모듈로 구성하였다.

첫째, 비인지적성취에대한관심과중요도가높아짐에따라교육맥락변인조사를위한

설문 내용에서 학습전략 등 학습 관련 행동을 포함한 비인지적 영역과 신념, 동기, 태도

등메타인지적성취에대한영역을보완하였다. 그동안의PISA연구에서는주기별주영역

과 관련하여 학생의흥미, 동기를 포함한 태도와행동특성을중점적으로조사하여왔다.

PISA 2018 연구는교육정책을수립하거나관련연구에서다각적으로PISA결과를활용할

수 있도록학생의비인지적성취에대한 최근 연구동향을반영하여설문 내용의 범위를

확장하였다. 주영역인읽기와관련하여동기와읽기성취와의상관관계는이미여러연구

에서검증되었다(Becker, McElvany, & Kortenbruck, 2010; Mol & Bus, 2011; Klauda &

Guthrie, 2014). 학습전략과읽기성취의관계등메타인지적요인과성취에관한연구결과

에 관심이 높아지면서 자아효능감, 자기통제 능력 등과 연관된 설문 내용이 보강되었다.

둘째, 학업성취와직결하여학습에대한학생성향과학교에대한학생태도등의설문

내용이 새로운 영역으로 추가되었다. 성향적 변수(dispositional variable)는 개별 학생의

인성기반맥락(personality-based context)에서의학습에대한접근방식을의미한다. 이

러한성향은학생개인이성장하면서직접접하게되는부모, 교사, 문화적환경과의사회

화 과정을 통해 형성된 것이다. 학교 중심 변수(school-focused variable)는 개인 성향뿐

아니라학교의학습상황을반영한구체적인교육맥락의의미를내포하고있다. 즉학교에

대한자아효능감, 학교생활에대한평가및태도등학생에게형성되는학교에대한신념과

태도를의미하며단기학습성과에대한수행달성도뿐아니라장기적으로형성되는성취

에 대한 동기 등의 변수도 포함한다.

셋째, PISA 2018의새로운영역인글로벌역량평가에는인지적평가와더불어일부요소를

평가하기위해설문조사방식을활용한다. 설문조사에포함될글로벌역량의요소는 ‘기술’

영역의일부요소(상호작용능력, 공감력, 유연성)와 ‘태도’ 영역에포함되는모든요소이다.

② 학생 배경

인지적영역의학습성과는물론학생의교육경험과국가간또는참여국내학습기회의


44

형평성에 대한 이해를 높이기 위해 교육맥락변인 설문 조사는 학생의 사회‧경제적 지위

(SES), 인종, 교육등가정배경에대한영역을필수로포함시키고있다. 이러한설문응답에

근거하여 경제‧사회‧문화적 지위 지표(Index of economic, socio-economic and cultural

status, 이하 ESCS)를개발하여분석해왔다(Willms, 2006). 구체적으로학생배경구인은

학교밖읽기학습경험, 학생및가정배경정보, 이민과문화배경정보, 어린시절교육경험

등의주요내용으로각모듈을구성한다. 이영역의설문결과를기반으로학생과가정의

사회‧문화적인요인이학생들의성취에미치는영향과더불어참여국의성취와학습기회

의 형평성간의 관계를 분석하고 있다.

③ 교수‧학습

학교를기반으로하는교육은공식적이며체계적교육을대표하고있으므로학교내교수

‧학습에대한자료와정보는학교교육개선과연계된교육정책수립을위해반드시필요하

다. 특히이구인에는PISA 2018의주영역인읽기와새로운영역인글로벌역량의교수‧학

습과 관련된 설문이 포함되어 있다. 교사의 자질, 교수의 실제, 교실 분위기, 학교 내외의

학습시간과학습경험등은학업성취에대한교육적효과를설명하기위한기본질문내용

이다. Klieme, Pauli, & Reusser(2009)는교수과정을파악하기위해서교실운영, 교사지원

과인지적도전등세가지차원에서의접근을제안하였다. PISA 2018 설문조사에서교수‧

학습 과정을 나타내는 구인은 주로 교사 및 교사와 학생의 관계를 중심으로 교사 교육과

전문성신장, 교수실제, 학습시간과교육과정에대한정보를포함한설문모듈로구성된다.

④ 학교 정책 및 의사결정 체계

교육정책을수립하는데있어교수‧학습과정에서수집된자료가미치는영향은제한적

이므로학교관리경영수준에서학교개선을위한주요정보가필요하다. 효과적인학교로

변화하기위한지원 방안은교사의전문성신장, 교육과정개선, 학교장의리더십과학교

운영, 학부모참여, 학교풍토개선등과관련된정보가기본적으로수집‧구축되어야한다.

따라서학교정책및의사결정체계구인은읽기학습을위한학교환경, 학교풍토, 학부모

참여, 학교맥락과자원, 예산배분, 선택 및결정, 평가와책무성등주로학교 및정부의

교육 행정과 리더십 영역의 설문 모듈을 포함한다.


45

(2) 설문 유형별 모듈 구성

PISA 2018 교육맥락변인조사를위한구인과설문모듈이각설문대상의설문내용에

어떻게 포함되고 있는지 <표 Ⅱ-10>에 제시하였다. 각 모듈은 단독 또는 복합의 형태로

학생, 학교장, 학부모, 교사 대상의설문문항 개발에 사용되었다. PISA 2018에참여하는

모든국가는학생과학교설문을필수로조사하며학부모와교사설문은국가별선택사항

이다. 우리나라의경우지난주기와마찬가지로학교, 학생설문그리고학생의교육경험과

ICT 설문, 학부모와교사설문을수행할예정이다. 설문모듈의일련순서에따라각모듈

을 형성하는 주요 구인과 모듈의 내용을 설문 대상별로 구분하면 <표 Ⅱ-10>과 같다.

<표 Ⅱ-13> PISA 2018 교육맥락변인 설문별 모듈 구성 및 구인 설명

모듈

필수 선택

구인학생

설문

학교

설문

교육

경험

ICT

설문

학부모

설문

교사

설문

1. 교사 자질과 전문성 계발 ○ ○교수‧학습

2. 읽기 교수의 실제 ○ ○ ○

3. 읽기 학습을 위한 학교환경 ○ ○ ○학교 정책 및 의사결정

체계

4. 읽기 관련 비인지적 성취

(태도, 동기, 전략 등)○ ○ ○ 비인지적/메타인지적 성취

5. 학교 밖 읽기 학습 경험 ○ ○ ○

학생 배경6. 학생의 SES 등 가정 배경 ○ ○ ○

7. 이민과 문화배경 정보 ○ ○ ○

8. 어린 시절 교육경험 ○ ○ ○

9. 학생성향및학교에대한태도

(신념, 동기 등)○ ○ ○

비인지적/메타인지적 성취

10. 글로벌 역량의 성향 ○ ○ ○ ○ ○

11. 학습 시간과 교육과정 ○ ○ ○ ○ 교수‧학습

12. 학교풍토(인간관계, 신뢰 등) ○ ○

학교 정책 및 의사결정

체계

13. 학부모 참여 ○ ○ ○ ○

14. 학교 맥락과 자원 ○ ○ ○

15. 예산배분, 선택 및 결정 ○ ○

16. 평가와 책무성 ○ ○ ○

출처: John de Jong & Nima Jude(2016, pp.21-22)에 구인을 추가하여 구성함.


46

3. PISA 2018 문항 특성

PISA 2018 예비검사에서는지필문항을컴퓨터기반평가체제로옮겨시행되었던 PISA

2015의읽기문항에서탈피하여, 디지털매체환경에서의읽기능력을평가할수있는문항으

로개발하였다는특성이있다. 컴퓨터기반평가로전면전환된PISA 2015의주영역이었던

과학의경우는상호작용형문항등컴퓨터기반평가방식에적합한형태로개발되었던PISA

2015의추이문항과컴퓨터기반평가체제에지필평가문항이적용된형태가동시에사용된

다. 그러나 수학의 경우에는컴퓨터 기반 평가 적합형 문항이아직 개발된 바 없기때문에

PISA 2015에사용된, 컴퓨터기반에옮긴지필평가문항이PISA 2018에도사용될예정이다.9)

여기에서는 새로 개발된 읽기 문항을 중심으로 PISA 2018 문항의 특성에 대해 기술한다.

가. 새 문항

(1) 읽기 문항

PISA 2018 예비검사읽기단위문항의유형은읽기유창성평가를위한문장단위의 ‘정오

평가’와 ‘단일 텍스트’ 및 ‘다중 텍스트’ 읽기의 세 가지로 구분된다. 읽기 유창성은 익숙한

단어를빠르게읽고그의미를파악할수있는능력으로, 주로문자와소리연결의자동성과

기호의의미를축자적으로해독할수있는능력을핵심으로한다(OECD, 2015d , p.16). PISA

2018에서는독해를위한기본적인기능으로서, 읽기유창성의중요성을확인하고학생의읽기

부진에대한정보파악을목적으로PISA 2018 읽기에서유창성평가를새롭게도입하였다.

책이나하나의주제에대한단일한글읽기는디지털매체환경으로의변화에서도여전

히필요한읽기능력이다. 따라서PISA 2018 읽기에서는하이퍼텍스트읽기와같은디지털

매체 환경 특성을 보여주는 ‘다중 텍스트’ 읽기와 함께 ‘단일 텍스트’ 읽기와 같은 기존의

전통적읽기방식도함께평가하고자하였다. ‘단일텍스트’ 읽기문항은기존의지필평가에

서의 문항 형식과 유사하게 하나의 고정된 정적(static) 텍스트를 읽고 관련 문항을 푸는

형태를띠게된다. 일반적으로 ‘단일텍스트’ 읽기의단위문항의경우4개정도의하위문항

9) PISA 2015부터전면컴퓨터기반평가가시행됨에따라, 주영역인과학의경우컴퓨터기반평가방식에적합한

상호작용형문항이새롭게개발되어사용되었다. 그러나보조영역이었던읽기와수학의경우에는기존의지필평

가에서개발되었던지필형추이문항이내용의변화없이컴퓨터로시행되는, 즉전달방식만전환된형태로제시

되었다.


47

으로 구성된다(OECD, 2015d, p.19). [그림 II-10]은 단일 텍스트에 대한 예시이다.

출처: OECD(2015d, p.39)를 재구성함.

[그림 Ⅱ-10] PISA 2018 읽기 문항 예시: 단일 텍스트

‘다중텍스트’ 문항은디지털매체환경의읽기능력을평가하기위해PISA 2018에새로

도입된유형이다. [그림Ⅱ-11]에나타난것과같이, 다중텍스트를기반으로하는단위문

항의 경우에는 두 개 이상의 텍스트로 구성되어 있으며, 과제 수행 및 문제 해결을 위한

적합한자료를찾기위해, 또는각텍스트의관점을비교하거나평가하기위해독자가제시

된텍스트를이동할수있기때문에기존의단일텍스트와차별화된다. 특히다중텍스트

문항의경우, [그림Ⅱ-11]에서제시된것처럼탭을클릭하여텍스트를이동하는방식외에

도 링크된 인터넷 웹 페이지를 검색할 수 있는 형태도 제시하고 있다는 점에서, ‘정적’인

방식의기존단일텍스트에비해 ‘동적’인방식을취하고있다고할수있다(OECD, 2015d,

p.19).


48

출처: OECD(2015d, p.40)를 재구성함.

[그림 Ⅱ-11] PISA 2018 읽기 문항 예시: 다중 텍스트

(2) 글로벌 역량

위에서언급된바와같이PISA 2018 글로벌역량평가에대한국제본부의계획에대변화

(글로벌역량의PISA 2018 예비검사취소, 글로벌역량파일럿시행계획)에따라2015년부터

개발된컴퓨터기반의문항사용은전면취소되고글로벌역량파일럿지필평가를위한새로

운 시나리오 기반의 평가도구 개발이 2016년 7월 말에 시작하여 현재에도 진행 중에 있다.

본연구팀이새로운평가도구(시나리오및문항) 개발에참여함으로써글로벌역량파일

럿을 위한 적극적이며 주도적인 역할을 하고 있으며 글로벌 역량 파일럿의 평가도구의

특성에 대한 정보를 수집‧분석하고있다. 그러나국제본부가 글로벌 역량 파일럿 문항에

대한 보안 준수를 요청함에 따라 본 절에서는 글로벌 역량의 문항 특성에 대한 기술을

생략하고, 글로벌 역량 새 문항의 특성 등에 관한 사항은 Ⅲ장 2절, 글로벌 역량 파일럿

평가도구 구성에 대한 논의와 Ⅳ장 1, 2, 3절의 글로벌 역량 평가도구 개발 관련 논의로

대체한다.


49

나. 추이 문항

PISA 2018에서수학과과학영역은새로운문항을제작하지않고이전주기에서사용했

던추이문항을사용한다. 컴퓨터기반평가에서사용되는추이문항은형식면에서2가지

형태로크게구분할수있는데지필평가와크게다르지않은형태의표준단위문항과시뮬

레이션기능과같이컴퓨터와응시자간의상호작용기능을포함하고있는문항으로구분

할 수 있다.

표준단위문항은이전주기에서지필평가용으로개발되었다가컴퓨터기반평가에사용

하기위해단순히포맷을바꾸어제작된문항들과컴퓨터기반평가를위해제작되었지만

특별한 상호작용 기능을 포함하고 있지 않은 문항이다.

[그림Ⅱ-12]는 PISA 2015 예비검사과학영역에서새문항으로사용되었다가공개문항

으로 전환된 문항으로, 지필평가와 유사한 형식을 가진 표준 단위문항에 해당한다. 표준

단위문항은 선택형 문항, 단답형 서술 문항 등이 주로 사용된다.

출처: OECD(2015b, p.9)

[그림 Ⅱ-12] PISA 2015 예비검사 과학 영역의 표준 단위문항 예시화면


50

[그림 Ⅱ-13]은 시뮬레이션을 포함하고 있어 상호작용이 가능한 문항의 예이다.

출처: OECD(2015b, pp.35-37)

[그림 Ⅱ-13] PISA 2015 예비검사 과학 영역의 상호작용 기능을 포함한 문항 예시화면

이문항에서학생들은더운날씨에서달리기를할때기온, 습도, 물마시기여부를조정

하여결과값으로달리기를한사람이배출하는땀의양, 물손실(%), 체온을얻는시뮬레이

션실험을시행할수있다. 여러다른조건에서수행된시뮬레이션을통해원하는결과값을

찾고이로부터답을찾아내게된다. 이문항은답을선택하는방법도드롭다운메뉴방식으

로 진행되어 새로운 문항 형태를 보여준다.

ⅢPISA 2018 예비검사 평가도구

설계 및 구성

1. PISA 2018 예비검사 평가도구 설계

2. PISA 2018 예비검사 평가도구 구성

Ⅲ. PISA 2018 예비검사 평가도구 설계 및 구성

53

1. PISA 2018 예비검사 평가도구 설계

컴퓨터기반평가를전면적으로실시한첫번째주기였던PISA 2015에이어PISA 2018

예비검사 역시 컴퓨터 기반 평가로 준비함에 따라 새롭게 개발하는 문항은 컴퓨터 기반

평가에 적합하도록 개발하였다. 다만 교육맥락변인에 대한 설문 조사 중, 학부모 설문은

응답자의 다양한 환경을 고려하여 지필 기반 평가로 계획하였다.

PISA 2018 예비검사는 인지적 영역에 대한 평가를 전반부, 교육맥락변인에 대한 설문

조사를후반부에실시하도록계획하였다. 평가대상과시간등을그림으로나타내면 [그림

Ⅲ-1]과 같다.

출처: OECD(2016n, pp.5-6)를 재구성함.

[그림 Ⅲ-1] PISA 2018 예비검사 설계 개요

PISA 2018 예비검사의문항은검사형(Form), 문항군(Cluster), 단위문항(Unit), 하위문

항(Item)으로분류된다. 하나의검사형은 4개의문항군으로이루어지고, 각문항군은 4～9

개의단위문항으로구성되며, 각단위문항은다시하위문항을포함한다. 예비검사에서새

롭게개발되는문항의경우, 단위문항별로하위문항을많이제작하여예비검사결과문항

의 질이 좋은 문항만을 선별적으로 본검사에서 사용한다(송미영, 최혁준 외, 2013).

PISA 2018 예비검사는읽기‧수학‧과학영역의추이문항군18개와읽기영역의새문항

군12개로구성되고, PISA 2018 본검사는읽기‧수학‧과학영역의추이문항군은예비검사

와 동일하게 18개이지만, 새 문항군을개발하는 읽기영역의 경우에는 9개의문항군으로

구성될예정이다(OECD, 2016g, p.3). 한편 PISA 2018 예비검사가아닌글로벌역량파일럿


54

을실시하는글로벌역량의경우, PISA 2018 본검사문항과관련된계획이확정되지않은

상태이므로 평가도구 설계와 관련된 논의에서 제외하였다.

<표 Ⅲ-1> PISA 2018 영역별 문항군 수

영역새 문항군 추이 문항군

예비검사 본검사 예비검사 본검사

읽기 12 9 6 6

수학 - - 6 6

과학 - - 6 6

출처: OECD(2016g, p.3)

추이 문항군과 새 문항군을 포함하여 PISA 2018 예비검사에서 평가도구를 구성하는

문항군 수, 단위문항 수, 하위문항 수를 영역별로 정리하면 <표 Ⅲ-2>와 같다.

<표 Ⅲ-2> PISA 2018 예비검사 영역별 문항 구성

영역 문항군 수 단위문항 수 하위문항 수

읽기 21 56 343

수학 6 40 70

과학 6 34 115

계 33 130 528

출처: 문항파일‘CY7_1604_COG_ReadingLiteracy_ItemInformation(TrendItemsOnly)_1.xlsx’, ‘CY7_1604_COG_ReadingLiteracy_ItemInform

ation(NewItemsOnly)_1.xlsx’, ‘CY7_1604_COG_Mathematics_ItemInformation(TrendItemsOnly)_1.xlsx’, ‘CY7_1604_COG_ScienceLite

racy_ItemInformation(TrendItemsOnly)_2.xlsx’에 제시된 세 영역의 문항 정보를 정리하여 구성함.

PISA 2018 예비검사에서인지적영역은평가대상을세집단으로구분하여모든학생들

이문항전체를풀지않아도타당한자료를얻을수있도록설계되었다. 집단Ⅰ에는읽기‧

수학‧과학 영역의 추이 문항군을, 집단 Ⅱ에는 읽기‧수학‧과학 영역의 추이 문항군과

PISA 2018에서새롭게개발된읽기영역의새문항군을, 집단Ⅲ에는읽기영역의새문항

군을배정할예정이다. 표집학교수, 각학교별표집학생수등표집설계와관련된사안은

PISA 2018 참여국과 국제본부 사이의 지속적인 논의를 통해 확정하므로, 구체적인 설계

내용은 변경될 수 있다(OECD, 2016g). 학교 표집과 표집 학생 수 등 표집설계와 관련된

내용은 Ⅴ장에서 상세히 제시하였다.


55

2. PISA 2018 예비검사 평가도구 구성

2015년에 이루어진 PISA 2015 인지적 영역 및 설문 영역의 문항 개발과 검토 결과를

토대로국제본부는2016년 4월에PISA 2018 예비검사를위한평가도구를참여국에제공하

였다. 국제본부가 제공한 PISA 2018 예비검사 평가도구는 읽기‧수학‧과학 영역의 추이

문항군각6개, 읽기의새문항묶음10) 8개로구성되며, 글로벌역량은PISA 2018 예비검사

에서 제외되고 별도의 글로벌 역량 파일럿이 시행될 계획이다.

가. 읽기

PISA 2018의주영역인읽기의평가도구는이전주기에서사용되었던추이문항과이번

주기에새롭게개발된새문항으로구성된다. PISA 2018 예비검사읽기소양의평가에는

6개의추이문항군(R1～R6A)과 8개의문항묶음(Batch1～Batch8)이사용될예정이다. 6개

의 읽기 추이 문항(R1∼R6)은 모두 25개의 단위문항, 89개의 하위문항으로 구성되었다.

<표 Ⅲ-3>은 PISA 2018 예비검사 읽기 추이 문항의 구성을 제시한 것이다.

<표 Ⅲ-3> PISA 2018 예비검사 읽기 추이 문항 구성

문항군단위

문항 수하위

문항 수단위문항 명

개발주기

최종사용주기

R1 4 14입사지원서, 이솝 우화, 셔츠, 남극(2문항)

2000

2015

남극(3문항)

R2 4 15 안경사, 교환학생, 약물을 투여한 거미, 전화 2000

R3 4 15아이들의 미래, 여름방학 아르바이트 구하기, 세계의언어, 나르시스

2009

R4 5 14비스킷

20092012

워크 라이트, 직원구함, 어느 책에 대하여, 멕시코 만

2015R5 4 15 공정 무역, 수면, 코케시 인형의 장인, 초콜릿과 건강 2009

R6A 4 16가사일, 영화평론, 코뿔소 2000

갈릴레오 2009

계 25 89

출처: 구자옥외(2015b, pp.34-36)와문항파일‘CY7_1604_COG_ReadingLiteracy_ItemInformation(TrendItemsOnly)_1.xlsx’를기초로구성함.

한편, PISA 2018 예비검사 읽기 영역에 사용될 새 문항은 8개의 문항묶음(Batch1～

Batch8), 31개단위문항과254개하위문항으로구성되어있다. PISA 2018 읽기새문항의

10) 읽기와 글로벌 역량의 새 문항군(Cluster)은 아직 확정되지 않은 상태로, 국제본부에서는 문항군 확정 전까지

문항묶음(Batch)이라는 용어로 문항군을 대체하여 사용하고 있다.


56

문항

묶음단위문항 문항 ID

평가틀

문항 유형상황

텍스트과정**

체재 유형 조직과 탐색

Batch1

전설을

만들다

CR540Q01 교육적 혼합적 설명 정적 1 단순선다형


CR540Q04 교육적 혼합적 설명 정적 3 구성형(H)



플라스틱

CR541Q01 공적 혼합적 논증 정적 2 단순선다형



CR541Q04 공적 혼합적 논증 정적 5 구성형(H)

CR541Q05 공적 연속적 논증 정적 4 단순선다형

CR541Q07 공적 연속적 논증 정적 4 복합선다형

구성 내용은 <표 Ⅲ-4>와 같다.

문항묶음

(Batch)단위문항 명*

단위

문항 수

하위

문항 수

1 전설을 만들다, 플라스틱, 게시판, 노벨, 테슬라, 마추픽추 6 51

2 의사소통수단의 발달, 희망도서 신청, 라파누이, 우유 4 32

3 문예지, 무담보소액대출, 날리니나드카르니, 개막공연, 세바스티앙살가도 5 34

4 양계 포럼, 청소년 건강 포럼, 거대 쓰레기 지대, 우주 쓰레기 4 30

5 클리프 팰리스, 올림픽기, 의자병, 초상(화) 4 33

6 병 속 편지, 전자레인지, 이주의 질문, 스켈릭 락스 4 38

7 락 페스티벌, 공수 소방대원, 청소, 부탁 4 36

8** 문장 유창성 검사 - -

계 31 254

<표 Ⅲ-4> PISA 2018 예비검사 읽기 새 문항 구성

* 국제본부에서제공한 ‘CY7_1604_COG_ReadingLiteracy_ItemInformation(NewItemsOnly)_1.xlsx’ 엑셀파일의자료를기초로작성함.

* 읽기 새 문항은 현재 문항 개발은 완료된 상태이나 문항묶음 구성 정보가 참여국에 완전히 공개되지는 않은 상태이므로

여기서는 단위문항 명을 중심으로 기술함.

*단위문항명은현재검증작업이진행중으로확정된것은아님.추후번역/번안내용에대한국제본부승인이이루어지면수정후확정될예정임.

** Batch 8은읽기유창성을평가하기위해문장을읽고예/아니오를표시하는형태로구성되어있으며, 단위문항과하위문항

수에는 포함시키지 않음.

<표 Ⅲ-5>는 PISA 2018 예비검사 새 문항 정보를 읽기 평가틀의 하위 영역인 ‘상황’,

‘텍스트’, ‘과정’과 문항 유형을 기준으로 하여 제시한 것이다.

<표 Ⅲ-5> PISA 2018 예비검사 읽기 영역 새 문항 정보


57

문항


평가틀

문항 유형상황

텍스트과정**



CR541Q09 공적 연속적 논증 정적 5 구성형(H)

CR541Q10 공적 혼합적 논증 역동적 6 단순선다형

CR541Q11 공적 혼합적 논증 역동적 6 구성형(H)

게시판

CR542Q01 공적 혼합적 상호 정적 3(MS) 단순선다형

CR542Q02 공적 혼합적 상호 정적 3(MS) 구성형(H)

CR542Q03 공적 혼합적 상호 정적 7 구성형(H)


CR542Q05 공적 혼합적 상호 정적 3 단순선다형


CR542Q08 공적 혼합적 상호 정적 3(MS) 단순선다형

CR542Q09 공적 혼합적 상호 정적 3(MS) 복합선다형

알프레드

노벨

CR543Q01 교육적 연속적 설명 정적 3 단순선다형



CR543Q05 교육적 연속적 설명 정적 3 구성형(H)



CR543Q11 다중적 연속적 다중 역동적 6 복합선다형

CR543Q13 다중적 연속적 다중 역동적 7 복합선다형

CR543Q14 다중적 연속적 다중 역동적 2 구성형(H)


니콜라

테슬라






CR544Q09 공적 연속적 서사 정적 4 구성형(H)

CR544Q10 공적 연속적 서사 정적 2 단순선다형


CR544Q12 공적 연속적 다중 역동적 6 단순선다형

CR544Q13 공적 연속적 다중 역동적 6 구성형(H)

CR544Q14 공적 연속적 다중 역동적 6 복합선다형

마추픽추








Batch2소식

전하기

CR546Q01 개인적 연속적 설명 정적 1 단순선다형

CR546Q03 개인적 연속적 설명 정적 4 구성형(H)




58

문항


평가틀

문항 유형상황

텍스트과정**


희망 도서

신청

CR547Q01 교육적 연속적 교섭 역동적 4 단순선다형



CR547Q04 교육적 혼합적 지시 정적 1 구성형(H)

CR547Q05 교육적 혼합적 지시 정적 1 복합선다형

CR547Q06 교육적 혼합적 지시 정적 3 단순선다형

CR547Q07 교육적 혼합적 다중 역동적 3(MS) 복합선다형

CR547Q09 교육적 혼합적 다중 역동적 7 구성형(H)

CR547Q10 교육적 혼합적 다중 역동적 3(MS) 복합선다형

라파누이

CR551Q01 개인적 연속적 서사 역동적 1 단순선다형



CR551Q05 개인적 연속적 서사 역동적 4 구성형(H)



CR551Q08 공적 연속적 설명 정적 1 단순선다형


CR551Q10 다중적 연속적 다중 역동적 3(MS) 복합선다형


우유

CR557Q03 개인적 연속적 논증 정적 4 단순선다형


CR557Q05 개인적 연속적 논증 정적 3 복합선다형

CR557Q07 개인적 연속적 논증 정적 2 복합선다형


CR557Q10 개인적 연속적 논증 정적 4 구성형(H)

CR557Q12 개인적 연속적 논증 정적 3(MS) 복합선다형


CR557Q14 개인적 연속적 논증 정적 6 구성형(H)

Batch3

문예지

CR554Q01 개인적 연속적 서사 정적 4 단순선다형




CR554Q07 개인적 연속적 서사 정적 3 구성형(H)

무담보

소액대출

CR556Q01 교육적 연속적 설명 역동적 1 단순선다형

CR556Q02 교육적 연속적 설명 역동적 4 복합선다형

CR556Q03 교육적 연속적 설명 역동적 2 단순선다형

CR556Q04 교육적 연속적 논증 역동적 4 단순선다형

CR556Q05 교육적 연속적 논증 역동적 2 단순선다형

CR556Q07 교육적 연속적 논증 역동적 4 구성형(H)

CR556Q09 교육적 연속적 논증 정적 4 구성형(H)

CR556Q10 교육적 연속적 논증 정적 3 단순선다형

CR556Q11 교육적 연속적 논증 정적 3 단순선다형

CR556Q12 교육적 연속적 다중 역동적 2 복합선다형

CR556Q15 교육적 연속적 다중 역동적 6 구성형(H)


59

문항


평가틀

문항 유형상황

텍스트과정**


날리니

나드카르니






CR559Q08 교육적 연속적 설명 정적 3 구성형(H)

개막 공연



CR562Q05 개인적 연속적 서사 정적 3 복합선다형




세바스티앙

살가도







Batch4

건강한 닭

키우기

포럼

CR548Q02 개인적 연속적 교섭 정적 4 단순선다형






CR548Q09 개인적 연속적 교섭 정적 3(MS) 구성형(H)

청소년

건강 포럼



CR553Q04 개인적 연속적 교섭 정적 4 구성형(H)

CR553Q06 개인적 연속적 교섭 정적 5 구성형(H)

CR553Q05 공적 비연속적 기술 정적 7 단순선다형


태평양의

거대한

쓰레기

지대

CR560Q10 공적 비연속적 기술 정적 7 복합선다형

CR560Q01 공적 연속적 설명 정적 1 복합선다형






우주

쓰레기

CR568Q14 공적 비연속적 기술 정적 7 복합선다형



CR568Q06 공적 연속적 설명 정적 2 구성형(H)




60

문항


평가틀

문항 유형상황

텍스트과정**




CR568Q12 공적 연속적 설명 역동적 3(MS) 구성형(H)

CR568Q13 공적 연속적 설명 역동적 6 구성형(H)

Batch5

클리프팰리

스

CR550Q08 공적 혼합적 설명 역동적 7 단순선다형

CR550Q09 공적 혼합적 설명 역동적 7 구성형(H)






CR550Q06 공적 혼합적 설명 역동적 7 복합선다형

CR550Q07 공적 혼합적 설명 역동적 3(MS) 구성형(H)

올림픽기

CR561Q01 공적 연속적 교섭 정적 4 단순선다형

CR561Q02 공적 연속적 교섭 정적 5 구성형(H)

CR561Q03 공적 연속적 교섭 정적 3 단순선다형

CR561Q04 공적 연속적 교섭 정적 5 복합선다형






의자병

CR565Q01 교육적 혼합적 기술 정적 3(MS) 단순선다형

CR565Q02 교육적 혼합적 기술 정적 6 구성형(H)

CR565Q03 교육적 혼합적 기술 정적 6 단순선다형







초상







Batch6병 속의

편지









61

문항


평가틀

문항 유형상황

텍스트과정**



CR549Q13 공적 연속적 다중 역동적 3(MS) 복합선다형


전자레인지










금주의

문제






CR563Q03 공적 혼합적 설명 역동적 3(MS) 단순선다형

CR563Q04 공적 혼합적 설명 역동적 4 복합선다형




스켈릭

락스

CR566Q02 공적 연속적 서사 정적 1 복합선다형





CR566Q06 공적 비연속적 설명 정적 3 단순선다형




Batch7

락

페스티벌

CR552Q01 개인적 연속적 교섭 역동적 1 단순선다형


CR552Q06 직업적 혼합적 지시 정적 2 단순선다형

CR552Q02 직업적 혼합적 지시 정적 4 복합선다형

CR552Q05 직업적 혼합적 지시 정적 3 구성형(H)

CR552Q04 다중적 혼합적 다중 역동적 3(MS) 구성형(H)

CR552Q08 다중적 혼합적 다중 역동적 3(MS) 구성형(H)


CR552Q11 다중적 혼합적 다중 역동적 6 구성형(H)

공수

소방대원

CR567Q01 직업적 연속적 설명 정적 4 복합선다형

CR567Q02 직업적 연속적 설명 정적 4 단순선다형

CR567Q03 직업적 연속적 설명 정적 4 구성형(H)



62

문항


평가틀

문항 유형상황

텍스트과정**


CR567Q05 직업적 연속적 설명 정적 4 복합선다형





CR567Q10 직업적 혼합적 지시 정적 2 단순선다형

CR567Q11 직업적 혼합적 다중 역동적 3(MS) 복합선다형

청소


CR569Q02 개인적 연속적 교섭 정적 3 복합선다형


CR569Q04 직업적 비연속적 기술 정적 1 단순선다형

CR569Q05 직업적 비연속적 기술 정적 1 단순선다형

CR569Q06 직업적 비연속적 기술 정적 3 구성형(H)

CR569Q07 직업적 비연속적 기술 정적 3 구성형(H)

부탁



CR570Q03 개인적 혼합적 교섭 정적 4 단순선다형

CR570Q04 개인적 혼합적 교섭 정적 4 복합선다형

CR570Q05 개인적 혼합적 교섭 역동적 3(MS) 단순선다형




CR570Q10 개인적 혼합적 다중 역동적 2 구성형(H)

출처: 국제본부에서제공한 ‘CY7_1604_COG_ReadingLiteracy_ItemInformation(NewItemsOnly)_1.xlsx’ 엑셀파일자료를기초로작성함.

* ‘과정’에서 1.훑어보기와위치파악, 2.내용과형식성찰, 3.통합과추론생성, 4.축자적의미표상, 5.정보의질과신뢰성평가,

6.협력과 갈등 관리, 7.텍스트 검색과 선택

이와같은문항구성은PISA 2018읽기영역평가틀을구성하는요소와평가문항의유형을

기준으로재분류할수있는데, 먼저읽기상황에따른문항구성비율은<표Ⅲ-6>과같다.

<표 Ⅲ-6> 읽기 상황에 따른 PISA 2018 예비검사 읽기 영역 문항 분포11)

읽기 상황 문항 수 문항 비율(%)

공적 123 48.4

개인적 60 23.6

교육적 44 17.3직업적 18 7.1

다중적 9 3.5

합계 254 100

출처: 구자옥 외(2015b, p.37)와 국제본부 문항 파일 ‘CY7_1604_COG_ReadingLiteracy_ItemInformation(NewItemsOnly)_1.xlsx’ ,

‘CY7_1604_COG_ReadingLiteracy_ItemInformation(TrendItemsOnly)_1.xlsx’를기초로구성함.

11) 각영역의요소에따른문항분포표의문항비율의경우반올림한값이므로그합계가100%가되지않을수있다.


63

PISA 2018 읽기영역에는공적상황의읽기를평가하는문항이48.4%로가장많고, 그

다음으로 많은 문항이 개인적 상황(23.6%)이었다. 반면 직업적 상황의 읽기를 평가하는

문항이 7.1%, 다중적 상황의 읽기를 평가하는 문항이 3.5%였다.

다음으로 PISA 2018 읽기평가틀을구성하는텍스트요소중하나인체재에따른문항

구성 비율을 살펴보면 <표 Ⅲ-7>과 같다.

<표 Ⅲ-7> 텍스트 체재에 따른 PISA 2018 예비검사 읽기 영역 문항 분포

텍스트 체재 문항 수 문항 비율(%)

연속적 텍스트 175 68.9

비연속적 텍스트 68 26.8

혼합 텍스트 11 4.3

합계 254 100



PISA 2018에 활용된 텍스트는 연속적 텍스트가 68.9%로 가장 많은 비율을 차지하고

있는데, 연속적텍스트의예로는신문기사, 편지, 에세이, 소설등이있다. 비연속적텍스트

는 26.8%로서 목록, 표, 그래프, 도식, 일정표, 색인 등과 같은 텍스트 체재를 의미한다.

텍스트체재와더불어PISA 2018 읽기평가틀을구성하는텍스트요소인텍스트유형에

따른 문항 구성 비율을 살펴보면 <표 Ⅲ-8>과 같다.

<표 Ⅲ-8> 텍스트 유형에 따른 PISA 2018 예비검사 읽기 영역 문항 분포

텍스트 유형 문항 수 문항 비율(%)

논증 53 20.9

기술 19 7.5

설명 64 25.2

서사 44 17.3

지시 10 3.9

상호 8 3.1

교섭 32 12.6

다중 24 9.5

합계 254 100

출처: 국제본부에서제공한‘CY7_1604_COG_ReadingLiteracy_ItemInformation(NewItemsOnly)_1.xlsx’ , ‘CY7_1604_COG_ReadingLiter

acy_ItemInformation(TrendItemsOnly)_1.xlsx’를기초로구성함.


64

PISA 2018에 활용된 읽기 텍스트는설명 텍스트가 25.2%로 가장 많고, 논증 텍스트가

20.9%로 두 번째로 높은 비율을 차지하였다. 서사 텍스트나 교섭 텍스트는 각각 17.3%,

12.6%를 차지하였다.

다음으로읽기평가틀의마지막구성요소인읽기과정에따라문항구성비율을살펴보

면 <표 Ⅲ-9>와 같다.

<표 Ⅲ-9> 읽기 과정에 따른 PISA 2018 예비검사 읽기 영역 문항 분포

과정 문항 수 문항 비율(%)

훑어보기와 위치 파악 27 10.6

내용과 형식 성찰 32 12.6

통합과 추론 생성 52 20.5

통합과 추론 생성(MS) 18 7.1

축자적 의미 표상 68 26.8

정보의 질과 신뢰성 평가 10 3.9

협력과 갈등 관리 23 9.1

텍스트 검색과 선택 24 9.4

합계 254 100

출처: 국제본부에서제공한‘CY7_1604_COG_ReadingLiteracy_ItemInformation(NewItemsOnly)_1.xlsx’ , ‘CY7_1604_COG_ReadingLiter

acy_ItemInformation(TrendItemsOnly)_1.xlsx’를기초로구성함.

마지막으로PISA 2018 읽기문항은문항유형에따라서도분석이가능하다. 문항유형은

문항의 속성과 채점 방식에 따라 크게 선다형과 구성형으로 구분된다. 선다형은 선택지

가운데하나를고르는단순선다형(simple multiple choice)과두개이상의보기중하나를

선택하는세부문항들의집합으로구성된복합선다형(complex multiple choice)이있으며,

구성형은영역전문가에의해채점되어야하는구성형H(Open Response-Human Coded)

의 유형이 있다. 문항 유형에 따라 PISA 2018 예비검사 읽기 영역의 문항 구성 비율을

살펴보면 <표 Ⅲ-10>과 같다.

<표 Ⅲ-10> 문항 유형에 따른 PISA 2018 예비검사 읽기 영역 문항 분포

문항 유형 문항 수 문항 비율(%)

선다형단순 선다형 139 54.7

복합 선다형 47 18.5

구성형(H) 68 26.8

합계 254 100




65

문항군단위

문항 수

하위


개발

주기

최종

사용주기

M1 8 12방의 가구 배치도, 인구 피라미드, 벽돌 2000

2015

달리기 기록, 다이빙, 통조림 캔, 점자, 나머지 한 변 2003

M2 8 11

통에 물 채우기 2000

지도, 현금인출, 동전던지기, 육상트랙, 숫자검사, 정

지하는 자동차, 리프트2003

M3 9 11

배관 2000

타일붙이기, 복권추첨, 교통수단, 온도계귀뚜라미, 전

화통화요금, 이산화탄소, 돼지우리만들기, 컴퓨터게임2003

M4 5 12 취업 현황, 간격재, 탄소세, 미친 개미, 휠체어 농구 2012

M5 5 12속도위반벌금, 지붕트러스설계, 광고탑, 이민, 자전거

대여2012

M6A 5 12테니스공, The Z의팬기획상품, 약복용량, 아치, 독감

검사2012

계 40 70

나. 수학

PISA 2018에서수학 영역은보조영역이므로 수학이주영역이었던PISA 2003과 PISA

2012의문항을 PISA 2018 예비검사에서사용한다. 즉, PISA 2015와동일하게 PISA 2000

과 PISA 2003에서 개발된 3개의 문항군(M1∼M3)과 PISA 2012에서 새로 개발된 3개의

문항군(M4∼M6A)으로PISA 2018 예비검사수학영역의평가도구를구성하였다(구자옥

외, 2015b; OECD, 2016n). 각 문항군 별 구체적인 내용은 <표 Ⅲ-11>과 같다.

<표 Ⅲ-11> PISA 2018 예비검사 수학 추이 문항 구성

출처: 구자옥외(2015b, pp.39-41)와 문항 파일 ‘CY7_1604_COG_Mathematics_ItemInformation(TrendItemsOnly)_1.xlsx’를 기초로

구성함.

PISA 2018 예비검사의단위문항별문항정보를수학평가틀의하위영역과문항유형을

기준으로 정리하면 <표 Ⅲ-12>와 같다.


66

문항군 단위문항 문항ID평가틀

문항 유형맥락 내용 과정

M1

방의 가구 배치도 CM033Q01S 개인적 공간과 모양 해석하기 단순선다형

달리기 기록 CM474Q01S 개인적 양 이용하기 단순선다형

인구 피라미드

DM155Q02C 과학적 변화와 관계 해석하기 구성형(H)

CM155Q01S 과학적 변화와 관계 이용하기 복합선다형

DM155Q03C 과학적 변화와 관계 이용하기 구성형(H)

CM155Q04S 과학적 변화와 관계 해석하기 복합선다형

다이빙CM411Q01S 사회적 양 이용하기 구성형(C)

CM411Q02S 사회적 불확실성과 자료 해석하기 단순선다형

통조림 캔 CM803Q01S 직업적 불확실성과 자료 형식화하기 구성형(C)

점자 CM442Q02S 사회적 양 해석하기 복합선다형

나머지 한 변 DM462Q01C 과학적 공간과 모양 이용하기 구성형(H)

벽돌 CM034Q01S 직업적 공간과 모양 형식화하기 구성형(C)

M2

지도 CM305Q01S 사회적 공간과 모양 이용하기 단순선다형

현금 인출CM496Q01S 사회적 양 형식화하기 복합선다형

CM496Q02S 사회적 양 이용하기 구성형(C)

동전 던지기 CM423Q01S 개인적 불확실성과 자료 해석하기 단순선다형

통에 물 채우기 CM192Q01S 과학적 변화와 관계 형식화하기 복합선다형

육상 트랙DM406Q01C 사회적 공간과 모양 이용하기 구성형(H)

DM406Q02C 사회적 공간과 모양 형식화하기 구성형(H)

숫자 검사 CM603Q01S 과학적 양 이용하기 복합선다형

정지하는 자동차 CM571Q01S 과학적 변화와 관계 해석하기 단순선다형

리프트CM564Q01S 사회적 양 형식화하기 단순선다형

CM564Q02S 사회적 불확실성과 자료 형식화하기 단순선다형

M3

타일 붙이기 CM447Q01S 사회적 공간과 모양 이용하기 단순선다형

배관 CM273Q01S 직업적 공간과 모양 이용하기 복합선다형

복권 추첨 CM408Q01S 사회적 불확실성과 자료 해석하기 복합선다형

교통 수단 CM420Q01S 개인적 불확실성과 자료 해석하기 복합선다형

온도계 귀뚜라미CM446Q01S 과학적 변화와 관계 형식화하기 구성형(C)

DM446Q02C 과학적 변화와 관계 형식화하기 구성형(H)

전화 통화 요금 CM559Q01S 사회적 양 해석하기 단순선다형

이산화탄소DM828Q02C 과학적 불확실성과 자료 이용하기 구성형(H)

CM828Q03S 과학적 양 이용하기 구성형(C)

돼지우리 만들기 CM464Q01S 사회적 공간과 모양 형식화하기 구성형(C)

컴퓨터 게임 CM800Q01S 개인적 양 이용하기 단순선다형

M4

취업 현황

CM982Q01S 사회적 불확실성과 자료 이용하기 구성형(C)


CM982Q03S 사회적 불확실성과 자료 해석하기 복합선다형

CM982Q04S 사회적 불확실성과 자료 형식화하기 단순선다형

간격재

CM992Q01S 직업적 공간과 모양 형식화하기 구성형(C)


DM992Q03C 직업적 변화와 관계 형식화하기 구성형(H)

탄소세 CM915Q01S 사회적 불확실성과 자료 이용하기 단순선다형

<표 Ⅲ-12> PISA 2018 예비검사 수학 영역 문항 정보


67

문항군 단위문항 문항ID평가틀

문항 유형맥락 내용 과정

CM915Q02S 사회적 변화와 관계 이용하기 구성형(C)

미친 개미CM906Q01S 과학적 양 이용하기 단순선다형

DM906Q02C 과학적 양 이용하기 구성형(H)

휠체어 농구 DM00KQ02C 개인적 공간과 모양 형식화하기 구성형(H)

M5

속도 위반 벌금

CM909Q01S 사회적 양 해석하기 구성형(C)

CM909Q02S 사회적 양 이용하기 단순선다형

CM909Q03S 사회적 변화와 관계 해석하기 구성형(C)

지붕 트러스 설계

CM949Q01S 직업적 공간과 모양 이용하기 복합선다형

CM949Q02S 직업적 공간과 모양 이용하기 복합선다형

DM949Q03C 직업적 공간과 모양 형식화하기 구성형(H)

광고탑 CM00GQ01S 개인적 공간과 모양 형식화하기 구성형(C)

이민

DM955Q01C 사회적 불확실성과 자료 해석하기 구성형(H)

DM955Q02C 사회적 불확실성과 자료 해석하기 구성형(H)


자전거 대여DM998Q02C 개인적 변화와 관계 해석하기 구성형(H)

CM998Q04S 개인적 변화와 관계 이용하기 복합선다형

M6A

테니스 공CM905Q01S 직업적 양 해석하기 복합선다형

DM905Q02C 직업적 양 해석하기 구성형(H)

The Z의 팬 기획

상품

CM919Q01S 개인적 양 이용하기 구성형(C)

CM919Q02S 개인적 양 형식화하기 구성형(C)

약 복용량

CM954Q01S 과학적 변화와 관계 이용하기 구성형(C)

DM954Q02C 과학적 변화와 관계 이용하기 구성형(H)

CM954Q04S 과학적 변화와 관계 이용하기 구성형(C)

아치CM943Q01S 직업적 변화와 관계 형식화하기 단순선다형


독감 검사

DM953Q02C 과학적 불확실성과 자료 해석하기 구성형(H)

CM953Q03S 과학적 불확실성과 자료 형식화하기 구성형(C)

DM953Q04C 과학적 불확실성과 자료 형식화하기 구성형(H)

출처: 국제본부에서제공한 ‘CY7_1604_COG_Mathematics_ItemInformation(TrendItemsOnly)_1.xlsx’ 엑셀파일의자료를기초로작성함.

PISA 2018 예비검사 수학 영역에서 사용되는 하위문항을 수학 평가틀의 하위요소인

‘맥락’에 따라 문항을 분류하여 나타낸 문항 분포는 <표 Ⅲ-13>과 같다.

<표 Ⅲ-13> 맥락에 따른 PISA 2018 예비검사 수학 영역 문항 분포

맥락 하위문항 수 문항 비율(%)

개인적 11 15.7

과학적 20 28.6

사회적 26 37.1

직업적 13 18.6

계 70 100

출처: 구자옥외(2015b, p.42)와문항파일 ‘CY7_1604_COG_Mathematics_ItemInformation(TrendItemsOnly)_1.xlsx’를기초로구성함.


68

‘사회적’ 맥락의 문항이 37.1%로 가장 많았고, ‘과학적’ 맥락의 문항이 28.6%, ‘직업적’

맥락의 문항이 18.6%, ‘개인적’ 맥락의 문항이 15.7%로 나타났다.

PISA 2018 예비검사수학 평가틀의하위요소인 ‘수학적내용’에따라문항을 분류하여

나타낸문항분포는<표Ⅲ-14>와같다. ‘불확실성과자료’, ‘양’에대한문항이각각25.7%,

‘변화와관계’, ‘공간과모양’에대한문항이각각 24.3%로나타나, 수학적내용의측면에서

볼 때 각 하위요소별로 문항이 고르게 분포하였다.

<표 Ⅲ-14> 수학적 내용에 따른 PISA 2018 예비검사 수학 영역 문항 분포

수학적 내용 하위문항 수 문항 비율(%)

공간과 모양 17 24.3

변화와 관계 17 24.3

불확실성과 자료 18 25.7

양 18 25.7

계 70 100


PISA 2018 예비검사수학 평가틀의하위요소인 ‘수학적과정’에따라문항을 분류하여

나타내면<표Ⅲ-15>와같다. ‘이용하기’에 대한문항이 41.4%로 가장많았고, ‘형식화하

기’에 대한 문항이 31.4%, ‘해석하기’에 대한 문항이 27.1%로 나타났다.

<표 Ⅲ-15> 수학적 과정에 따른 PISA 2018 예비검사 수학 영역 문항 분포

수학적 과정 하위문항 수 문항 비율(%)

해석하기 19 27.1

이용하기 29 41.4

형식화하기 22 31.4

계 70 100


문항 유형에 따라 PISA 2018 예비검사 수학 영역의 문항 구성 비율을 나타내면 <표

Ⅲ-16>과같다. 문항유형은선다형과구성형으로구분되고, 선다형은모두컴퓨터에의해

자동 채점되며 단순선다형과 복합선다형으로 나누어진다. 구성형은 영역 전문가에 의한

채점이 필요한(Human Coded) 구성형(H)과 컴퓨터에 의해 자동 채점되는(Computer


69

문항군단위

문항 수

하위


개발

주기

최종

사용주기

S1 6 20

야생귀리, 플라스틱 시대 2006

2015

안개에서얻은물, 산불과화재삼각형, 해양서식지에서

의 소리, 물고기 보존2015

S2 5 18펭귄 섬, 녹색공원 2006

전구 비교, 뇌로 조종하는 로봇공학, 암모나이트 2015

S3 6 20

숟가락 2000

우유 2003

산불 2006

침입종, 코끼리와 아카시아 나무, 도시 열섬 효과 2015

Scored) 구성형(C)으로구분된다. 문항유형가운데선다형문항은 42.9%에해당하고, 구

성형 문항은 57.1%이다. 세부적으로 살펴보면, 컴퓨터에 의해 자동 채점되는 구성형(C)

문항이 31.4%로 가장 많았다.

<표 Ⅲ-16> 문항 유형에 따른 PISA 2018 예비검사 수학 영역 문항 분포

문항 유형 하위문항 수 문항 비율(%)

선다형단순선다형 16 22.9

복합선다형 14 20.0

구성형구성형(H) 18 25.7

구성형(C) 22 31.4

계 70 100


다. 과학

PISA 2018에서과학은주영역이아니므로추이문항만으로구성된다. PISA 2018 예비

검사에사용될문항은6개의문항군, 34개의단위문항, 115개의하위문항으로이루어졌다.

34개의 단위문항 중 PISA 2000과 PISA 2003에 개발되었던 단위문항은 각각 1개씩이며,

과학이주영역이었던PISA 2006에개발된단위문항은 11개, PISA 2015에개발된단위문

항은 21개이다. 과학추이문항구성에사용된문항의수와단위문항명은<표Ⅲ-17>과

같다.

<표 Ⅲ-17> PISA 2018 예비검사 과학 추이 문항 구성


70

문항군단위

문항 수

하위


개발

주기

최종

사용주기

S4 5 18

공룡의 멸종, 우유 속의 박테리아 2006

태양열조리기, 생명거주가능지역, 백신접종과질병의

확산2015

S5 6 20소화 실험, 개발과 재해 2006

지구대기의이산화탄소, 지열에너지, 나노입자, 토네이도 2015

S6 6 19항생제, 태양 전지판 2006

쓰나미 이해, 기름 유출, 자동차 타이어, 새와 애벌레 2015

계 34 115

문항군 단위문항 문항 ID평가틀 하위 요소

문항 유형맥락 역량 지식 계

S1

야생귀리

CS408Q01S 지역적/국가적 과학적 현상 설명 내용 생물계 단순선다형

DS408Q03C 지역적/국가적 과학적 현상 설명 내용 생물계 구성형(H)

CS408Q04S 지역적/국가적 과학적 현상 설명 내용 생물계 복합선다형

CS408Q05S 지역적/국가적 탐구의 평가/설계 절차적 생물계 단순선다형

안개에서

얻은 물

CS604Q02S 전 세계적 과학적 현상 설명 내용 물상계 복합선다형

DS604Q04C 전 세계적 탐구의 평가/설계 인식론적 물상계 구성형(H)

산불과

화재

삼각형

DS625Q01C 지역적/국가적 과학적 현상 설명 내용 물상계 구성형(H)

CS625Q02S 지역적/국가적 과학적 현상 설명 내용 물상계 단순선다형

CS625Q03S 지역적/국가적 과학적 현상 설명 내용 물상계 복합선다형

해양

서식지에

서의 소리

CS626Q01S 지역적/국가적 과학적 현상 설명 내용 물상계 단순선다형

CS626Q02S 지역적/국가적 탐구의 평가/설계 절차적 물상계 단순선다형

CS626Q03S 지역적/국가적 자료/증거의 해석 절차적 물상계 단순선다형

플라스틱

시대

CS413Q06S 지역적/국가적 자료/증거의 해석 내용 물상계 복합선다형

CS413Q04S 지역적/국가적 자료/증거의 해석 내용 물상계 복합선다형

CS413Q05S 지역적/국가적 자료/증거의 해석 내용 물상계 단순선다형

물고기

보존


CS635Q02S 지역적/국가적 탐구의 평가/설계 절차적 생물계 복합선다형

DS635Q03C 지역적/국가적 탐구의 평가/설계 절차적 생물계 구성형(H)

CS635Q04S 지역적/국가적 탐구의 평가/설계 절차적 생물계 구성형(C)

DS635Q05C 지역적/국가적 과학적 현상 설명 절차적 생물계 구성형(H)

S2전구

비교

DS643Q03C 개인적 과학적 현상 설명 내용 물상계 구성형(H)

CS643Q01S 개인적 자료/증거의 해석 절차적 물상계 단순선다형

출처: 구자옥외(2015b, p.23)와문항파일 ‘CY7_1604_COG_ScienceLiteracy_ItemInformation(TrendItemsOnly)_2.xlsx’를기초로구성함.

PISA 2018 예비검사 문항 정보를 과학 평가틀의 하위 영역인 ‘맥락’, ‘역량’, ‘지식’, ‘계

(system)’와 문항 유형을 기준으로 구분하여 제시하면 <표 Ⅲ-18>과 같다.

<표 Ⅲ-18> PISA 2018 예비검사 과학 영역 문항 정보


71



CS643Q02S 개인적 탐구의 평가/설계 절차적 물상계 복합선다형

CS643Q04S 개인적 탐구의 평가/설계 절차적 물상계 복합선다형

DS643Q05C 개인적 탐구의 평가/설계 인식론적 물상계 구성형(H)

뇌로

조종하는

로봇공학

DS610Q01C 개인적 과학적 현상 설명 내용 생물계 구성형(H)

CS610Q02S 개인적 과학적 현상 설명 내용 생물계 단순선다형

펭귄 섬



CS425Q02S 지역적/국가적 자료/증거의 해석 절차적 생물계 단순선다형

DS425Q04C 전 세계적 탐구의 평가/설계 인식론적 생물계 구성형(H)

녹색 공원

CS438Q01S 지역적/국가적 탐구의 평가/설계 절차적 생물계 복합선다형


DS438Q03C 지역적/국가적 탐구의 평가/설계 인식론적 물상계 구성형(H)

암모나이트

CS608Q01S 지역적/국가적 과학적 현상 설명 내용 지구‧우주계 복합선다형

CS608Q02S 전 세계적 자료/증거의 해석 인식론적 생물계 복합선다형

CS608Q03S 전 세계적 과학적 현상 설명 내용 물상계 단순선다형

DS608Q04C 지역적/국가적 자료/증거의 해석 절차적 지구‧우주계 구성형(H)

산불CS466Q01S 지역적/국가적 탐구의 평가/설계 절차적 물상계 복합선다형

CS466Q07S 지역적/국가적 탐구의 평가/설계 인식론적 물상계 복합선다형

침입종





S3

우유

DS326Q01C 지역적/국가적 자료/증거의 해석 절차적 생물계 구성형(H)




숟가락 CS256Q01S 개인적 과학적 현상 설명 내용 물상계 단순선다형

도시 열섬

효과

CS602Q01S 지역적/국가적 자료/증거의 해석 절차적 지구‧우주계 복합선다형



CS602Q04S 지역적/국가적 자료/증거의 해석 절차적 생물계 복합선다형

코끼리와

아카시아

나무


DS603Q02C 지역적/국가적 탐구의 평가/설계 인식론적 생물계 구성형(H)

CS603Q03S 지역적/국가적 과학적 현상 설명 절차적 생물계 단순선다형



S4

공룡의

멸종

CS527Q01S 전 세계적 자료/증거의 해석 인식론적 지구‧우주계 복합선다형

CS527Q03S 전 세계적 과학적 현상 설명 내용 지구‧우주계 복합선다형

CS527Q04S 전 세계적 자료/증거의 해석 내용 지구‧우주계 복합선다형

태양열

조리기


CS629Q02S 지역적/국가적 과학적 현상 설명 내용 물상계 복합선다형

DS629Q03C 지역적/국가적 자료/증거의 해석 절차적 지구‧우주계 구성형(H)

CS629Q04S 지역적/국가적 탐구의 평가/설계 인식론적 물상계 복합선다형


72



생명 거주

가능 지역

DS648Q01C 전 세계적 자료/증거의 해석 절차적 지구‧우주계 구성형(H)

CS648Q02S 전 세계적 자료/증거의 해석 절차적 지구‧우주계 복합선다형


우유 속의

박테리아



DS428Q05C 전 세계적 과학적 현상 설명 내용 생물계 구성형(H)

백신

접종과

질병의

확산

CS634Q01S 전 세계적 자료/증거의 해석 절차적 생물계 복합선다형

CS634Q02S 전 세계적 자료/증거의 해석 절차적 생물계 복합선다형

DS634Q03C 전 세계적 과학적 현상 설명 절차적 생물계 구성형(H)

DS634Q05C 전 세계적 탐구의 평가/설계 인식론적 생물계 구성형(H)

CS634Q04S 전 세계적 탐구의 평가/설계 인식론적 생물계 복합선다형

S5

지구

대기의

이산화탄소



DS645Q04C 전 세계적 과학적 현상 설명 내용 지구‧우주계 구성형(H)

소화 실험

CS498Q02S 지역적/국가적 탐구의 평가/설계 절차적 물상계 복합선다형



개발과

재해


DS514Q03C 지역적/국가적 과학적 현상 설명 내용 지구‧우주계 구성형(H)

DS514Q04C 지역적/국가적 자료/증거의 해석 인식론적 지구‧우주계 구성형(H)

지열

에너지


CS605Q02S 지역적/국가적 자료/증거의 해석 내용 지구‧우주계 복합선다형

CS605Q03S 전 세계적 자료/증거의 해석 절차적 물상계 단순선다형

DS605Q04C 지역적/국가적 과학적 현상 설명 내용 지구‧우주계 구성형(H)

나노입자

CS646Q01S 전 세계적 자료/증거의 해석 절차적 물상계 단순선다형

CS646Q02S 전 세계적 탐구의 평가/설계 절차적 물상계 구성형(C)

CS646Q03S 전 세계적 탐구의 평가/설계 절차적 물상계 단순선다형

DS646Q04C 전 세계적 과학적 현상 설명 절차적 물상계 구성형(H)

DS646Q05C 전 세계적 탐구의 평가/설계 인식론적 물상계 구성형(H)

토네이도CS620Q01S 지역적/국가적 자료/증거의 해석 절차적 지구‧우주계 단순선다형

CS620Q02S 지역적/국가적 자료/증거의 해석 절차적 지구‧우주계 복합선다형

S6

쓰나미

이해



CS615Q02S 전 세계적 자료/증거의 해석 절차적 지구‧우주계 구성형(C)

CS615Q05S 전 세계적 과학적 현상 설명 인식론적 지구‧우주계 복합선다형

항생제


CS478Q02S 지역적/국가적 자료/증거의 해석 인식론적 생물계 복합선다형


태양

전지판

CS415Q07S 지역적/국가적 탐구의 평가/설계 인식론적 지구‧우주계 복합선다형

CS415Q02S 지역적/국가적 과학적 현상 설명 내용 지구‧우주계 단순선다형

CS415Q08S 전 세계적 탐구의 평가/설계 인식론적 지구‧우주계 복합선다형

자동차

타이어

CS627Q01S 개인적 과학적 현상 설명 내용 물상계 단순선다형

CS627Q03S 개인적 과학적 현상 설명 내용 물상계 복합선다형


73



CS627Q04S 개인적 탐구의 평가/설계 인식론적 물상계 복합선다형

새와

애벌레




기름 유출



CS638Q04S 전 세계적 탐구의 평가/설계 인식론적 생물계 복합선다형

출처:국제본부에서제공한‘CY7_1604_COG_ScienceLiteracy_ItemInformation(TrendItemsOnly)_2.xlsx’ 엑셀파일의자료를기초로작성함.

PISA 2018 예비검사 과학 영역에서 사용되는 총 115개의 하위문항들을 ‘맥락’ 변인에

따라 분류하여 나타낸 문항 분포는 <표 Ⅲ-19>와 같다.

<표 Ⅲ-19> 맥락에 따른 PISA 2018 예비검사 과학 영역 문항 분포

맥락 문항 수 문항 비율(%)

개인적 11 9.6

지역적/국가적 70 60.9

전 세계적 34 29.6

계 115 100.0


맥락변인이 ‘지역적/국가적’에해당하는문항이 60.9%로가장많았으며, ‘전세계적’ 맥

락에 속하는 문항이 29.6%, ‘개인적’ 맥락에 속하는 문항이 9.6%인 것으로 나타났다.

과학 평가틀에서 측정하고자 하는 핵심 구성 요소인 ‘역량’의 종류에 따라 PISA 2018

예비검사 과학 문항을 분류하여 문항 분포 비율을 나타내면 <표 Ⅲ-20>과 같다.

<표 Ⅲ-20> 역량에 따른 PISA 2018 예비검사 과학 영역 문항 분포

역량 문항 수 문항 비율(%)

현상에 대한 과학적 설명 49 42.6

과학탐구의 평가 및 설계 30 26.1

자료 및 증거의 과학적 해석 36 31.3

계 115 100.0



74

‘현상에대한과학적설명’ 문항이 42.6%로가장많았으며, ‘과학탐구의평가및설계’와

‘자료및증거의과학적해석’ 문항은각각26.1%, 31.3%로나타났다. 각문항분포비율을

PISA 2015 예비검사때의 43.8%, 21.1%, 35.2%와비교해보았을때, ‘과학탐구의평가및

설계’ 역량을 평가하는 문항의 비율이 다소 감소한 것으로 나타났다.

과학 평가틀을 구성하는 요소 중 문제를 해결하기 위해 필요한 ‘지식’의 종류에 따라

문항을 분류하여 문항 분포 비율을나타내면 <표Ⅲ-21>과 같다. 단, ‘내용지식’은 과학

지식을, ‘절차적 지식’과 ‘인식론적 지식’은 과학에 대한 지식을 의미한다.

<표 Ⅲ-21> 지식에 따른 PISA 2018 예비검사 과학 영역 문항 분포

지식 문항 수 문항 비율(%)

내용 지식 49 42.6

절차적 지식 47 40.9

인식론적 지식 19 16.5

계 115 100.0


‘내용지식’을묻는문항이42.6%로가장많았지만 ‘절차적지식’과 ‘인식론적지식’의문항

을합한비율보다는낮으며, 이는PISA가교과지식보다는역량중심의평가임을드러낸다.

PISA 과학영역평가틀에서는문항의내용이속한계(system)에따라과학문항을분류

하고 있는데, 이를 통해 PISA 과학 문항과 교과영역의 관련성을 부분적으로 이해할 수

있다. ‘계’에 따라 과학 문항을구분하여 문항 분포 비율을 나타내면<표 Ⅲ-22>과 같다.

<표 Ⅲ-22> 계에 따른 PISA 2018 예비검사 과학 영역 문항 분포

계 문항 수 문항 비율(%)

물상계 38 33.0

생물계 47 40.9

지구‧우주계 30 26.1

계 115 100.0

출처: 국제본부에서 제공한 ‘CY7_1604_COG_ScienceLiteracy_ItemInformation(TrendItemsOnly)_2.xlsx’를 기초로 구성함.

과학문항중생물계를다루는문항이40.9%로가장많고, 물상계와지구‧우주계를다루

는 문항은 각각 33.0%, 26.1%인 것으로 나타났다.


75

과학 문항의 유형은 객관식 문항에 속하며 컴퓨터에 의해 자동 채점되는 단순선다형,

복합선다형문항과주관식문항에속하는구성형문항으로구분되며, 구성형문항은컴퓨

터에의한채점이가능한구성형(C) 문항과채점자에의한채점이필요한구성형(H) 문항

으로 구분된다. 과학 문항을 문항 유형에 따라 분류하면 <표 Ⅲ-23>과 같다.

<표 Ⅲ-23> 문항 유형에 따른 PISA 2018 예비검사 과학 영역 문항 분포

문항 유형 문항 수 문항 비율(%)

선다형단순선다형 32 27.8

복합선다형 48 41.7

구성형구성형(C) 3 2.6

구성형(H) 32 27.8

계 115 100.0


총 115개의 문항중 72.1%의문항이 컴퓨터에 의한자동채점이 가능하며, 복합선다형

문항이 41.7%으로 가장 큰 비율을 차지하였다.

라. 글로벌 역량

Ⅱ장 2, 3절에서 논의한 바와 같이 글로벌 역량은 PISA 2018 예비검사에서 제외되며

글로벌 역량 파일럿으로 대체되어 타 영역과 별도로 시행될 예정이다. 현재까지 발표된

국제본부의계획에의하면글로벌역량파일럿은각대륙을대표할수있는국가를대상으

로 2017년 상반기에 시행될 예정이며, 파일럿을 위한 평가도구는 별도로 개발되고 있다

(OECD, 2016b; 2016c; 2016d; 2016e; 2016m).

글로벌 역량과 관련된 PISA 2018 본검사는 물론 글로벌 역량 파일럿의 평가도구 설계

및구성은불명확한상태이다. 그러나글로벌역량파일럿을위한평가도구(시나리오및문

항)가현재개발되고있고, 해당개발과정에본연구팀이참여하고있어평가도구의특징을

파악할수있었다. 따라서이를근거로하되국제본부의보안요청을고려하여, 본절에서는

글로벌역량파일럿평가도구의내용영역, 주제, 시나리오와문항구성에한정하여논의하고

자한다(글로벌역량파일럿평가개요및평가틀은Ⅱ장2절에서논의되었으며, 글로벌역량

파일럿 평가도구 개발, 검토, 번역과 관련된 사안은 Ⅳ장 1, 2, 3절에서 집중 논의됨).


76

대주제 소주제

빈곤 ㆍ개인 자원 박탈 ㆍ공공 자원 박탈 ㆍ기회

경제적 통합 ㆍ상품과서비스무역ㆍ글로벌시장에서의전통적/지역적상품이나서비스ㆍ공정무역

교육 ㆍ교육과 역량 제고 ㆍ교육의 불평등 ㆍ문화다양성 교육과 존중

불평등ㆍ소득(소득비교중심의OECD도표활용) ㆍ집단(민족, 인종, 종교, 성, 나이, 다른능력)

ㆍ정보 접근성 ㆍ지역 정치 ㆍ사회 이동성 ㆍ도시/지방

차별 ㆍ인종 차별 ㆍ문화적 고정관렴 ㆍ반차별 노력

이민ㆍ경제와 기회(다른 학교에 다니는 이주 아동들) ㆍ난민 ㆍ사회 통합/분리

ㆍ문화 교류와 출돌 ㆍ우대책 ㆍ기술 손실/기술 선택 ㆍ언어, 통합, 규제정책

Ⅱ장2절의<표Ⅱ-11>에서와같이글로벌역량파일럿은학생들이글로벌하거나상호

문화적사안을분석하는데있어다섯가지의인지능력(정보탐색, 정보의타당성에대한

접근, 사안 설명, 맥락과 관점 인식, 결과와 함의 이해)을 사용할 수 있는지를 측정한다.

글로벌역량파일럿의시나리오내용영역은<표Ⅲ-24>와같이네가지주영역과11개

의 하위영역으로 구성된다.

<표 Ⅲ-24> 글로벌 역량 파일럿 시나리오의 내용 영역

주영역 하위영역

1. 사회‧경제적 개발 및 상호의존성1) 경제 상호교류 및 상호의존성

2) 인간자본, 개발, 불평등

2. 문화 및 상호문화 관계

1) 다중문화사회에서의 정체성 정립

2) 문화적 표현 및 문화적 교류

3) 상호문화적 의사소통

4) 관점 설정, 고정관념, 차별, 불관용

3. 환경적 지속가능성1) 천연자원 및 환경 위기

2) 환경적 지속가능성을 위한 정책, 실천, 행동

4. 제도, 충돌, 인권

1) 충돌 및 증오 범죄 예방

2) 보편적 인권 및 지역적 전통

3) 정치적 참여 및 글로벌적 참여

출처: OECD(2016e, p.17)를 재구성함.

글로벌역량파일럿시나리오는아래와같이19개의대주제와하위소주제67개를포함한다.

<표 Ⅲ-25> 글로벌 역량 파일럿 시나리오의 주제


77

대주제 소주제

건강

ㆍ사망률(건강 문제와 불평등, 교육 수준과의 연계관련 OECD 자료 활용)

ㆍ심리정신적 건강 ㆍ수준 있는 관리에 대한 접근

ㆍ영양(식단조절과건강결과의 상관관계 관련 OECD 자료 활용)

ㆍ예방(백신, 물관리/정수와교육수준관련성, 불소가의영향, 갑상성기능저하증과의관련)

ㆍ대체 치료(동양/서양) (의학치료 판단에 대한 관점, 서양 대 동양의 암치료)

폭력 ㆍ소수에 대한 반감 ㆍ미디어/정치 담화의 대표성 ㆍ동료/사회적 압박과 폭력

충돌 ㆍ해결 전략 ㆍ국수주의 ㆍ외교 ㆍ협상/타협

정보 기술 및

글로벌 미디어

ㆍ새로운 정보기술의 경제적 혜택 ㆍ글로벌 미디어의 문화적 혜택 및 문화적 비용

ㆍIT 접근과 글로벌 미디어

공해 ㆍ법령 ㆍ영향 ㆍ관리

기후변화 ㆍ인식 ㆍ정책 ㆍ사실

도시화 ㆍ비용/혜택 ㆍ단기/장기적 시나리오 ㆍ지속가능한 도시화

물 관리 ㆍ위기 ㆍ정책

책임감있는소비와생산 ㆍ혜택 ㆍ실현 ㆍ보상

자연 보호 ㆍ숲 보전 ㆍ생물 다양성 ㆍ심해 생명

문화와 자연 편의시설ㆍ지속가능한 관광 ㆍ언어 다양성 및 언어 정책 ㆍ국가적, 국제적 문화 정책

ㆍ규제와 경제 적 착취

인구 ㆍ성장과 감소 ㆍ노화 ㆍ인구 정책

에너지 재생산 ㆍ자원의 분류 ㆍ장점과 비용 ㆍ국제적 규제와 국가적 자치

출처: OECD(2016s, pp.1-2)를 재구성함.

이 외에도 글로벌 역량 파일럿을 위한 평가도구는 다음과 같은 구성상의 특징이 있다.

글로벌 역량파일럿 평가도구는 지필검사이며시나리오 기반이다. 즉 하나의시나리오와

이에속한하위문항들이하나의평가도구세트를구성하며, 각시나리오에는 2∼4개의하

위문항이 포함된다.12) 시나리오에는 텍스트뿐 아니라 그래프나 그림 등도 활용된다. 각

시나리오에포함된문항은선택형과개방형이혼합되고, 선택형의경우 4지선다형이며개

방형은 단답형이다. 시나리오에 등장하는 학생은 글로벌 사안과 상호문화적 상호작용의

복잡성을 탐사할 수 있는 다양한 상황과 역할을 하는 ‘연구자’, ‘보도 기자’, ‘중재자’ 혹은

‘토론자’로 등장한다(OECD, 2016e, pp.7-20).

12) 글로벌역량파일럿을위한평가도구는현재개발중에있으며평가도구의설계및구성은확정되지않은상태이

다. 따라서 국제본부와의 합의를 통해 본 연구팀이 개발한 시나리오와 문항을 토대로 논의하였다.


78

마. 교육맥락변인

PISA에서는학생의인지적영역에대한평가뿐아니라학습동기와같은비인지적영역

의성과를파악하기위하여학생배경(문화적, 인종적, 사회-경제적배경), 교수실제, 학교

정책, 학교 체제 등과 같은 제도적 맥락에 대한 정보를 설문 문항을 통하여 수집한다

(OECD, 2016f, p.102). PISA 2018 예비검사의설문은필수설문인학생설문, 학교설문과

참여국이 선택적으로 참여 여부를 결정할 수 있는 교육경험 설문, ICT 설문, 교사 설문,

학부모설문과같은선택설문으로구성된다. 우리나라는PISA 2015에이어 PISA 2018에

서도 필수 설문 외에 교육경험 설문, ICT 설문, 교사 설문, 학부모 설문의 선택 설문을

모두 선택하였다(송미영, 최혁준 외, 2013).

PISA 2018 예비검사의설문 문항은 기존주기에개발하여 사용된 추이문항과새롭게

개발된새문항으로구성된다. 새문항은완전히새롭게개발된것도있으나기존주기에서

개발된문항내용의일부를수정‧보완하거나통합하여구성되기도한다. 특히 2015년 11월,

참여국전체를대상으로진행된검토결과를반영하여설문문항을정교화하였다. 각설문

유형별 구성 내역을 정리하면 <표 Ⅲ-26>과 같다.

<표 Ⅲ-26> PISA 2018 예비검사 설문 유형별 문항 구성

필수 선택

학생 설문 학교 설문교육경험

설문ICT 설문 학부모 설문 교사 설문

종류2종

1종 1종 1종 1종2종

1권 2권 일반 국어

문항 수공통: 16

34 18 17 46공통: 24

38 41 20 19

추이 문항 52 25 11 14 26 18 17

새 문항 43 9 7 3 20 26 26

출처: OECD(2016o, pp.35-36)를 재구성함.

설문문항은PISA 2018 교육맥락변인조사를위한설문모듈([그림Ⅱ-9])을바탕으로

구성되었다. 학생들은 학생 배경 정보, 성향, 학습 시간 등을 묻는 학생 설문과 학교에서

갖게되는여러가지경험의다양한측면을묻는교육경험설문, 컴퓨터와스마트폰을포함

한 디지털 기기와 관련된 ICT 설문에 답한다. 표집 학교의 학교장은 학교 설문에, 국어


79

설문 모듈 내용 1권 2권

읽기 교수의실제

국어 수업의 분위기, 교사의 피드백, 교사의 명확한 지도, 교사의 학습 지원,학습 기회-자료, 학습 기회-과제, 학생의 학습 자극을 위한 교수 전략, 학습기회-텍스트길이, 학습기회-읽은도서수, 학습기회-읽을 도서선택방법,학습 기회-국어 수업 과제 및 숙제

O

읽기 학습을위한 학교 환경

교사의 교수학습에 대한 흥미 디지털 국어 학습 기회 O

읽기 관련비인지적 성취

독서에의참여, 읽기의어려움에대한인지, PISA 검사의어려움에대한인지,학생의읽기전략-이해하고기억하기, 학생의읽기전략-요약하기, 학생의디지털 읽기 전략-질과 신용성 파악

O

학교 밖

읽기 학습 경험

읽을 수 있는 언어의 수 O

다양한 자료 읽기 활동, 학생의 책 읽는 방식, 학생의 뉴스 읽는 방식, 독서

시간, 독서할 때 사용하는 언어, 다른 언어로 읽는 빈도 수, 하루 독서 시간,

온라인 읽기 활동

O

학생의 SES 등

가정 배경

학년, 계열, 생년월일, 성별, 어머니의고등학교까지의교육수준, 어머니의고등

학교이후의졸업수준, 아버지의고등학교까지의교육수준, 아버지의고등학

교 이후의 졸업 수준, 집에 소유하고 있는 시설 및 물건, 집에 소유하고 있는

시설및물건의수, 집에소유하고있는도서권수, 어머니직업, 아버지직업

O O

이민과

문화배경 정보

학생과부모님의출생지, 이주(이민)했을시나이, 집에서주로사용하는언어 O O

읽을수있는언어의수, 의사소통할때선호하는언어, 사용할수있는외국어

수 및 활용 수준O

대화에 사용하는 언어의 수 O

어린 시절

교육경험유치원을 다닌 나이, 초등학교 입학 나이, 학년을 다시 다닌 경험 O

학생 성향 및

학교에 대한 태도

삶에대한만족도, 학교의가치, 경쟁심, 작업완성도, 실패에대한두려움, 지

능의가변이론, 만족스러운삶의의미, 주관적삶의안녕감, 성취목표, 회복탄

성력, 최종학력에 대한 계획, 30세의 구체적인 직업 목표

O

학교에 다니는 목적 O

글로벌 역량의

성향

학교에서 배우는 외국어, 다른 문화를 배우는 것에 대한 흥미, 상황, 사물을

보는관점, 인지적유연성, 다른문화권의사람들에대한존중, 상호문화적의

사소통에대한인지, 세계시민으로서의마음가짐, 글로벌이슈에대한자기효

능감, 글로벌이슈에대한인지, 학교에서의글로벌역량관련활동, 다른국가

출신 사람들과의 소통, 다른 국가 출신의 친구, 글로벌 이슈에 대한 참여도,

학교의다문화풍토, 이민자들에대한태도, 사용할수있는외국어수및활용

수준, 읽을 수 있는 언어의 수

O

교사, 국어외의교과를담당하는교사는교사설문에답하고, 표집대상학생의학부모는

학부모 설문에답한다. 학생설문의내용을 교육맥락변인의모듈별로 구분하여정리하면

<표 Ⅲ-27>과 같다.

<표 Ⅲ-27> PISA 2018 예비검사 학생 설문의 내용


80

설문 모듈 내용 1권 2권

대화에 사용하는 언어의 수 O

학습 시간과

교육과정

학교 수업에서 할당된 과목별 수업 횟수, 일주일 동안 총 수업 횟수, 1교시

당수업시간(분), 과목별추가공부여부, 과목별추가공부시간(시간), 무단결

석/무단결과/지각 여부

O

학교풍토

(인간관계, 신뢰등)

따돌림 경험, 교사의 공평성 경험 O

학교에서의 소속감, 교사의 공평성 경험, 따돌림 경험, 따돌림에 대한 의견 O

학부모 참여 학생-부모 관계 O

평가와 책무성학생들의 경쟁심, 학생들의 협동 O

교사의, 학생에맞는수업방식의변화, 학생의역량향상과관련한수업환경 O

출처: 국제본부에서 제공한 ‘CY7_201605_QST_FT_STQ_CBA_AllNotes.docx’를 정리하여 구성함.

* 1권과 2권에 모두 포함되는 문항은 공통 설문 문항에 해당된다.

학생설문은학생의기본적인배경정보외에문화배경정보, 삶에대한만족도등과같은

성향, 학습시간, 학교풍토, 읽기교수-학습실제, 읽기관련경험등에대한문항으로구성하

였다. 특히외국어능력, 다른문화에대한인식등글로벌역량과관련된문항을포함하였다.

ICT 설문은 디지털 기기를 처음 사용한 시기, 학교 밖에서의 디지털 기기 사용 빈도

등과같이디지털기기와관련된경험과성향을중심으로문항을구성하였으며, 설문모듈

별로 구체적인 내용을 정리하면 <표 Ⅲ-28>과 같다.

<표 Ⅲ-28> PISA 2018 예비검사 ICT 설문의 내용

설문 모듈 내용

읽기 교수의

실제

학교수업에서디지털기기사용정도, 학교수업이외의학습에서디지털기기사용정도,

학교 수업에서 학생이나 교사의 디지털 기기 사용 여부

학교 밖

읽기 학습 경험학교 밖에서의 인터넷 사용 정도(주중), 학교 밖에서의 인터넷 사용 정도(주말)

학생의 SES 등

가정 배경집에 구비된 디지털 기기의 사용 여부

학생 성향 및


디지털기기를처음사용한시기(나이), 인터넷에처음접속한시기(나이), 학교에서의인터

넷사용정도(주중), 학교밖에서의디지털기기사용빈도, 다음활동을위한학교밖에서

의디지털기기사용빈도, 다음활동을위한학교내에서의디지털기기사용빈도, 디지털

기기 경험에 대한 견해, 디지털 기기 경험에 대한 견해, 디지털 기기 활용 역량, 디지털

기기 활용에 대한 흥미

학교 맥락과

자원학교에 구비된 디지털 기기의 사용 여부

출처: 국제본부에서 제공한 ‘CY7_201607_QST_FT_ICQ_AllNotes.docx’를 정리하여 구성함.


81


교사 자질과

전문성 계발

교사수(정규, 시간제), 3개월동안전문성계발연수프로그램에참여한교사비율, 해외

학교 교사 방문이나 교환 교사 프로그램 유무

읽기 학습을 위한

학교 환경

1학년의 국어 수업의 학급당 평균 학생 수, 1학년 학생들에게 제공한 정규 교육과정

외 활동, 모국어가 한국어가 아닌 학생에 대한 교내 평등 정책

이민과

문화배경 정보

다양한문화적‧인종적상황에서의학교대처방안에대한교사들의공유, 학교의다문

화 학습과 관련된 교수 활동, 1학년 학생들의 특성

글로벌 역량의

성향

다양한문화적‧인종적상황에서의학교대처방안에대한교사들의공유, 학교의다문

화학습과관련된교수활동, 교사의다문화와평등에대한견해, 글로벌역량과관련된

정규교육과정유무, 국제적문제및동향에대한수업여부, 1학년학생들의특성, 모국

어가 한국어가 아닌 학생에 대한 교내 평등 정책

교육경험 설문은 초등학교와 중학교 재학 중 전학 여부, 장래 공부나 직업을 알아보기

위한경험, 해외활동과관련된성향, 등교전후의학습시간등에관한문항으로구성하였

으며, 설문 모듈별로 구체적인 내용을 정리하면 <표 Ⅲ-29>와 같다.

<표 Ⅲ-29> PISA 2018 예비검사 교육경험 설문의 내용


어린 시절

교육경험초등학교 재학 중 전학 여부, 중학교 재학 중 전학 여부, 학습 계열 변경 여부

학생 성향 및


장래공부나직업을알아보기위한경험, 기술습득여부, 자신이생각하는5년후자신의

모습, 미래 직업 결정에 중요한 요소

글로벌 역량의

성향

해외 취업을 결정하게 될 중요한 이유, 다음 활동에 주로 사용하는 언어, 다른 나라에서

학교를 다닌 경험, 해외 교환학생 프로그램 참여 희망 여부

학습 시간과

교육과정

등교전공부시간, 방과후공부시간, 등교전이나방과후에공부하는이유, 등교전이나

방과후에공부하지않는이유, 정규수업외에받는추가적인교육, 추가적인국어수업을

받는 이유

학부모 참여 학교 공부에 대한 주변의 지원

출처: 국제본부에서 제공한 ‘CY7_201604_QST_FT_ECQ_AllNotes.docx’를 정리하여 구성함.

학교장이응답하는설문은표집학교의학교체제나교사의전문성계발을위한프로그

램유무, 학교풍토, 학교자원등에관한문항으로구성하였다. 특히다문화학습과관련하

여 학교 체제, 교수 활동, 교사들의 견해 등에 관한 문항을 ‘글로벌 역량의 성향’이라는

모듈에포함하여구성하였다. 교육맥락변인의설문모듈별로학교설문의구체적인내용을

정리하면 <표 Ⅲ-30>과 같다.

<표 Ⅲ-30> PISA 2018 예비검사 학교 설문의 내용


82


학습 시간과

교육과정

글로벌역량과관련된정규교육과정유무, 국제적문제및동향에대한수업여부, 정규

수업외추가로실시되는국어수업, 국어수업을추가로실시하는목적, 학생들의학습지원

학교풍토

(인간관계, 신뢰 등)학생들의 학습에 지장을 주는 요인, 학생 중퇴 비율

학부모 참여 학교 행사에 참여한 학부모 비율

학교 맥락과 자원

학교 위치, 학교 유형, 항목별 학교 예산의 비율, 학교교육 수행 능력에 지장을 주는

요인, 학교의진로지도담당자, 학교의진로지도방법, 교수학습을위한 ICT 도구준비

도, ICT 도구 활용을 위한 전략, 전체 학생 수, 학교의 교육자원(학생 수, 컴퓨터 수)

예산배분,

선택 및 결정

학교가속한지역에서의학교간경쟁, 입학사정시고려사항, 1학년학생들의능력별

편성 여부

평가와 책무성학생들의평가결과사용방법, 성취도결과의책무성이행절차에의활용여부, 질점검

및 개선을 위한 대책


국어 외

교과

교사

국어

교사

교사 자질과

전문성 계발

성별, 나이, 전일제/시간제, 교사근무연수, 교원양성과정이수여부, 교사

자격증취득방법, 교육훈련에포함된교과목과학생에게가르쳤던교과목,

전문성계발활동주제, 전문성계발활동참여의무여부, 교직에대한의견

O O

전문성계발활동참여여부, 12개월동안참여한전문성계발활동, 전문성

계발활동의필요성, 일반교사협력, 교사의전문적지식과자기효능감O

교원양성과정내용분포, 전문성계발활동내용분포, 12개월동안참여

한 전문성 계발 활동의 내용 분포, 국어 교사 간 협력, 국어 교수 방법O

읽기 교수의

실제

교사의신념과자기효능감, 읽기관련수업여부, 디지털읽기역량관련

수업 여부, 학생들이수업에서읽었던가장 긴텍스트, 학생들에게읽게

한 총 도서 수, 학생들이 읽을 도서 선택 방법

O O

수업에서 ICT 도구 활용 빈도 O

출처: 국제본부에서 제공한 ‘CY7_201605_QST_FT_SCQ_CBA_AllNotes.docx’를 정리하여 구성함.

PISA 2018에서는읽기가주영역이므로, 교사설문은국어교사를대상으로하는설문과

국어 외의 교과를 가르치는 교사를 대상으로 하는 설문으로 구분된다. 교사의 자질이나

전문성계발, 교사의신념과자기효능감, 교사의디지털읽기활동, 교사의글로벌역량과

관련된학습기회등에관한문항은모든교사에게공통으로제공하지만, 국어교사에게는

국어교사간협력, 국어교수방법, 학생들에게제공되는자료의읽기빈도등읽기실제와

관련된 질문을 좀 더 구체적으로 제시하였다.

<표 Ⅲ-31> PISA 2018 예비검사 교사 설문의 내용


83


읽기 관련

비인지적

성취

학부모의 독서에대한견해, 학부모의취미로독서하는시간, 학부모의다양한읽기자료를

읽는 빈도, 학부모의 디지털 읽기 자료 읽는 빈도, 학부모의 책 읽는 방식, 학부모의 뉴스

읽는 방식, 독서하는 상황

학교 밖 읽기

학습 경험

자녀의읽기활동빈도, 일주일동안자녀의가정내컴퓨터사용시간, 자녀의자발적독서

빈도


국어 외

교과

교사

국어

교사

학생의학습자극을위한교수전략, 학생의독해능력, 읽기전략발달을

위한과제, 학생의자료읽기빈도, 학생의과제빈도, 국어관련기능의

중요도인식, 학생들이독서시활동지도여부, 수업중디지털기기사용

여부, 학생의국어수업시간 ICT 도구활용여부, 국어수업시간학생들

의 학습 태도, 국어 수업 시간 교사의 수업 활동

O

읽기 관련

비인지적성취

교사의디지털읽기활동, 수업시간외업무관련독서시간, 교사의책

읽는 방식, 교사의 뉴스 읽는 방식O O

글로벌

역량의 성향

교사의 글로벌 역량과 관련된 학습 기회, 국제적 문제 및 동향에 대한

수업 여부, 외국어로 읽는 빈도O O

글로벌역량과관련된교사교육, 연수내용, 출생국, 해외에서가르친경

험여부, 해외에서공부한경험여부, 해외에서취득한학위유무, 다문화

와다양성과관련된학교문화에대한견해, 교사의다문화와평등에대한

견해, 이민자들에대한태도, 교사의다문화적환경과관련된자기효능감

O

학습 시간과

교육과정

수업에서 ICT 도구 활용 빈도 O

국어 정규 교육과정 유무, 학부모의 국어 교육과정 이용 가능성 O

학교 맥락과

자원

학교의 수업용 디지털 기기 사용에 관한 규정 여부 O O

제한된 자원으로 인한 문제점, 학교의 교육 자원 충분 여부 O

특정 학생을 위한 특별 프로그램 여부 O

평가와

책무성

학습 평가 방법, 학기말 성적 부여 방법, 학생들에게 제공하는 피드백 O

학생 평가 결과의 국어 수업에서의 적용 O

출처: 국제본부에서 제공한 ‘CY7_201605_QST_FT_TCQ-TR_AllNotes.docx’와 ‘CY7_201605_QST_FT_TCQ-G_AllNotes.docx’를

정리하여 구성함.

PISA 2018 예비검사에서는가정의배경정보뿐아니라학생에대한가정에서의지원을

중심으로구성되는학부모설문문항에다른문화를배우는것에대한흥미, 글로벌이슈에

대한인지, 학부모의글로벌이슈에대한참여도등의 ‘글로벌역량의성향’에관한문항을

새롭게 개발하여 포함하였다.

<표 Ⅲ-32> PISA 2018 예비검사 학부모 설문의 내용


84


학생의 SES

등 가정 배경

학부모 작성자, 가정 내 자녀를 위해 구비된 읽기 자료, 12개월 동안 지출한 교육비, 연간

가계 소득

이민과

문화배경

정보

집에서 주로 사용하는 언어, 학생의 가족 출생 국가

어린 시절

교육경험

자녀의보육기관참여여부, 자녀의유치원참여여부, 자녀의영유아교육및보육프로그램

참여 여부, 자녀의 영유아 교육 및 보육 프로그램 참여 나이, 자녀의 영유아 교육 및 보육

프로그램 담당자, 자녀의 영유아교육 및 보육프로그램 장소, 자녀의영유아 교육 및보육

프로그램 참여 이유, 자녀의영유아 교육 및보육 프로그램 제공주체, 자녀의 영유아교육

및 보육 프로그램참여 정도, 자녀의 초등학교입학 나이, 자녀의초등학교 시기 추가국어

수업, 자녀의 같은 학년 반복 여부

글로벌

역량의 성향

사용가능한언어의수, 이민자들에대한태도, 다른문화를배우는것에대한흥미, 우리나라/

다른나라의문제에대한흥미, 글로벌이슈에대한인지, 학부모의글로벌이슈에대한참여

도, 학생의 가족 출생 국가

학부모 참여

가정내학습을위한학부모의학교참여도, 자녀가초등학교 1학년일때가족의다음활동

빈도, 자녀가 초등학교 1학년일 때 한 활동에서 사용한 언어, 자녀가 10살 무렵 다음 자료

읽은 빈도, 지난 학년도 학부모의 학교 참여도, 학부모의 학교 활동 참여도, 학부모의 학교

활동 불참 사유, 자녀 학교의 태도, 학교-가정 간 협력을 먼저 시작해야 하는 쪽, 자녀에게

기대하는 학력 수준

예산배분,

선택 및 결정자녀 학교 선택권, 자녀 학교 선택 시 중요한 사항

출처: 국제본부에서 제공한 ‘CY7_201605_QST_FT_PAQ_PBA_AllNotes.docx’를 정리하여 구성함.

ⅣPISA 2018 예비검사 평가도구

개발, 검토 및 번역

1. PISA 2018 예비검사 평가도구 개발

2. PISA 2018 예비검사 평가도구 검토

3. PISA 2018 예비검사 평가도구 번역

Ⅳ. PISA 2018 예비검사 평가도구 개발, 검토 및 번역

87

1. PISA 2018 예비검사 평가도구 개발

PISA 2018에서주영역은읽기이고보조영역은수학과과학이다. 주영역인읽기는기존

에 사용되었던 추이 문항과 함께 이번 주기에 새롭게 개발된 문항을 더하여 예비검사용

평가문항을구성하게되며, 보조영역은기존에사용되었던추이문항만으로학생들의소

양을평가한다. 글로벌역량은PISA 2018 예비검사에포함되지않고파일럿으로별도시행

됨에따라, 글로벌역량파일럿을위해추가로개발된새로운평가도구로구성될예정이다.

본 절에서는 읽기 중심의 PISA 2018 예비검사 문항 개발을 먼저 논의하고, 그 다음으로

글로벌 역량 파일럿 평가도구 개발을 논의한다.

가. 읽기 평가도구 개발

[그림 Ⅳ-1]은 PISA 2018 예비검사를 위한 새 문항의 일반적인 개발 및 검토 절차를

보여준다.

출처: 송미영, 최혁준 외(2013, p.121)의 내용을 수정‧보완함.

[그림 Ⅳ-1] PISA 2018 예비검사를 위한 평가 문항 개발 및 검토 절차

읽기평가문항은국제본부의연구연합체와참여국과의긴밀한협력을통해개발되었다.

문항개발과정에서PISA참여국의문화적다양성을반영하고참여와협력을이끌어내기

위해연구연합체에서개발한문항과는별도로참여국의독자개발문항도제출하게하였

다. <표Ⅳ-1>은참여국이개발한평가문항의제출일정및문항을제출한국가의수이다.


88

<표 Ⅳ-1> PISA 2018 읽기 개발 문항의 제출 일정 및 참여국 수

구분 제출 내용 기한 참여국 수 개발 문항

1차 워크숍 중심 개발* 2015. 4. ～ 5. 28개국 8개 단위문항, 157개 문항

2차 참여국 중심 개발 2015. 8. 1～ 8. 31 43개국 26개 단위문항, 161개 문항

* 워크숍 1차: 미국, 워싱턴DC (2015. 4. 8～4. 10), 2차: 스페인, 바르셀로나 (2015. 4. 27～4. 29), 3차: 싱가포르 (2015. 5. 13～5. 15)

PISA 2018 예비검사에사용될읽기평가도구문항개발은워크숍개발과참여국개발의

두 가지 형태로 진행되었다. 2015년 4월부터 5월까지 미국, 스페인, 싱가포르 3개국에서

이루어진문항개발워크숍에는28개국이참여하여총157개문항(8개단위문항)이만들어

졌다. 참여국을 중심으로이루어진 2차 개발에서는기존에구성된 26개단위문항의 읽기

지문을바탕으로새문항을출제하여국제본부에제출하였다. 이과정에우리나라를비롯

한 43개국이참여하였고총 161개문항을개발하였다. 우리나라의경우는 2015년 8월 1일

부터워킹그룹13)을 구성하여읽기 문항개발에착수하였으며, 2개의단위문항에대해총

16문항을개발하고검토및수정‧보완을거쳐국제본부에제출하였다.14) 대체로많은국가

의 참여를 이끌어낸 것이 이번 문항 개발 과정의 의의라 할 수 있으나, PISA 문항 개발

일정상지문에대한저작권허가를얻기가힘들었던점은향후PISA문항개발에서고려되

어야 할 점으로 보고되었다(Tamassia, 2016).

나. 글로벌 역량 평가도구 개발

위에서수차례언급된바와같이, 국제본부가글로벌역량을PISA 2018 예비검사시행에

서제외하고파일럿으로별도로시행한다는계획을확정발표함에따라글로벌역량파일

럿을 위한 평가도구가 2016년 7월부터 새롭게 개발되고 있다.

글로벌 역량파일럿평가도구개발의 다급한 일정및 강도 높은업무로인한 현실적인

어려움에도불구하고, 교육부와의정책협의에서국제적‧국내적논리를근거로새롭게개

발되는글로벌역량평가도구개발에우리나라가참여한다는의사결정을하였다(전문가협

의회, 2016.8.1). 일차적으로는 21세기 필수 역량 및 교육 2030(UNESCO, 2014; 2015a;

2015b; OECD, 2016a)을 위한 글로벌 역량 강화의 필요성 및 능동적 역할 수행, 그리고

13) 읽기 문항 개발 워킹그룹은 교수 2인과 국어교육 박사 3인, 국어교사 2인으로 구성되었다.

14) 우리나라가 제출한 읽기 문항의채택 여부는 현재 진행 중인 새문항 번역 과정을 통해 파악하여 추후 상술할

예정이다.


89

글로벌역량과관련된파일럿시행의혼란최소화와안정적추진에기여하기위한국제적

차원의 목적 때문이다. 더불어 우리나라의 글로벌 역량교육 논의 및시행을활성화하고,

글로벌역량과관련된국제적논의주도및이에대한경험을축적하며이를통해국제본부

와의적극적협력을통한상호신뢰를강화하여우리나라의역할강화및위상을제고한다

는 등의 실리 추구가 국내 PISA 연구팀이 글로벌 역량 파일럿에 참여하는 근거 논리가

되었다(전문가협의회, 2016.9.8).

따라서글로벌역량평가도구개발에참여하는과정에서파악된글로벌역량평가도구

개발 진행 과정, 구성, 특성 등을 중심으로 논의하되, 본 보고서에 공개될 수 있는 범위

내에서기술한다. 또한글로벌역량파일럿평가도구가최종적으로확정되지않은상태이

므로본보고서에서는현재국내PISA연구팀에서개발하고있는시나리오와문항세트를

토대로 논의한다.

(1) 개발 일정

2016년 7월, 국제본부가 PISA 2018 예비검사시행에서글로벌역량인지평가를취소하

고글로벌역량만을위한별도의파일럿시행을결정함에따라평가도구개발이7월말부터

시작되어 아래 <표 Ⅳ-2>와 같이 매우 촉박한 일정 속에서 강도 높게 업무가 진행되고

있다(국제본부의 일정(OECD, 2016b)에 따른 국내 PISA 연구팀의 업무 일정을 나타내는

것으로, 국내 PISA 연구팀이 주관하는 업무는 음영으로 처리함).

글로벌역량파일럿평가도구개발에는PISA를위한국제연합두개의기관(ETS, Asia

Education Foundation)과 PISA 참여국중우리나라를포함한7개국(페루, 아일랜드, 스페

인, 콜롬비아, 캐나다, 마카오-중국)이참여하고있다(OECD, 2016m, p.3). 2016년 10월 25일

현재 시나리오와 문항 세트 초안 개발이 완료되어 검토, 수정 및 보완 업무가 진행되고

있다. 그러나원래계획보다실제일정이지연되고있다. 이는글로벌역량평가도구개발의

어려움을 나타내는 것으로, 국제본부의 계획대로 2017년 상반기에 글로벌 역량 파일럿을

시행하기위해서는평가도구개발에국제본부는물론참여국들과글로벌역량파일럿참여

국 간의 긴밀한 상호협력이 요구된다.


90

날짜 업무 주관

7월 15일 평가도구 개발 관련 정보제공

7월 22일-26일 글로벌 역량 평가 틀 관련 웨비나 회의

7월 26일 개발 참여국 대상 시나리오와 문항 개발 관련 세부 정보 제공

7월 29일 우리나라의 글로벌 역량 시나리오 및 문항 세트 개발 참여 확정

7월 30일 글로벌역량시나리오및문항세트개발방법및절차논의, 워킹그룹구성

8월 1일-5일

시범 시나리오 및 문항 개발 + 개발국

8월 1일: 글로벌 역량 정책 협의회

8월 1일: 글로벌 역량 시나리오 및 문항 개발 위한 1차 워크숍

8월 2일, 3일: 워크숍 후속 전문가 협의회

8월 3일: 글로벌 역량 시나리오 제출본 심의

8월 5일: 국제본부에 1차 초본(2세트) 영문본 제출

8월 8일-9일 검토, 논의, 패널 토론 + 패널

8월 9일 자문, 권고, 패널 토론 + 패널

8월 10일-31일

나머지 시나리오와 문항 개발 + 개발국

8월 18일: 글로벌 역량 시나리오 및 문항 개발 위한 1차 워크숍(1)

8월 19일: 글로벌 역량 시나리오 및 문항 개발 위한 1차 워크숍(2)

8월 22일-31일

국제본부에 시나리오 제출 + 개발국

8월 24일: 글로벌 역량 시나리오 및 문항 개발 위한 3차 워크숍

8월 25일-26일: 글로벌역량 평가틀 원내 연구진 검토, 설문 문항 원내연구진 검토)

8월 22일-

9월 1일

국제본부 검토, ETS에 송부



8월 30일-31일: 제출본 재검토

9월 2일-15일ETS와 국제본부의 검토 및 선정 ETS +

2016년 9월 2일 ∼ 15일: 제출한 시나리오 검토, 수정‧보완(내용 중심)

9월 15일-30일

문항개발 위한 적절한 시나리오 검토 및 수정, 선정 ETS +

9월 20일, 21일:　글로벌 역량 Batch 1, 2 검토 및 수정‧보완

9월 26일: Batch 1에 대한 의견 제출

10월 1일-

12월 9일문항 개발 및 선정된 시나리오의 하위문항 결정(개발국과 협의)

ETS + +

+ 개발국

12월 10일-

1월 9일선정된 시나리오와 문항 재검토 및 수정 개발국

1월 10일-

1월 25일개발국의 의견 고려 및 대처 + ETS

1월 26일-

2월 8일파일럿을 위한 글로벌 시나리오와 문항 최종 확정 + ETS

2월 9일-

3월 27일시나리오 및 문항 번역 완료

+ 개발국 +

시행국

3월 28-

4월 17일문항 책자 준비 및 파일럿 시행 준비

+ 시행국 +

4월-6월 글로벌 역량 파일럿 시행+ 시행국

<표 Ⅳ-2> PISA 2018 글로벌 역량 파일럿 일정

출처: OECD(2016b, pp.9-10)의 일정 및 본 연구진의 일정을 재구성함.


91

(2) 글로벌 역량 평가도구 개발 워킹그룹 운영

국제본부의글로벌역량평가도구개발의어려움과일정지연에도불구하고, 국내PISA

연구팀은당초일정과역할에맞추어진행해오고있다. 본연구팀은글로벌역량시나리오

와 문항 개발을 위해 워킹그룹을 운영하였다.

워킹그룹을구성함에있어글로벌역량이상대적으로새롭고급진적으로발전되고있으

며, 통합적요소를포함하는복합적이며다학문적영역임을각별히유념하여전통적접근,

즉특정교과중심의개발진구성을지양하고다양한배경의전문가를중심으로구성하고

자하였다. 예를들면국내PISA연구팀, 글로벌교육본부장, 원내글로벌역량관련연구원,

교육부의글로벌역량업무담당연구관, 원외글로벌역량전문기관연구원, 글로벌역량

관련학자이자교수, 현재학교현장에서세계시민교육관련업무를담당하는영어과교사,

현재세계시민교육교과서개발에참여하고있는사회과교사, 국제교육비교및교육평가

전문교수, 이중언어화자교사및교수등을포함해소속, 업무, 경력등을고려하여다양한

배경의 전문가로 워킹그룹을 구성하였다.

이와같은워킹그룹구성에는사실상우리나라의종합적인글로벌역량교육정책부재,

관련연구부족, 상대적으로부족한글로벌역량전문인력보유라는현실적한계를넘어

우선적으로는 글로벌 역량 시나리오와 문항 개발을 위한 협의 및 실제 업무를 진행하고

중‧장기적으로는 PISA의 글로벌 역량 인지 평가와 관련된 향후 업무, 예를 들면 PISA

2018 본검사를위한문항개발, 검토, 번역및번안등에참여할수있는글로벌역량전문가

인력풀 확보의 목적도 포함되어 있었다.

워킹그룹을중심으로2회의정책협의회(전문가협의회, 2016.8.1; 2016.9.8)와 4회의워크

숍(워크숍, 2016.8.1.; 2016.8.18-19; 2016.8.24; 2016.8.25-26), 4회의전문가협의회및검토회

개최(전문가협의회, 2016.8.2-3; 2016.8.3; 2016.8.30-31; 2016.9.20-23)를통해글로벌역량

파일럿 시나리오와 문항 개발, 검토, 번역 및 번안을 하였다.

전 과정 중 국제본부와의 긴밀한 업무 연락 및 협력, 구체적인 의견 조율 등이 이루어

졌다. 그러나국제본부에서평가도구개발과 관련된구체적인내용을 전달하는이메일이

지연되는경우가있어본연구팀의원활한업무추진에어려움이있었다. 또한공개된시범

문항없이평가도구를개발해야했으므로많은시행착오를겪었다. 결과적으로는전체추

진일정에차질없이평가도구의시나리오와문항의초안개발을완료, 제출할수있었지만,

이와 같은 어려움은 해결되어야 할 현실적인 과제로 파악되었다.


92

(3) 글로벌 역량 평가도구 개발 원칙

국제본부의 가이드라인 및 별도의 요청 사항을 반영하여 국내 PISA 연구팀은 다음과

같은 글로벌 역량 평가도구 세트(시나리오 및 문항) 개발 원칙을 설정하였다.

첫째, 글로벌역량인지영역의도입배경, 평가틀등(Ⅱ장 2절)의근본취지를고려한다.

둘째, 글로벌역량 파일럿시나리오내용의네 가지주영역, 즉◯1 사회‧경제적개발및

상호의존성, ◯2 문화및상호문화관계, ◯3 환경적지속가능성, ◯4 제도, 충돌, 인권의영역(

Ⅲ장 2절 <표 Ⅲ-24>)들을 포함한다. 총 여덟 개의 세트(시나리오와 문항)를 개발하되,

각주영역별로한개이상의세트를개발하고◯2 문화및상호문화관계영역에서는두개

이상의 세트를 개발한다.

셋째, 위의네가지주영역과함께시나리오의주제(Ⅲ장 2절 <표Ⅲ-25>)를중심으로

문항을 개발한다.

넷째, 글로벌역량파일럿을위한별도의예시문항이제시되지못한상황임을고려하여

PISA 2018 예비검사시행을위해개발되었던글로벌역량평가도구와PISA 2015의혁신

적 영역이었던 협력적 문제해결력 평가도구, 그리고 읽기와 과학, 금융소양의 평가도구

등을 참고한다.

다섯째, 글로벌역량세트개발과관련된개발과정과절차, 내용등일체의자료와정보

에 대한 보안을 철저히 유지한다.

(4) 글로벌 역량 평가도구의 특징

국내PISA연구팀에서개발하여국제본부에제출한평가도구세트(시나리오와문항)의

초안은 총 10개로, 28개의 지문과 31개의 하위문항을 포함한다. 각 세트별 영역, 지문과

문항 수, 활용 자료는 <표 Ⅳ-3>과 같다.


93

<표 Ⅳ-3> 글로벌 역량 평가도구 세트별 영역, 지문 수, 문항 수 및 활용 자료

일련

번호내용 주영역/하위영역 지문 수 문항 수 활용 자료

11 사회‧경제적 개발 및 상호의존성

1.1 경제 상호교류 및 상호의존성

1 1

1 1

1 1


1.1 경제 상호교류 및 상호의존성

1 1 보조자료(텍스트)

1 1

1 1

1 1

32: 문화 및 상호문화 관계

2.3 상호문화적 의사소통

1 1

1 1

1 1

1 1

4

3. 환경적 지속가능성

3.1 천연자원 및 환경 위기

3.2 환경적 지속가능성을 이한 정책, 실천, 행동

1 1 시각자료

11

1

52 문화 및 상호문화 관계

2.2 문화적 표현 및 문화적 교류

1 1

1 1 시각자료

1 1 시각자료


2.4 관점 설정, 고정관념, 차별, 불관용

11

1

1 1 보조자료(텍스트)

7

3. 환경적 지속가능성

3.1 천연 자원 및 환경 위기

3.2 환경적 지속가능성을 위한 정책, 실천, 행동

1 1

보조자료(텍스트)1 1

1 1


2.4 관점 설정, 고정관념, 차별, 불관용

1 1

보조자료(텍스트)1 1

1 1


1.2 인간자본, 개발, 불평등

11

보조자료(텍스트)1

1 1

104. 제도, 충돌, 인권

4.3 정치적 참여 및 글로벌적 참여

1 1 시각자료

1 1 시각자료

합계 28 31

출처: OECD(2016e, p.17)을 토대로 정리하여 재구성함.

본연구팀에서개발한시나리오는대화형식과독백형식을포함하였으며문항은선택

형과개방형을포함하였다. 개발진의부담을줄이는동시에측정의도의구현을극대화시

키기위해일부세트를제외하고는한글로시나리오와문항을제작하였고한글프로그램을

사용하였다. 글로벌역량워킹그룹중이중언어화자교사와교수가이를영문으로번역하


94

고 본 연구팀의 최종 검토, 수정‧보안 후 국제본부에 제출하였다.

이와같이개발한글로벌역량의평가도구정보의특성을국제본부에명확히전달하기

위해본연구팀에서는<표Ⅳ-4>와같은양식을개발하여각세트별정보를함께국제본

부로 전달하였다.

<표 Ⅳ-4> 글로벌 역량 시나리오와 문항 정보 양식15)

15) 시나리오와 문항 정보의 보안 유지를 위해 세부 내용은 삭제하고 제시한다.


95

본 연구팀에서 국제본부에 제출한 각 평가도구 세트 단위의 구성은 다음과 같으며, 각

평가도구세트단위의구성과내용의이해를위해10개의제출본중하나를예시로제시하

면 [그림 Ⅳ-2]와 같다.

◯1 시나리오의 영역과 주제를 반영한 제목 제시

◯2 전체 시나리오의 도입 역할을 위한 지침 제시

◯3 첫 번째 지문과 보조자료 제시

◯4 첫 번째 지문의 발문과 선택지를 포함한 하위문항 제시

◯5 두 번째 지문(보조자료) 제시

◯6 두 번째 지문의 발문과 선택지를 포함한 하위문항 제시

◯7 세 번째 지문(보조자료) 제시

◯8 세 번째 지문의 발문과 선택지를 포함한 하위문항 제시

[그림 Ⅳ-2] 제출된 세트의 구성 및 내용 예시16)

16) 시나리오와 문항 내용의 보안 유지를 위해 세부 내용은 삭제하고 제시한다.


96

구분 일정

검토 문항참여국

수

우리나라 검토 결과

단위

문항 수

하위

문항 수수용

수정

필요

수용

불가

1차 검토 2015. 8. 31～9. 11 14 162 43 150 12 0

2차 검토 2015. 10. 28～11. 6 13 132 43 121 11 0

3차 검토 2015. 11. 16～11. 27 7 56 43 42 14 0

2. PISA 2018 예비검사 평가도구 검토

가. 읽기 평가도구 검토

PISA 2018 예비검사에사용될읽기문항에대한참여국별검토는세차례에걸쳐이루어

졌다.

먼저, 1차검토에서는국제본부가송부한문항묶음 1(Batch 1)의단위문항과하위문항에

대한오류여부를점검하고평가틀에대한문항타당도를평가하였다. 검토자료로는국제

본부에서제공한문항검토용지침서와검토체크리스트가활용되었다. 2차및 3차검토에

서는 각각 Batch 2와 Batch 3에 대한 참여국의 문항 타당도와 적합성 검토, 완성도 검증

및 문항 관련 의견 개진이 이루어졌다.

참여국문항검토에서다루는주요내용항목은문항내용이PISA의평가틀에부합하는

지에관한여부와대상학생인만15세학생의직업및진학을위한준비도평가문항으로

서의 적절성, 문화적 편향성 및 민감성, 오탈자 및 문장 오류에 대한 점검 등이었다. 각

검토항목은5점척도로평가되었으며이상유무나의견은간단하게자유기술하여국제본

부에 전달하는 방식이 채택되었다. 또한 검토 항목별 평가 결과를 종합하여 수용 가능,

수정, 수용 불가로평정하고, 수정이나수용 불가사항에 대해서는그 이유를설명하도록

하는 방식으로 검토가 진행되었다. PISA 2018 예비검사 읽기 문항에 대한 검토 일정 및

결과는 아래 <표 Ⅳ-5>와 같다.

<표 Ⅳ-5> PISA 2018 예비검사 읽기 문항에 대한 검토 일정 및 결과


97

나. 글로벌 역량 평가도구 검토

글로벌역량평가도구검토는타영역과달리크게두가지차원에서진행되었다. 첫번째는

본연구팀에서개발한평가도구에대한검토로, 이는국제본부의의견을반영한수정과보완

이다. 두번째는우리나라를포함한국제연합2개기관과7개국가에서개발한세트를국제본

부에서 수정하여 송부한 문항묶음, 즉 Batch 1과 Batch 2에 대한 검토 및 의견 개진이다.

(1) 국내 PISA 연구팀이 개발한 평가도구에 대한 수정‧보완

국내PISA연구팀에서개발한두개의평가도구세트의초안에대해국제본부가의견과

제안을 먼저 송부해 왔으며 본 연구팀에서는 이를반영하여 수정‧보완을 하였다. 그리고

나머지 8개의 세트 개발 시에도 해당 과정을 적용하여 총 10개 세트를 제출하였다.

본 연구팀은 먼저 국제본부의 의견과 제안의 특징을 분석하였다. 그리고 측정 의도와

시나리오의 내용 및 구현 방법 등을 고려하여 국제본부의 의견과 제안에 별도의 이의가

없으며수정과보완이가능하다는판단에따라수정‧보완업무의방향을설정하고구체적

인 작업을 진행하였다. 본 연구팀이 수행한 수정‧보완 작업의 예를 들면 다음과 같다.

첫째, 전반적으로 시나리오의 분량 축소를 요청함에 따라 시나리오와 문항, 선택지의

일부 내용을 삭제 혹은 수정하고, 일부 세트의 경우 포함된 하위문항 수를 감축하였다.

둘째, 제목의 간략화 제안에 따라 제목을 수정하였다. 예를 들면 ‘Understanding and

Respect for Cultural Diversity’를 ‘Summer retreat’로 수정하였다.

셋째, 시나리오및하위문항의평가영역변경제안에따라시나리오와문항내용, 평가

영역의관계를유지하며주영역을유지하는수준으로문항정보를변경하였다. 예를들면,

원래 주영역 2에 해당된 문항의 하위영역 ‘2.3: Intercultural communication’을 ‘2.4

Perspective taking, stereotypes, discrimination, and intolerance’로 분류하였다.

넷째, 시나리오의 내용 중 우리나라의 특징을 살리기 위해 한국어 학교명과 학생명을

사용하였으나국제본부가외국명을혼용할것을제안함에따라시나리오내용중한국에

대한명시적제시나암묵적내용을수정하고일부학생의한국명을유지하는동시에일부

학생은 외국 이름으로 수정하였다.

다섯째, 일부 시나리오의 복잡성 수준 변경 제안에 따라 이를 수용하여 복잡성 ‘상’을

‘중’ 혹은 ‘중’을 ‘상’으로 변경하였다.


98

(2) 전체 평가도구 검토

글로벌역량평가도구에대한검토는우리나라뿐아니라개발에참여하고있는기관및

국가에서제출한초안을대상으로하며총두개의문항묶음, 즉Batch 1과Batch 2로나뉘어

진행되고있다. Batch 1에대한1차검토의견제출이완료되었으며우리나라를포함한38개

국이검토의견을제출하였다(OECD, 2016m, p.4). Batch 2에대한검토는현재진행중이다.

글로벌 역량 Batch 1과 Batch 2에는 각각 21개의 세트가 포함되어 있으며, 검토 내용은

시나리오와문항에대한적절성, 타당성점검및이의제기시그근거와의견개진등이포함

된다. 읽기영역의경우각Batch에대한검토가세차례씩진행되지만글로벌역량의경우

진행일정의촉박및 지연등에따라두 차례로단축될것으로예상된다. Batch 1과 Batch

2에대한검토는국제본부에서제공한문항검토용지침과체크리스트를활용하여진행된다.

아래 [그림 Ⅳ-3]은 본 연구팀에서 Batch 1에 대한 검토의견을 작성하여 제출한 의견이다.

출처: 국제본부에서 제공한 ‘CY7_TST_GC_Scenarios_Batch1_ReviewForm_KOR.xls’ 파일을 토대로 구성함.

[그림 Ⅳ-3] 글로벌 역량 Batch 1에 대한 검토의견 예시17)


99

국제본부에제출한본연구팀의Batch 1에대한 1차검토의견의예를들면다음과같다.

“전반적인시나리오와문항의내용적, 문화적적절성에는큰문제가없는반면일부요소의

경우우리나라학생들이맥락적상황에익숙하지않아체감난이도가높아지고결과적으로

문항의타당성이낮아질가능성이있다.”, “읽기능력의부담을줄이고타당성을제고하기

위해시나리오의문자텍스트를줄이고시각자료등을제공할필요가있다.”, “시나리오와

문항 내용의 속성상 정답을 유추할 수 있는 단서가 부족하다.” 등이 포함되었다. 그러나

Batch 1과 Batch 2에포함된총42개의세트의완성도가낮으며선택지중오답없이정답

만 제시되어 있는 등 검토의 한계가 있었다. 본 연구팀은 이와 같은 검토 자체의 한계에

대한 평가의견도 전달하였다.

본연구팀은개발및검토등을포함한전과정에국제본부와의교류, 협력을통해지속

적으로적극적이고주도적인역할을할예정이다. 글로벌역량파일럿에사용될시나리오

와문항의세트는향후일정에따라2017년 1월말∼2월초반에확정될예정이다. 우리나라

의파일럿참여여부는교육부와의협의(전문가협의회, 2016.9.8)에서파일럿참여경험을

바탕으로글로벌역량의주도적역할수행, 파일럿결과를토대로한관련연구수행, PISA

2018 본검사 시행 준비도 제고, PISA 관련 우리나라의 위상 제고 등을 근거로 파일럿에

참여하는것으로의사결정을하였고이를국제본부에전달하였다. 2016년 10월 19일 PGB

회의에서글로벌역량평가도구와함께글로벌역량파일럿대상국선정등이논의되었고,

우리나라도 파일럿 대상국으로 선정되었다(OECD, 2016m).

다. 교육맥락변인

PISA 2018 예비검사의교육맥락변인조사대상은학생, 학교장, 학부모, 일반교과교사

와주영역읽기를담당하는국어교사이다. 우리나라는필수로시행해야하는학교장설문

과학생설문외학생의교육경험과 ICT 설문을선택하였으며학부모설문과교사설문도

병행하고있다. 교사설문은지난주기인PISA 2015 부터추가되었으며주영역에해당하는

교사와그외교과교사로구분하여조사하고있다. 특히그동안설문조사에서사용되었던

추이 문항 외에 새로운 평가 영역인 글로벌 역량, 주영역인 읽기와 관련된 새로운 설문

문항도개발되었다. 학생설문에서새롭게개발된문항중에는글로벌역량영역에서인지

적검사로평가하기곤란한내용의대부분을설문문항으로전환하였고, 읽기영역은교사

17) 구체적인 의견은 보안 유지를 위해 삭제한다.


100

설문과 학교 설문 중 일부 문항이 포함되었다.

참여국 전체를 대상으로 2015년 11월 16일부터 12월 1일까지 PISA 2018 예비검사의

교육맥락변인설문조사전체문항에대하여검토의견을수합하였다. 우리나라의경우해

당 대상 설문에 대한 모든 문항을 검토하여 수용 여부와 함께 필요에 따라 수정 사항을

요청하였다. 검토과정은각문항에대하여국가교육체제에적합한정도, 설문대상자에의

적합성, 문화적 또는 인종적으로 민감한 문제인지의 여부, 번역 상 발생할 수 있는 문제

등을 고려한 후 종합적으로 ‘수용 가능’, ‘수정 필요’, ‘수용 불가’ 등 세 가지로 구분하여

의견을개진하였다. 우리나라에서제시한PISA 2018 예비검사설문문항검토결과는<표

Ⅳ-6>과 같다.

<표 Ⅳ-6> PISA 2018 예비검사 설문 조사 문항에 대한 검토 결과

대상 설문 종류 문항 수우리나라 검토 결과

수용 가능 수정 필요 수용 불가

학생

학생 88 79 1 8

교육경험 25 24 1 0

ICT 18 18 0 0

학교장 학교 31 28 3 0

학부모 학부모 48 45 3 0

교사일반 39 38 1 0

국어 46 46 0 0

계 295 278 9 8

3. PISA 2018 예비검사 평가도구 번역

PISA 2018 예비검사평가도구의 번역‧번안 및 검증은 새 문항과 채점기준, 설문 문항,

시행지침서등을대상으로이루어지며, 현재는시행지침서를제외한인지적영역(읽기및

글로벌 역량)과 설문 문항에 대한 번역‧번안 작업이 진행 중이다. 인지적 영역 및 설문

문항에 대한 전체적인 번역과 검증 절차는 [그림 Ⅳ-4]와 같다.


101

[그림 Ⅳ-4] PISA 2018 인지적 영역 및 설문 문항에 대한 번역 및 검증 절차

가. 읽기 평가도구 번역 및 검증

추이 문항에 대한 번역‧번안 및 검증을 위해 국가센터에서는 평가도구로 활용되었던

문항을PISA 2018 예비검사의평가도구구성절차에따라검증, 확인하여국제본부에제출

해야 한다. 국제본부는 각국의 검증 절차를 위해 참여국에 ‘문항 번안 양식(Test

Adaptation Spreadsheet, 이하 TAS)’을 제공하였으며, 각국에서는 이 양식에 각 문항의

검증결과이상유무를표기하여국제본부에제출한다. 국가센터에서는TAS를이용하여

문항오류및번안착오발견시이를보고해야하며, 오탈자및문장오류에대한수정을

국제본부에 요청할 수 있다(OECD, 2016p).

새로 개발된 읽기 문항에 대한 번역‧번안 및 검증을 위해 국제본부에서는 문항 번역

프로그램(Open Language Tool, 이하OLT)용XLIFF 파일18) 및국제본부와의의사소통을

위한 TAS를 제공하였다. 문항은 영어와 프랑스어의 두 종류로 제공되는데 우리나라는

영어본을선택하였으며, 국제본부의번역지침에따라두번역자가동일내용에대해이중

번역을 하고 국가센터의 영역 담당자는 조정자와 협의하여 최종 국문 번역‧번안 내용을

국제본부에 제출하였다. PISA 문항 번역과 번안에서의 원칙은 원문의 의도를 충실하게

반영하여 내용과 형식에서 참여국 간 차이를 최소화하는 것이다. 이는 결과의 신뢰성과

타당성을확보하는데매우중요한요소로각문항의난이도와내용의본질이변하지않도

록유의하면서번역과번안이이루어지도록한다. 번안시, 각국 학생들간의 사회문화적

배경지식역시중요하게고려되어야할사항이므로국가센터에서는번역과번안에서학생

들이문항에대한문화적인이질감을느끼지않도록고려해야한다. 국제본부에서는국문

번역본을영어로재번역하여이를원래각국에제공된영어본과비교하여국문본번역의

18) 국제본부에서는참여국에문항용번역프로그램(OLT)을제공하며, 이프로그램에서작성된XLIFF 파일은CBA

플랫폼에서 해당 국가 언어로 구동된다.


102

타당성을 검증한다. 이후 국제본부에서는 한국어본 검사도구의 검증 결과를 우리나라에

알리고, 협의가필요하거나문제가되는항목들에대해상호조정과정을거쳐최종예비검

사에 쓰일 한국어본을 확정하게 된다(OECD, 2016p).

번역된 Batch 1∼Batch 8의문항은 8월 30일까지 PISA 2018 포탈사이트에1차업로드

되었고, 조정작업을거친국내번역본이 9월 30일국제본부에전달되었으며11월부터국

제본부와 국가센터 간의 상호 번역 협의 과정이 진행된다.

나. 글로벌 역량 평가도구 번역

글로벌역량평가도구의개발이현재진행중(초안개발완료, 검토진행중)에있으므로

번역은 아직 시작되지 않은 상태이다. 다만 글로벌 역량 Batch 1과 2의 총 42개의 세트

번역이외본연구팀에서한글로개발한 10개의세트를번역하였다. 한글로개발된세트를

정확하고적절하게영어로번역하기위해워킹그룹중두명의이중언어화자가번역하였으

며 본 연구팀의 번안 및 수정을 거쳐 국제본부에 전달하였다. 국제본부의 향후 계획(위

Ⅳ장 1절 <표Ⅳ-2> 참고)에따라파일럿을위한평가도구세트가최종확정(2017년 1월

26일∼2월 8일)된 이후 진행될 예정이다.

다. 설문 조사 도구 번역 및 검증

교육맥락변인의조사를위한설문문항에대해서도번역, 번안및검증을진행한다. 설문

문항은2명의번역자가각각번역한후1명의조정자가조정작업을수행한다. 설문문항의

번역은문항의난이도유지에초점을두는인지적영역의문항번역과달리우리나라상황

에적합하고설문의도를명확히드러내면서문항설명의모호함을없애고명료함을높이

는것에초점을맞춘다(OECD, 2016t). 밑줄이나글씨체등과같은형식은유지하지만, 읽기

능력이부족한학생이나고등교육을받지않은학부모도충분히이해할수있도록문항을

번역하는것이중요하기때문이다(OECD, 2016o). 설문문항의번역및검증절차를그림으

로 나타내면 [그림 Ⅳ-5]와 같다.


103

출처: OECD(2016o, p.20)를 수정함.

[그림 Ⅳ-5] PISA 2018 설문 문항에 대한 번역 및 검증 과정

PISA 2018 예비검사에서 설문 문항의 번역 및 번안은 국제본부의 연구연합체 중에서

DIPF(Core A)와 cApStAn(Core D)가맡고있다. 설문에사용되는추이문항은설문번안

양식(Questionnaire Adaptation Spreadsheet, 이하 QAS)을 이용하여 국제본부와의 조정

과정을거치고, 국제본부에서는조정결과를승인한후검증단계에서문항에수정내용을

반영한다. 또한맞춤법이나띄어쓰기의수정이필요한경우에도QAS에관련내용을입력

하면국제본부가승인한결과에한하여검증단계에서그내용을문항에반영한다. 그러나

국제본부에서는명백한오류에대한수정이아닌단순히문장을다듬는수준에서의문항

수정은 권장하지 않는다.

출처: 국제본부에서 제공한 ‘PISA2018FT_QAS_kor-KOR.xlsx’ 파일을 토대로 구성함.

[그림 Ⅳ-6] 설문 번안 양식(QAS)의 예시


104

PISA 2018 예비검사에서 새롭게 개발된 문항은 QAS를 통해 번안 결과를 승인 받은

후설문저작도구(Questionnaire Authoring Tool, 이하QAT)에문항의번역결과를직접

입력하고검토및검증과정을거친다(OECD, 2016o). 다만지필기반으로실시하는학부모

설문의 경우에는 워드 파일을 이용하여 모든 문항을 직접 입력한 후 제출한다.

[그림 Ⅳ-7] 설문 저작도구(QAT)의 화면 예시19)

국제본부에서는 설문 번역 결과에서 일관성을 유지하기 위해 PISA 2018 예비검사의

번역과정에일관성도구(Consistency Tool)를사용할것을제안하였다. 문항에반복적으

로 사용되는 단어나 문구를 정리함으로써 번역된 문항의 일관성을 높이도록 하였다.

출처: 국제본부에서 제공한 ‘CY7_1603_QST_Consistency_Tools_Questionnaires_lll-CCC.xlsx’ 파일을 토대로 구성함.

[그림 Ⅳ-8] 일관성 도구의 예시

19) OECD PISA 국제본부 포탈은 비공개로 운영되므로 보안 관계상 url을 생략하였다.


105

PISA포탈및이메일을이용하여국제본부와협의한결과, 국제본부가승인한주요번안

및수정된설문내용의일부를정리하면<표Ⅳ-7>과같다. 홈시어터, 학부모육성회등과

같이최근에는사용하지않는단어나대상에대한표현을수정하고, 설문응답자가좀더

이해하기쉽도록표현을매끄럽게하거나, 설문응답에는크게영향을주지않지만설문의

전체적인 일관성을 높일 수 있도록 반복되는 문구에 대한 표현을 통일하였다.

<표 Ⅳ-7> 번안 및 번역의 수정 내용 예시

설문 유형 원문 PISA 2015 본검사 PISA 2018 예비검사

학생

▪home theater 홈시어터영화 감상용 대형 스크린과

오디오 시스템

▪There is noise and disorder 소음과 소란이 있다 소란스럽고 무질서하다

▪Foreign language 외국어 영어를 포함한 외국어

교사

▪Knowledge of the curriculum 교과 과정에 대한 지식 교육과정에 대한 지식

▪ICT (information and

communication technology)

skills for teaching

수업에필요한정보통신기술

(ICT)

수업에필요한정보통신기술

(ICT) 활용 능력

학교▪heritage language: 어머니 또는 아버지 나라 모국어

▪parent council 학부모 육성회 학부모회

학부모▪early childhood education

and care arrangement

영유아교육및보육보호프로

그램(PA017), 영유아 양육과

보호 프로그램(PA018)

영유아교육및보육프로그램

또한우리나라의상황을고려하여표현을수정하였다. 예를들어, 학부모설문중학생이

유아교육프로그램에몇시간정도참여했는지를묻고있는문항의경우, 영어원문에서

3세임을명시하고있으나우리나라의경우맥락상 ‘만 3세’일가능성이크다고판단하였다.

따라서 국제본부와의 협의를 통해 PISA 2018 예비검사에서는 ‘만 3세’로 수정하였다.

PISA 2015 PISA 2018

귀하의 자녀가 3세 때, 일주일에 몇 시간

유아 교육 프로그램(예: 유치원)에

참여했습니까?

귀하의 자녀가 만 3세 때, 일주일에 몇 시간

정도 영유아 교육 및 보육 프로그램에

참여했습니까?

[그림 Ⅳ-9] ‘만’ 나이 관련 PISA 2015와 PISA 2018 문항 비교

한편 학생 본인과 부모님의 출생 국가와 사용 언어를 묻는 문항의 경우, PISA 2015와


106

동일하게우리나라와 ‘기타국가’를제외하고 8개국을제시하였다. 이를위하여 2015년교

육통계 자료에 제시된 우리나라 다문화 학생의 출생 국가를 확인하였다.

<표 Ⅳ-8> 우리나라의 다문화 학생 현황

국가

연도

남부

아시아대만 러시아 몽골 미국 베트남 유럽

인도

네시아일본 중국

중앙

아시아태국 필리핀

2015 1,621 672 1,257 1,585 884 17,247 463 479 13,153 27,955 1,790 1,747 11,103

(단위: 명)

출처: 교육부‧한국교육개발원(2015a, p.40)을 토대로 구성함.

조사된자료에따르면중앙아시아와남부아시아는각각1,790명과 1,621명으로몽골, 러

시아, 미국보다학생수가많았으나, 국가를특정하지않아선정대상에서제외하였다. 그

결과, 러시아, 몽골, 베트남, 미국, 일본, 중국, 필리핀, 태국을 학생 본인과 부모님의 출생

국가와사용언어를묻는대상국가로선정하였다. PISA 2015 본검사에서선정된국가와

비교하면 [그림 Ⅳ-10]과 같다.

PISA 2015 PISA 2018

미국, 베트남, 일본, 중국, 캄보디아, 캐나다,

태국, 필리핀

러시아, 몽골, 미국, 베트남, 일본, 중국,

태국, 필리핀

[그림 Ⅳ-10] 다문화 학생 현황 파악을 위한 PISA 2015와 PISA 2018의 국가명 비교

라. 평가도구 제작 및 확정

국가센터인국내PISA연구팀과국제본부의평가도구에대한번역및검증작업이완료

되면국제본부가제공한평가문항의저작도구인OLT, QAT를활용하여웹기반브라우저

에서 국문으로 번역된 문항이 의도대로 잘 표현되었는지, 그림과 글의 배치가 적절한지,

시뮬레이션이나설문과정에서시뮬레이션의작동이나자료입력버튼등의기능이정상적

으로작동하는지에대하여검토한다. 인지적평가문항의번역을포함한읽기평가도구의

제작 일정은 <표 Ⅳ-9>와 같다.


107

<표 Ⅳ-9> PISA 2018 읽기 평가도구 제작 일정

4월 5월 6월 7월

1차 번역/번안*

2차 번역/번안

조정

XLIFF 제작, 수정 및 보완

팀 검토 및 실험평가

최종 수정 및 보완

국제본부 송부**

* 1차 번역‧번안에 채점 코드북 번역이 포함됨.

** 국제본부 송부 기한: 2016년 8월 5일

학부모 설문의 경우에는 지필 문항으로 제작되므로 인쇄본 형태로 제작하여 오탈자의

유무나문장의가독성을점검한다. 국제본부와평가도구제작에관한검토및검증작업을

완료하면이를바탕으로국제본부는평가도구를USB에탑재하여구동할수있도록문항

및 구동 프로그램을 하나의 압축파일에 담아 포탈을 통해 배포하게 된다. 참여국에서는

이파일의압축을풀고학생들이사용할개별USB에복사하여평가도구를제작하게된다.

단, 학교장‧교사설문은PISA설문조사시스템에접속하여온라인으로조사가진행되므

로국가센터에서설문조사시스템에접속하여원활하게작동하는지확인한다. 평가도구의

USB 탑재및구동테스트작업은번역및검증이종료된 2017년초에이루어질예정이다.

설문의번역부터최종제작단계까지의설문조사도구제작일정은<표Ⅳ-10>과같다.

<표 Ⅳ-10> PISA 2018 설문 조사 도구 제작 일정

5월 6월 7월 8월 9월

1～3차 번역/번안

1～3차 조정

QAS 제작, 수정및보완

팀 검토


QAS 국제본부송부*

QAT 제작

팀 검토 및 실험평가


QAT 국제본부송부**

* QAS 국제본부 송부 기한: 2016년 7월 15일

** QAT 국제본부 송부 기한: 2016년 9월 9일

ⅤPISA 2018 예비검사 표집

1. 예비검사 표본 설계

2. 학교 표본의 추출

Ⅴ. PISA 2018 예비검사 표집

111

2015 2016 201710 3 4 5 6 7 8 9 10 11 12 3

외국인 학생 수 및 교사 사용 언어 조사ST0 국제본부 송부 및 승인예비검사/본검사 시행 시기 결정 및 모집단 정의ST1 국제본부 송부 및 승인모집단 학교 및 학생수(%) 정보수집(학교유형, 도시화 등)표본 설계와 TCS 결정ST2 국제본부 송부 및 승인예비 검사 제외대상 결정예비검사 표본 설계 결정ST3 국제본부 송부 및 승인예비검사 표집 학교 및 대체학교 결정ST4 국제본부 송부 및 승인KeyQuest 표집양식 검토ST5 국제본부 승인예비검사 표집 학생 결정ST6 국제본부 송부 및 승인

PISA 연구도다른국제학업성취도평가와마찬가지로참여국의학생전체를대상으로

시행하는것이아니라참여국학생특성의대표성을보장하는학생표본을대상으로평가

한다. PISA 2018 예비검사의 목적은 첫째, 본검사에 사용될 문항이 각 국가에서 제대로

번역되었는지확인하기위해수행하며둘째, 학생표집절차와참여학교에대한시행절차

를 점검하기 위함이다(OECD, 2016h, p.4). 그리고 본검사 준비를 위하여 다양한 학교와

학생 정보를 수집하는 것도 부가적인 목적으로 볼 수 있다. PISA 2018 예비검사를 위한

표집절차는국제본부에서제공하는표준화된기준에따라엄격하게진행된다. 이러한표

집과정이 체계적이고 타당하게 이루어져야 우리나라 PISA 자료는 물론 국제 비교 연구

결과의 신뢰성을 담보할 수 있기 때문이다.

1. 예비검사 표본 설계

PISA 2018 예비검사표집을담당하고있는미국의Westat과상호협의를통해표집절차

가진행되며최종국제본부의승인을받는다. 2016년은학교표집까지만수행하고예비검

사가치러지는2017년 3월학기가시작하면평가대상학생표집을완료하게된다. 예비검

사 대상 학교 표집을 위하여 국제본부에 제출해야 하는 표집 관련 과업(sampling task,

ST) 내용을 중심으로 표집 설계 내용과 일정을 정리하면 <표 Ⅴ-1>과 같다.

<표 Ⅴ-1> PISA 2018 예비검사 표집 설계 및 표집 일정


112

우선각국내외국인학생수를파악하고교실에서교사가사용하는언어유형이무엇인

지조사하는것을시작으로PISA 2018 예비검사와본검사시행시기를각국가에서결정하

여송부한다. 이것은PISA연구대상을위한모집단정의와직접적으로연결된다. 각국에

서는모집단을포함하는모든학교와학생수, 학교유형, 소재, 설립유형등학교정보를

조사한다. 국제본부에서 제시하는 표본 설계 중 우리나라의 상황에 적합한 표본 설계를

결정하고수집된정보를함께제출한다. 예비검사에서제외될조건에해당하는학교또는

학생을제외한모집단을재정의하고예비검사의표본설계를결정한다. 표본설계에맞는

표집틀에따라예비검사표집학교와대체학교를추출하게된다. 국제본부의승인후최종

표집을 위한 KeyQuest 프로그램(OECD, 2016k)양식을 검토하고 학생 표집에 대비한다.

이렇게 진행되는 예비검사의 표집 과정을 상세하게 설명하고자 한다.

가. 모집단 정의

PISA 2018 예비검사의경우인지적영역은주영역인읽기와보조영역인수학, 과학이며

비인지적영역을포함한교육맥락변인을 파악하고자하는 다양한 설문 조사를 수행한다.

새로추가되는글로벌역량의경우예비검사에서는설문조사에만포함되며글로벌역량의

인지적 영역은 예비검사에서 시행하지 않고 각 대륙을 대표할 수 있는 국가를 대상으로

한 파일럿만 시행하는 것으로 확정되었다(OECD, 2016m). 표본 설계는 모집단을 어떻게

정의하는지가 출발점이며, PISA 2018 연구의 평가대상을 위한 목표 모집단(target

population)은 다음과 같이 기존의 정의와 동일하다.

검사 기간의 시작 시점에 만 15세 3개월∼만 16세 2개월인 학생으로 해당 국가 내에 위치한

교육기관에 재학하고 있어야 하며, 7학년 이상이어야 한다. 즉 우리나라의 경우 중학교 1학

년 이상인 학생부터 해당한다(OECD, 2016h, p.4).

정의에서 볼 수 있듯이 목표 모집단의 전부는 아니더라도 대부분이 15세 학생들이기

때문에, PISA 대상을 가리켜 일반적으로 ‘만 15세 학생’이라고 한다. 더명확하게 말하면

‘PISA 모집단의생년월일정의에부합하는15세및 16세학생들’을의미한다. 즉국제적으

로 목표 모집단에는 참여국의 교육기관에 재학 중인 모든 만 15세 학생이 포함된다.

첫번째주기인 PISA 2000 연구에서 2000년 4월에평가시행을계획하였고, 그에따라


113

2000년 4월 조사될 모집단의 출생년도는 1984년으로 결정됨으로 모집단의 연령이 위와

같이정의되었던것이다. 이러한정의에따라국제본부는검사실시시기와연계하여모집

단연령전환표를만들게되었다. 따라서목표모집단의생년월일범위를정하기위해서는

예비검사시기부터고려되어야한다. 국제본부에서는PISA 2018 예비검사를 2017년 3월

1일에서 2017년 6월 30일사이에시행하되, 컴퓨터기반평가로시행하는경우최대연속

8주이내에완료되어야하며, 각국의새학년이시작된첫 6주동안에는평가하지않도록

시행 기준을 제시하고 있다(OECD, 2016i, p.3). 이전 주기에서 우리나라의 검사 시행 시

기20)를살펴보면, PISA 2006, 2009, 2012, 2015 예비검사와본검사는해당연도의5월에서

부터 6월에걸쳐실시하였다. 이전주기의검사시기를참고하고국제본부의기준에따라

PISA 2018 예비검사의 시기를 2017년 5월 8일부터 6월 9일로 계획하였다.

예비검사시행시기가결정되면계획된예비검사기간에맞추어평가대상모집단학생

들의 생년월일 범위가 결정된다. <표 Ⅴ-2>는 PISA 2018 예비검사를 위해 국제본부가

제공하는검사실시시기와모집단연령전환표의일부로, 예비검사시기가 2017년 5월과

6월인 경우 모집단의 생년월일 범위를 나타내고 있다.

<표 Ⅴ-2> 검사 시기와 모집단의 생년월일 범위

검사 시기 생년월일 범위 검사 시기 생년월일 범위

2017년 5월

2001년 3월 ∼ 2002년 2월

2001년 2월 ∼ 2002년 1월

2001년 1월 ∼ 2001년 12월

2017년 6월

2001년 4월 ∼ 2002년 3월

2001년 3월 ∼ 2002년 2월

2001년 2월 ∼ 2002년 1월

출처: OECD(2016i, p.6)

<표Ⅴ-2>에제시된각시기별생년월일의범위중에서공통된기간이면서이전주기의

정의를고려하고, 우리나라의경우3월에새학년이시작되므로, PISA 2018 예비검사대상

20) PISA 2006, 2009, 2012, 2015 예비검사 및 본검사의 시행 시기는 다음과 같다(이미경 외, 2005; 2006; 김경희

외, 2008; 2009; 조지민 외, 2011; 2012; 송미영 외, 2014; 구자옥 외, 2015b).

주기 예비검사 시기 본검사 시기

PISA 2006PBA 2005.5.9(월)∼5.16(월) 2006.6.7(수)∼6.13(화)

CBA 2005.5.16(월)∼6.3(금) 2006.6.12(월)∼6.27(화)

PISA 2009PBA 2008.5.19(월)∼5.26(월) 2009.5.18(월)∼5.29(금)

CBA 2008.5.19(월)∼5.29(목) 2009.5.18(월)∼5.30(토)

PISA 2012PBA 2011.5.16(월)∼5.27(금) 2012.5.21(월)∼6.2(토)

CBA 2011.5.16(월)∼5.27(금) 2012.5.21(월)∼6.2(토)

PISA 2015PBA 2014.5.16(금)∼5.30(금) -

CBA 2014.5.16(금)∼5.30(금) 2015.5.11(월)∼5.30(토)


114

모집단은 “2001년 3월 1일부터 2002년 2월 29일 사이에 출생한 학생”으로 결정하였다.

PISA 2018 예비검사 표집은 중‧고등학생 중에서 이 생년월일 범위에 속하는 학생들을

대상으로한다. 또한 예비검사와 본검사에서는모집단에 동일한생년월일범위를 적용할

수 없으며, 동일한 학생이 두 검사를 시행할 수 없다(OECD, 2016i, p.3).

PISA연구는인지적영역뿐아니라각영역성취에미치는영향을파악하기위해교육맥

락변인을 조사한다. 교육맥락변인에 대한 설문 조사는 평가대상 학생과 학생의 학부모,

학생이 소속된 학교장 및 교사를 대상으로 진행한다. 교사 대상 설문은 PISA 2015에서

추가되었고, 해당주기의주영역담당교사와일반교사로구분하여진행되기때문에PISA

2018의 경우 국어 교과 교사와 국어 외 교과 교사로 나누어 설문을 진행한다.

따라서학부모설문지에응답하는학부모는학생표본과직접적으로연계되어있고, 학

교 설문지는 표집 학교에서 지정한 교사에 의해 작성되므로 표집 학교와 연계된다. 교사

설문지에응답하는교사들은우리나라중학교및고등학교의교사모집단을대표하는표본

은 아니지만 표집 학교에서 가르치고 있는 교사들이므로 PISA 학생 표본과 직접 혹은

간접적으로 연결되어 있다.

나. 학교 및 학생 표집 설계방법

일반적으로예비검사의학교표집은만 15세를포함하는다양한학교유형중국가센터

에서결정한학교수에따라표집한다. 본검사의경우표집학교를국제본부에서추출하지

만예비검사의학교표집은국제본부와의협의하에편의표집하고, 학생표집에있어서는

본검사와 동일한 절차를 따르고 있다(OECD, 2016h, p.5).

예비검사평가대상의학생표본을결정하기위해2단계표집방법을적용하고있다. 즉,

1단계에서학교를포집하고 2단계로학생을표집하는방식이다. 표집하는기본단위는학

교나학급단위가아니라개별학생이며, 표집된학교내에서개별학생을표집한다. 추후

평가 결과에서 학생 성취 결과의 학교 간 및 학교 내 변화량 추정이 가능하기 때문이다.

이러한 표본 설계를 통계 용어로 기술하면 ‘2단계 비례층화 표집설계(proportionate

stratified sampling design)’이며, 모집단을구성하고있는각학생이표본으로추출될확률

이동일하다고가정하는확률표본추출법이다. 확률표본추출법을사용하는경우표본은모

집단의 대표성이 높으며 모집단 추정값의 표집의 표준 오차를 계산할 수 있다.

2단계설계에따라1단계에서는크기에따른비례방법(probability proportional to size)에

의해예비검사의경우학교를편의표집하고, 2단계에서는학교별로학생들을무선표집한다.


115

여러수준의상호배타적인층(stratum)으로학교모집단을구분하고, 각층내에서무작위

또는체계적으로표본을추출하는것이다. 층화를구분하여표집함으로써표본의대표성을

높이고, 필요한표본의수를증가또는감소시킴으로써일정수준의정확성을확보할수있다.

또한층별특성은추후결과를비교할때유용한정보이다. 예비검사에서사용한층화변인

(stratification variable)은세가지요소, 즉학교급, 계열, 도시화(지역규모)를고려하여추출

하였다. PISA 2018 예비검사의 표집을 위한 표본 설계를 정리하면 <표 Ⅴ-3>과 같다.

<표 Ⅴ-3> PISA 2018 예비검사의 표본 설계

구 분 1 단계 2 단계

표집 단위 학교 학생

표집 방법 편의 표집 무선 표집

층화 변인학교급 : 중학교, 고등학교

계열 : 일반, 직업도시화 : 대도시, 중소도시, 읍면지역

표본 대상 만 15세 재학생 (연령에 기초한 표집)

표집 단계에서 필요한 층화 변인, 즉 학교급, 계열, 도시화(지역 규모)를 고려하면 <표

Ⅴ-4>와 같이 9종류의 표집층으로 구분될 수 있다.

<표 Ⅴ-4> PISA 2018 예비검사의 층화 변인

층화 변인층화 ID

층화 변인 1

(학교급)

층화 변인 2

(계열)

층화 변인 3

(도시화)구분 수준

학교급1=중학교 01 중학교 일반 대도시

02 중학교 일반 중소도시2=고등학교

03 중학교 일반 읍면지역

계열1=일반

04 고등학교 일반 대도시2=직업 05 고등학교 일반 중소도시

도시화

1=대도시 06 고등학교 일반 읍면지역

07 고등학교 직업 대도시2=중소도시

08 고등학교 직업 중소도시

3=읍면지역 09 고등학교 직업 읍면지역

표본설계에서고려한층화변인은이전주기와동일하나, 고등학교의경우계열에대한

수준명을 ‘일반계’와 ‘비일반계’에서 ‘고등학교_일반’과 ‘고등학교_직업’으로변경하였다. 왜

냐하면UNESCO에서 2012년새로개정된국제표준교육분류(The International Standard


116

Classification of Education, 이하 ISCED)에따라 2013년통계청에서공표한한국교육분

류개정안에근거하였기때문이다(통계청, 2014). ISCED는교육단계(levels of education)

와전공분야(fields of education)에따라교육프로그램이나관련학위및자격을분류할

때적용될수있는국제수준의분류체계이다. 즉, 국제적으로합의된범주에서교육프로

그램과 해당 교육 이수 후에 수여되는 학위 및 자격을 분류하기 위해 UNESCO 회원국

총회에서 공식적으로 채택된 틀을 의미한다(강영혜 외, 2012, p.21; UNESCO, 2012, p.6).

이전 PISA연구에서는 2009년우리나라에서제정한 ISCED 1997 기반의교육분류에따라

교육 단계(학교급) 및 전공분야(계열)를 설정 및 분류하였다.

중학교및고등학교과정에서ISCED 2011의주요개정내용은교육프로그램의성격에따라

일반, 직업(기술)전교육, 직업(기술) 교육의3개로분류하던것을일반(학문)과직업(전문)의

2개로단순화하였다는것이다(통계청, 2014). 이를근거로이전PISA연구에서고등학교‘일반

계’와 ‘비일반계’의학교계열구분을‘일반’과 ‘직업’의2개분류로변경하여, ISCED개정에따른

교육 분류를 보다 명확히 하였다. ISCED 1997 대비 ISCED 2011에서 우리나라 PISA 대상

학생이 주로 포함된 ISCED 2와 ISCED 3의 주요 개정 내용은 다음 <표 Ⅴ-5>와 같다.

<표 Ⅴ-5> ISCED 2단계 및 3단계의 1997, 2011 변경사항 대비표

ISCED1997

단계 구분 분류기준

2전기중등과정

(중학교)

일반 ISCED 3A/3B로의 진학 준비 프로그램

직업(기술)전 교육 ISCED 3C로의 진학 준비 프로그램

직업(기술) 교육 노동시장으로의 직접적 진출 설계 프로그램

3후기중등과정(고등학교)

일반 ISCED 5A(고등교육)로의 진학 준비 프로그램

직업(기술)전 교육 ISCED 5B(고등교육)로의 진학 준비 프로그램

직업(기술) 교육노동시장 진출 혹은 ISCED 4/3A/3B로의 진학 준비프로그램

ISCED2011

단계 구분 변경사항

2전기중등과정

(중학교)

일반(학문) 신규방송통신중학교, 산업체부설중학교, 외국인학교(중학교과정), 대안학교(중학교과정), 학교형태의학력인정 평생교육시설(중학교 과정)

직업(전문) -

3후기중등과정(고등학교)

일반(학문)

고등학교학제 개편

자율고등학교, 특수목적고등학교(마이스터고 제외)

신규외국인학교(고등학교과정), 대안학교(고등학교과정)

직업(전문)

고등학교학제 개편

특성화고등학교, 산업체부설고등학교,특수목적고등학교(마이스터고)

명칭 변경학력인정 사회교육실습학교 → 학교 형태의 학력인정 평생교육시설(고등학교 과정)

출처: 강영혜 외(2012), 통계청(2014), OECD(2004)


117

다. 표본 설계와 목표 표본 크기의 결정

PISA 연구를위한표집과정에서가장중요한것은목표표본크기(Target Cluster Size,

이하 TCS)를결정하는것이다. TCS는표집학교내학생수를의미하는것인데이는각

참여국의표본설계와직결되어있다. 예비검사의경우참여국에서만15세학생수가목표

군집 크기 이상인 학교를 편의 표집한 후에 Westat에서 승인한다.

<표Ⅴ-6>과같이국제본부에서제시한예비검사의세가지표본설계중에서참여국의

상황에적절한설계를선택할수있다(OECD, 2016j, p.5). 표본설계에서최소요구되는학교

수는각설계에서표집되기를기대하는최소학교수이며, 최소요구되는학교당학생수는

표집된학교에서평가되기를기대하는최소학생수를의미한다. 국제본부에서제시한PISA

2018 예비검사의표본설계의특징은평가영역이다양해짐에따라문항의행렬표집설계의

응답을확보하기위해 하나의표집학교내 충분한학생수를필요로하고있다는 점이다.

우리나라는그동안학교당표집학생을36∼39명수준으로설정하여시행하였으므로국제본

부와협의를통해54개학교의36명학생으로구성하는설계를요구하였다. 국제본부는타협

안으로설계 3을제시하였지만두 가지유형의학생수를요구함으로써학교에따라 최소

요구되는 학생 수를 다르게 구성하고 있어 우리나라 상황에 부합하지 않다.

<표 Ⅴ-6> 국제본부가 제안한 PISA 2018 예비검사 표본 설계안

표본 설계안최소 요구되는

학교 수(개교)

최소 요구되는

학교 당 학생 수(명)

최소 요구되는

총 학생 수(명)

설계 1 28 65 1,820

설계 2 40 45 1,800

설계 330 45

1,85414 36

출처: OECD(2016j, p.11)

우리나라의 경우 <표 Ⅴ-6>에 제시된 세 가지 설계 중에서 ‘설계 2’를 선택한 이유는,

표본의대표성을어느정도보장하면서동일한학교내의학생들에의해PISA 2018 예비검

사의번역된문항에대한타당성을검증하기위함이다. 이전주기와의유사성을고려한다

면 ‘설계 3’을선택할수있었지만이설계는실제표집과정에서최소요구되는학교수가

두가지유형이며그중36명에해당하는14개학교의모집단은거의중학교에만해당하였

다. 왜냐하면 14개표집학교의경우본부의표집과정지침에의하면모집단학생크기의


118

범위가 36명이상 45명미만으로제한하고있는데우리나라고등학교의경우는한두학교

를 제외하고 모두 45명 이상 학생에 해당하기 때문이다.

따라서전체표본의대표성을고려할수없으므로 ‘설계 2’의 40개학교의모집단은고등

학교대상으로만설정하게되었다. 예비검사의경우학교당최소요구되는학생수를충족

하지못하는경우예비검사표집틀에서제외되는기준이있기때문에중학교는예비검사

학교표집틀에서제외되었다. 그러나본검사의경우이러한기준이적용되지않을뿐아니

라 이전 주기와 유사한 표본 크기를 유지하기 위해 표집 학교당 39명의 학생을 표집할

것이며물론중학교도기본표집틀에포함될것이다. 그리고 PISA 2018 예비검사시행의

주요목적이번역된문항에대한타당성검증이므로본검사준비를위해중학교는추가표

집을통해선정하기로본부와협의하였다. 우리나라 PISA목표모집단학생중중학생의

비율(11.1%)은 고등학생의 비율(89.9%)에 비해 훨씬 적으나(교육부‧한국교육개발원,

2015b), 평가에서 완전히 제외할 만큼 낮은 비율은 아니며 첫 주기부터 포함되어 왔다.

그러나 표집된 중학교에는 PISA 대상 학생 수가 충분하지 않아 예비검사 또는 본검사

표집과정에서국제본부와의추가협의가필요한상황이다. 이를테면, PISA 2015 본검사

시행결과중학교표집학교의응시학생수평균은 23.5명(구자옥외, 2015b) 정도로목표

표집학생수인 39명에미치지못하였다. 특히 PISA 2018 예비검사의경우본부에서제시

한표본설계안이우리나라상황에서는학교급별PISA학생수차이때문에기본예비검사

표집틀에서중학교가제외되고추가표집을통해중학교를포함시킨것을주지하도록한다.

또한 PISA 2018 평가도 컴퓨터 기반 평가로 시행되기 때문에 우리나라 중‧고등학교의

컴퓨터실및컴퓨터보유현황등을고려할때학교당최소요구되는학생수가적을수록

용이한 것도 참고해야 할 사안이다.

각설계에제시된 학교별로 표집을 요구하는 최소학생수는 실제로 평가를받는학생

수로서참여국에서평가율(assessment rate)21)을추정하여실제학교당표집해야할최소

학생수, 즉TCS를정한다. 우리나라의평가율을추정하기위하여예비검사에서이전주기

의 부적격 비율, 학교 내에서의제외 학생 비율 및 응시율(response rate) 등에 기초하여,

평가율을 95%로추정하였다. 이전주기의우리나라PISA예비검사및본검사의응시율22)

21) 평가율(assessment rate) = 평가받은 학생 수 / 표집 학생 수(학교내 부적격 또는 제외학생 포함)

응시율(response rate) = 평가받은 학생 수 / 표집 학생 수(학교내 부적격 또는 제외학생)

22) PISA 2006, 2009, 2012, 2015 예비검사와본검사의응시율은다음과같음(이미경외, 2005; 2006; 김경희외, 2008;

2009; 조지민 외, 2011; 2012; 송미영 외, 2014; 구자옥 외, 2015b).


119

은 시기에 따라 다소 차이가 있으나 83.5%～98.2%이고, 가장 최근에 시행된 PISA 2015

예비검사와본검사의응시율은약 98%였다. 이를고려하여 95%의평가율을적용하면<표

Ⅴ-7>와 같이 학교 당 표집할 최소 학생 수는 48명(=45/.95)이 된다.

<표Ⅴ-7> PISA 2018 예비검사의목표표본크기(TCS) 및표집학교당최종학생수(.95 평가율적용)

최소 요구되는

학교 수(개교)

최소 요구되는

학교당 학생 수(명)평가율

예비검사에 포함될 학교당

최종 학생 수(명)

40 45 .95 48

2. 학교 표본의 추출

가. 예비검사를 위한 모집단 결정

PISA 2018 예비검사의 학교표집을위해가장 최신 자료인 2015년도 교육통계연보(교

육부‧한국교육개발원, 2015b)에 나타난 학교 및 학생 현황에 기초하여 2015년도 기준 만

15세 학생(1999년 3월 1일∼2000년 2월 29일 출생)이 속한 학교 수와학교 유형별 PISA

학생 비율의 근사치를 국제본부에 제공하였다. 교육통계연보는 전년도 정보를 매년 4월

말을기준으로마감하며 8월말에 통계정보를고시하고있다. 그러나 Westat에서 예비검

사를 위한 학교와 학생 모집단 정보를 2016년 8월 15일까지 요구하였으므로 2016년도

기준이 아니라 2015년도 통계정보를 송부하게 되었다. 이 정보는 각국의 교육 시스템에

대한전반적상황과PISA대상학생을포함하는다양한학교 유형에대해파악하기위한

목적으로 조사되며, 세부적인 조사 내용과 학교급별 분포는 <표 Ⅴ-8>에 제시된 바와

같다.

주기

예비검사 본검사

표집

학생 수(명)

응시

학생 수(명)응시율(%)

표집

학생 수(명)

응시

학생 수(명)응시율(%)

PISA

2006

PBA 1,709 1,672 97.8 5,520 5,389 97.6

CBA 560 550 98.2 1,640 1,532 93.4

PISA

2009

PBA 1,312 1,279 97.5 5,123 4,990 97.4

CBA 387 323 83.5 1,549 1,488 96.1

PISA

2012

PBA 952 921 96.7 5,201 5,032 96.8

CBA 1,887 1,817 96.3 2,780 2,667 95.9

PISA

2015

PBA 554 545 98.4 - - -

CBA 1,809 1,754 97.0 5,749 5,581 97.1


120

학교 특성만 15세 학생

학교 수(개교) 비율(%) 학생 수(명) 비율(%)

도시화

대도시 1,911 34.71 249,065 42.12

중소도시 1,865 33.87 254,403 43.03

읍면지역 1,730 31.42 87,821 14.85

학교급중학교 3,138 56.99 65,583 11.09

고등학교 2,368 43.01 525,706 88.91

계열**일반 5,008 90.96 436,016 82.87

직업 498 9.04 90,139 17.13

성별 유형

남학교 793 14.40 115,800 19.58

여학교 779 14.15 116,355 19.68

남녀공학 3,934 71.45 359,134 60.74

주‧야간 운영주간 5,493 99.76 588,311 99.50

주‧야간 13 0.24 2,978 0.50

종교 여부비종교 5,102 92.66 538,888 91.14

종교 404 7.34 52,401 8.86

특수학교 여부특수학교 157 2.85 2,116 0.36

비특수학교 5,349 97.15 589,173 99.64

외국인학교 여부***외국인학교 25 0.45 942 0.16

비외국인학교 5,481 99.55 590,347 99.84

PISA 대상

학생 수

3명 미만 397 7.21 552 0.09

3≦학생 수≦20 1,324 24.05 15,041 2.54

21≦학생 수≦41 1,291 23.45 37,605 6.36

42명 이상 2,494 45.30 538,091 91.00

총 계

(7학년 이상)5,506 100.00 591,289 100.00

<표 Ⅴ-8> 우리나라 만 15세 학생들의 학교급별 분포 (2015년 기준)*

* 조사 기준일: 2015년 4월 1일

** 계열은한국교육분류개정안(통계청, 2014)에근거하여, 일반(중학교, 일반고, 자율고, 특목고, 외국인학교, 각종학교, 특수학

교)과 직업(특성화고, 고등기술학교)으로 구분함.

*** 외국인학교의학생정보는연령별로조사되지않으므로, 2015년 9월기준학교홈페이지 및전화조사를통해 각학교의

9학년과 10학년 학생을 대상으로 작성함.

학교유형은국제본부가제시한전체유형구분중우리나라의학교운영실정을고려하

여 학교 소재(대도시, 중소도시, 읍면지역), 학교급(중학교, 고등학교), 계열(일반, 직업),

성별유형(남학교, 여학교, 남녀공학), 주‧야간운영, 종교여부, 특수학교여부, 읽기수업의

교수 언어, PISA 대상 학생 수(3명 미만, 3∼20명, 21∼41명, 42명 이상)에 따라 분류 및


121

조사되었다. 읽기수업의교수언어는PISA 2018 대상학생이해당주기의주영역인읽기

에대한교수언어로시험을치러야하기때문에PISA대상학생이속한학교내에서사용

되는 언어에 대해 조사하는 것이다.

국제본부에서는예비검사의경우다음의특성을지닌학교를대상모집단에서제외시키

도록하고있다. 예를들면, 학교에PISA대상학생의수가너무작거나학교내에서PISA

를시행할수없는경우, 지리적으로접근하기어려운학교등이다. 국제본부에신체장애,

정서 장애, 언어 장애 등에 해당되는 학생만을 교육하는 특수학교의 경우 대상 모집단의

2%를넘지않는다면PISA 평가대상에서제외할수있다. 따라서우리나라의경우PISA

2018 예비검사에서특수학교와외국인학교, 소규모학교(목표표본크기학생수미만)는

학교 표집틀에서 제외하였다. PISA 2018 예비검사 목표 표본 크기는 설계 2에 근거하여

48명이므로 ‘48명 미만’을 기준으로 소규모학교를 정의하였다. 그리고중학교의 경우도

PISA 대상 학생을 48명 이상 포함하는 학교가 적어 기본 표집틀에서 제외되었다. 이와

같은평가제외사유에해당하는학생은평가에서제외될수있으나, 그비율은평가참여

학교가 최종적으로 정해진 후 정확하게 산출될 것이다.

<표 Ⅴ-9>에서와 같이, 대상 모집단인 총 591,289명에서 특수학교 재학생 2,116명

(0.36%)과외국인학교재학생인942명(0.16%)이제외되었다. 그리고예비검사의경우, 만

15세학생의수가학교당표집해야할목표표본학생수인48명미만인학교의학생71,607

명(12.11%)도표집틀에서제외되었다. 중학교의경우도48명미만의학교가많아예비검사

기본표집틀에서제외되었다. 그외일반학교 내특수교육대상학생인 4,423명(0.75%)도

제외되었다.

<표 Ⅴ-9> PISA 2018 예비검사 대상 모집단 내 제외 학생 비율

제외 형태 이유 PISA 학생 모집단 비율(%)

특수학교 재학생 기능 장애, 인지․행동․정서 장애 0.36

외국인학교 재학생 평가 언어 구사 능력 부족 0.16

소규모 PISA 대상학생 학교(중학교 포함) 만 15세 학생 수가 48명 미만 12.11

일반학교 내 특수교육대상 기능 장애, 인지․행동․정서 장애 0.75

제외 비율 총합 추정 13.38

최종적으로PISA 2018 예비검사가시행되는2017년의만 15세학생수를추정하기위하

여, 목표 모집단에서 제외 대상 학생을 제외한 최종 예비검사용 모집단의 학교 및 학생


122

수와 비율을 <표 Ⅴ-10>에 제시하였다. 목표 모집단은 총 591,289명이지만 예비검사를

위해 정의된 모집단의 크기는 519,682명으로 규정하였다.

<표 Ⅴ-10> 우리나라 만 15세 학생들의 학교급별 분포 (2015년 기준)

학교급

PISA 2018 예비검사 목표 모집단 PISA 2018 예비검사 정의된 모집단

학교 수(개교)

비율(%)학생 수(명)

비율(%)학교 수(개교)

비율(%)학생 수(명)

비율(%)

중학교 3,138 56.99 65,583 11.09 - - - -

고등학교 2,368 43.01 525,706 88.91 2,143 100.00 519,682 100.00

총 계(7학년 이상)

5,506 100.00 591,289 100.00 2,143 100.00 519,682 100.00

나. 학교 표집틀의 작성

학교 표집을 위하여 우선 PISA 검사 대상이 재학하고 있는 모든 학교 명단에 대하여

학교급, 계열, 도시화 정도의 세 가지 층화 변인으로 구분할 수 있는 학교 표집틀(School

Sampling Frame)을구성하였다. 표집틀이란표본을추출하는데사용되는표본추출단위

에따라정리한리스트구성을의미한다. 교육부와한국교육개발원의협조를받아 2015년

교육통계연보의데이터베이스를기초로학교표집틀내용을작성하였다. 학교표집틀에는

전체학교명단을모두포함시키도록하였으며, 학교아이디정보, 학교명, 추정된만 15세

학생수, 국어교사수, 국어외교과교사수, 층화변인수준등에대한정보가기록되어

있다. 학교표집틀정보의정확성, 최신성및포괄성의정도에따라서후속되는표집결과

의신뢰성이결정된다. PISA 2018 예비검사에서사용한학교표집틀은<표Ⅴ-11>에예시

되어 있다. 각 학교는 고유한 번호가 부여되는데 이는 후속되는 표집 결과의 문서화 및

표집 학교 데이터베이스를 구축하는 데 필요한 정보가 된다.

<표 Ⅴ-11> PISA 2018 예비검사 학교 표집틀 예시

학교

번호학교 명

층화 변인

시‧도만15세학생 수(명)

교사 수(명)

학교급 계열 도시화 국어국어

외 교과

0001 A고등학교 고등학교 일반 중소도시 경기 644 12 121

0002 B고등학교 고등학교 직업 읍면지역 강원 602 10 110

⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮


123

계층층화 변인 1

(학교급)

층화 변인 2

(계열)

층화 변인 3

(도시화)

모집단

학교 수(개교) 학교 비율(%)

01 중학교 일반 대도시 - -

02 중학교 일반 중소도시 - -

03 중학교 일반 읍면지역 - -

04 고등학교 일반 대도시 647 30.19

05 고등학교 일반 중소도시 685 31.96

06 고등학교 일반 읍면지역 381 17.78

07 고등학교 직업 대도시 171 7.98

08 고등학교 직업 중소도시 142 6.63

09 고등학교 직업 읍면지역 117 5.46

총계 2,143 100.00

특수학교, 외국인학교, 소규모 PISA 대상 학생 학교를 제외하고, PISA 2018 예비검사

학교 표집틀에 포함된 학교 수는 전체 2,143개교이며, 이를 3개의 층화변인 구분에 따라

요약하면 <표 Ⅴ-12>와 같다.

<표 Ⅴ-12> PISA 2018 예비검사 학교 표집틀의 층화 변인별 분포

학교표집틀의층화변인별분포를살펴보면, 먼저가장많은비율을차지하는층은 ‘고

등학교-일반-중소도시(31.96%)’이며, 반대로가장적은비중을차지하는층은 ‘고등학교-

직업-읍면지역(5.46%)’이었다. 전반적으로고등학교일반이포함된층이약 80%를차지하

였으며, 일반 또는 직업 계열 모두 대도시, 중소도시, 읍면지역 순으로 높은 학교 비율을

나타내고 있다.

다. 학교 표본 할당 및 표집 학교 선정

학교표본할당은전체표본크기에근거하여각층별모집단학교수의비율에따라서

표집할 학교 수가 자동으로 할당된다. 40개 학교가 층별로 배정된 결과를 <표 Ⅴ-13>에

제시하였다.


124

지역대도시 중소도시 읍면지역

총계중 고_일반 고_직업 합계 중 고_일반 고_직업 합계 중 고_일반 고_직업 합계

서울 - 5 1 6 - - - - - - - - 6

부산 - 2 1 3 - - - - - - - - 3

대구 - 1 1 2 - - - - - - - - 2

인천 - 1 - 1 - - - - - - - - 1

광주 - 1 - 1 - - - - - - - - 1

<표 Ⅴ-13> PISA 2018 예비검사를 위한 층화 변인별 표집 학교 수(안)

계층 층화 변인 1 층화 변인 2 층화 변인 3예비검사 표집

학교 수(개교) 학교 비율(%) 예상 학생 수(명)

01 중학교 일반 대도시 (2) - -

02 중학교 일반 중소도시 (2) - -

03 중학교 일반 읍면지역 (1) - -

04 고등학교 일반 대도시 12 30.19 576

05 고등학교 일반 중소도시 13 31.96 624

06 고등학교 일반 읍면지역 7 17.78 336

07 고등학교 직업 대도시 3 7.98 144

08 고등학교 직업 중소도시 3 6.63 144

09 고등학교 직업 읍면지역 2 5.46 96

총계 40 100 1,920

* 중학교의 경우 추후 표집을 통해 표집 될 학교 수를 ( ) 로 표시함.

각 계층에 속하는 학교 수 비율에 따라 표집 학교 수는 할당되었고 예비검사의 경우

기본표집틀에서중학교가제외되었지만추가표집을통하여5개교정도포함될예정이다.

학교 표집 수에 대한 배정 결과는 본부와의 협의를 통해 승인되었다.

예비검사표집학교는학교표집틀을사용하여우리나라국가센터에서편의표집하였다.

시‧도교육청단위는층화변인에해당하지않지만가능하면 17개시‧도에서골고루표집

되도록하였다. 또한시행의편의도고려하여컴퓨터기반평가를위해노트북현장지원이

필요하거나학생표집크기가증가함에따라제기되는문제등을고려하였다. 지역별학교

수가결정된이후제한된시간에이동할수있도록인접학교를표집하였다. 시‧도교육청

수준에서 예비검사 표집 학교를 정리하면 <표 Ⅴ-14>와 같다.

<표 Ⅴ-14> PISA 2018 예비검사를 위한 시‧도별 표집 학교 수(안)

(단위: 개교)


125

지역대도시 중소도시 읍면지역

총계중 고_일반 고_직업 합계 중 고_일반 고_직업 합계 중 고_일반 고_직업 합계

대전 - 1 - 1 - - - - - - - - 1

울산 - 1 - 1 - - - - - - - - 1

세종 - - - - - - - - - 1 - 1 1

경기 - - - - - 5 1 6 - 3 - 3 9

강원 - - - - - 1 - 1 - 1 - 1 2

충북 - - - - - 1 - 1 - - - - 1

충남 - - - - - 1 1 2 - - - - 2

전북 - - - - - 1 - 1 - - 1 1 2

전남 - - - - - 1 - 1 - - 1 1 2

경북 - - - - - 1 1 2 - 1 - 1 3

경남 - - - - - 2 - 2 - 1 - 1 3

제주 - - - - - - - - - - - - 0

총계 - 12 3 15 - 13 3 16 - 7 2 9 40

예비검사 시행을 위한 표집 학교가 선정되면 대체학교를 포함한 표집 학교 리스트를

국제본부에송부한다. 그리고국내PISA연구팀은교육부의협조공문을통해표집학교에

PISA 2018 예비검사 대상 학교로 선정되었음을 전달한다. 예비검사 시행은 2017년 5월

8일부터 6월 9일사이로계획되어있으므로새학년이시작하여야학생표집이가능하다.

따라서 2017년 3월이후교육부, 시‧도교육청, 표집학교와긴밀하게연락하여평가에

참여할최종대상학교를확정하고표집학교내학생과교사정보를요청하게된다. 표집

학교는학교책임자, 감독교사를선정하고해당학교에속한만 15세학생의명단과설문

대상교사의명단등요청된정보를한국교육과정평가원에직접제공한다. 만약표집학교

가PISA평가참여를강하게거부하거나, 학교일정과여건상불가피한이유로참여하기

어려운경우학교를대체할수있다. 이미표집학교를선정할때계층에따라각각 2개의

대체학교를 선정하였으므로 국제본부와 협의하여 대체학교를 활용할 수 있다. 예비검사

대상표집학교확정과정과협조관계의내용을정리하여도식화하면 [그림Ⅴ-1]과같다.


126

출처: 송미영과 최혁준 외(2013, p.165)에 내용을 추가‧보완하여 재구성함.

[그림 Ⅴ-1] PISA 2018 예비검사 표집 학교의 확정

표집학교내에서학생을표집할때는국제본부에서제공한KeyQuest 프로그램을사용

한다. 학생표집의경우학교별표집학생수인목표군집크기(TCS), 즉 48명씩무선표집

하게된다. 교사설문조사를위해국어교사와국어외교과교사도KeyQuest 프로그램을

사용하여 표집한다.

Ⅵ결론 및 정책 제언

1. 요약 및 결론

2. 정책 제언

3. 장단기 추진 계획 및 기대효과

Ⅵ. 결론 및 정책 제언

129

1. 요약 및 결론

본보고서는한국교육과정평가원의 글로벌교육본부국제 학업성취도 평가연구실에서

2016년기본과제로수행하고있는PISA연구중PISA 2018 예비검사시행기반구축연구

를 기술한다. 본 보고서에서 논의된 내용을 장별로 정리하면 다음과 같다.

Ⅰ장에서는 연구의 필요성 및 목적, 연구 내용과 방법을 기술하였다. PISA는 70개국

이상이참여하고있는대표적인국제학업성취도평가로서15세학생을대상으로미래시민

이갖추어야할기본적인소양을평가하고교육맥락변인들에대한설문조사를함께시행

한다. PISA에서산출된결과는자국의교육성과를국제적인수준에서비교점검하고증거

기반교육정책수립을위한주요기초자료로활용된다. 2016년국내 PISA연구팀이수행

한연구과제의목표는PISA 2018 예비검사의평가틀분석, 문항출제및번역, 검증, 예비

검사 시행 설계 및 학교 표집 등의 작업을 통해 PISA 2018 예비검사의 안정적 시행을

위한 기반을 구축하고 이과정에서얻은 연구 경험을 바탕으로 역량중심의선진적 평가

체제가 우리나라 교육 평가체제향상에 도움을 줄방안을모색하는것이다.23) 예비검사

시행기반을구축하기위해선행연구에대한문헌분석, 시행자료에대한검토의견국제본

부 제출, 예비검사 평가틀 검토 및 문항 개발과 관련된 각종 전문가 협의회 개최, 글로벌

역량문항개발워크숍과읽기, 글로벌역량, 설문문항검토워크숍개최, 읽기새문항과

글로벌 역량 평가 문항 개발 참여, NPM 회의, PGB 회의, 웨비나 참여 등이 수행되었다.

Ⅱ장에서는각영역의소양에대한정의와평가틀에관한내용을다루었다. PISA 2018의

주영역인읽기에서는새롭게개발된평가틀과신규문항을활용하여디지털매체환경에서

의학생들의읽기역량을평가하며, 보조영역인수학과과학에서는학생들의해당영역에

대한성취도추이를점검한다. 세계민주시민으로서갖추어야할역량에대한요구가높아

짐에 따라 PISA 2018에서는 글로벌 역량에 대한 평가를 신설하여 각국 학생들의 준비

정도를 점검하고자 하였다. 글로벌역량영역에서는비판적이고다층적관점을바탕으로

글로벌및상호문화적사안을분석하고, 서로다른배경을가진사람들과의효과적인상호

작용에참여할수있는지등에관한학생들의역량을평가하게된다. 이와더불어PISA에

23) 국내PISA연구팀은2016년에PISA 2018 예비검사시행기반구축과함께PISA 2015 결과분석연구를수행하였

으며, 본 보고서에서는 PISA 2018 예비검사 시행 기반 구축과 관련된 연구 내용만을 다룬다.


130

서는학생들의인지적성취특성을심층적으로설명하기위해학생설문, 학교설문, 교사

설문 및 학부모 설문을 실시하고 있다. PISA 2018에서는 PISA 2015의 틀을 유지하면서,

주영역인읽기와신설영역인글로벌역량에관한설문문항을추가하였다는특징이있다.

Ⅲ장에서는 PISA 2018 예비검사 평가도구의 설계 및 구성 방안을 제시하였다. 학부모

설문을 제외한 모든 검사를 컴퓨터 기반 평가로 시행할 예정인 PISA 2018 예비검사는

읽기‧수학‧과학영역의추이문항군18개와읽기영역의새문항군12개를세개의집단에

배정하도록설계되었다. 주영역인읽기는추이문항군 6개(단위문항 25개, 하위문항 89개)

와새문항군12개(단위문항 31개, 하위문항 254개)를포함하여총21개의문항군(단위문항

56개, 하위문항 343개)을, 보조 영역인 수학은 추이 문항군 6개(단위문항 40개, 하위문항

70개), 과학은추이문항군6개(단위문항 34개, 하위문항 115개)를포함한다. 한편교육맥락

변인에관한정보를수집하고비인지적영역의성과를파악하기위하여PISA 2018 예비검

사에서는추이문항과이번주기에개발된새문항을이용하여설문조사를실시할예정이

다. PISA 2018 예비검사의 설문 조사에서는 95개의 문항으로 구성된 2종의 학생 설문,

34개문항의학교설문, 18개문항의교육경험설문, 17개문항의 ICT설문, 46개의문항의

학부모설문, 63개의문항으로구성된2종의교사설문이사용된다. 설문문항은PISA 2018

교육맥락변인조사를위한설문모듈을기반으로개발되었고, 주영역인읽기와더불어글

로벌 역량 관련 내용이 중점적으로 보강되었다.

Ⅳ장에서는 PISA 2018 예비검사평가도구개발, 검토, 번역을논의하였다. 주영역인읽

기의평가도구는 28개국이참여한워크숍과참여국개발을통해각각 157개문항과 161개

문항이 개발되었다. 읽기 문항에 대한검토는세 차례(Batch 1∼3)에걸쳐 이루어졌으며,

이 과정에서 모든 참여국이 문항 타당도, 적합성, 완성도에 관한 검토의견을 국제본부에

제출하였다. PISA 2018 예비검사 읽기 문항의 번역 및 번안은 XLIFF 번역 파일과 문항

번안 양식(TAS)을중심으로국제본부와의협의를통해 이루어진다. 한편글로벌 역량은

PISA 2018 예비검사에서 제외되고 별도의 글로벌 역량 파일럿이 시행됨에 따라 새로운

평가도구가 개발되었다. 우리나라는 2개의 국제연합기관과 6개의 참여국과 함께 글로벌

역량파일럿평가도구개발에참여하였다. 글로벌역량이통합적요소를포함하는복합적

이며다학문적영역임을고려하여다양한배경의전문가를중심으로워킹그룹을운영하였


131

으며최종적으로글로벌역량평가도구 10개의묶음을개발하였다. 글로벌역량검토업무

는두가지차원에서진행되었다. 첫째는국제본부에서수정한, 우리나라가개발한세트에

대한재검토였으며두번째는모든개발국에서제출한두개묶음(Batch 1, 2)에대한검토

로, 읽기의새문항과마찬가지로문항타당도, 적합성, 완성도, 기타의견개진을중심으로

검토가 진행되었다. 교육맥락변인에대한검토는그동안 설문조사에서사용되었던추이

문항외에도새로개발된읽기와글로벌역량설문문항에대한검토로진행되었으며, 각

국가별교육체제에적합한정도, 설문대상자의적합성, 문화적혹은인종적민감성, 번역상

의문제등을고려한검토결과를국제본부에제출하였다. 설문조사도구의번역및검증

은참여국, DIPF, cApStAn, ETS에의해진행되었으며, 평가도구의제작및확정은 9월에

완료되었다.

Ⅴ장에서는 PISA 2018 예비검사표집에대하여논의하였다. 표집은국제본부에서제공

하는표준화된기준에따라진행된다. 이전주기의검사시기를바탕으로우리나라의PISA

2018 예비검사 시기를 2017년 5월 8일부터 6월 9일로 계획하였는데, 검사 대상 모집단의

정의에 따른 우리나라의 예비검사 목표 모집단 학생은 “2001년 3월 1일부터 2002년 2월

29일사이에출생한학생”이다. 2단계비례층화표집설계를적용하는PISA에서는예비검

사시행을위하여첫 번째단계에서는학교를, 두번째 단계에서는 해당 학교내 학생을

표집하게 된다. 이전 주기와 동일하게 예비검사에서 사용한 층화 변인은 세 가지 요소,

즉학교급, 계열, 도시화(지역규모)를고려하여추출하였다. 국제본부에서제시한세가지

유형의 표집 설계중 예비검사의경우 학교별로 제시된 최소학생수를 충족해야 하므로

‘설계 2’를 선택하였다. ‘설계 2’는 40개 학교에서 최소 학생 수 45명이 충족되어야 하는

설계이다. 우리나라의 경우 결시생을 고려하여학교별목표군집크기(TCS)를 48명으로

정하였다. 예비검사의경우특수학교와외국인학교뿐아니라소규모학교(목표표본크기

학생수미만)를학교표집틀에서제외하도록안내하고있다. 따라서층화변인에따른최종

표집대상모집단의학교수비율에따라총 40개학교가선정되었으며KeyQuest 프로그

램을사용하여총1,920명의학생이추출될예정이다. PISA 2018 예비검사평가대상모집

단과 시행 시기, 표집 설계의 결정, 학교 표집 등은 국제본부의 협의 과정을 통해 상호

간승인을받고있다. 우리나라데이터는물론국제비교연구결과의신뢰성을담보하려면

이러한 표집 과정이 체계적이고 타당하게 이루어져야하기 때문이다.


132

이상과 같이 국내 PISA 연구팀은 2017년 시행될 예비검사를 위해 국제본부 및 국내

전문가들과의긴밀하게소통하고협력하면서①읽기‧수학‧과학‧글로벌영역에대한평가

틀분석, ②평가도구의설계및구성, ③평가도구에대한개발, 검토, 번역및번안, 그리고

④시행계획수립및대상표집등의과제를원활하게수행하여왔다. [그림VI-1]은이러

한 PISA 2018 예비검사 시행 기반 구축 과정을 도식화한 것이다.

[그림 Ⅵ-1] PISA 2018 예비검사 시행 기반 구축의 주요 과제

2. 정책 제언

OECD PISA는디지털시대를살아갈학생들의핵심적역량을보다타당하게평가하기

위해 PISA 2018 평가틀을 새롭게 정비하고 시행 시스템을 고도화하였다. 본 연구에서는

PISA 2018 예비검사의 영역별 특징 및 시행 체제상의 변화에 주목하여 우리나라 교육

및 평가를 개선하기 위한 정책적 시사점을 [그림 Ⅵ-2]와 같이 크게 네 가지 정책 추진

방향으로 정하고 그에 따른 구체적인 제언 및 실행 전략을 제시하였다.


133

[그림 Ⅵ-2] PISA 2018 예비검사 특징에 기반한 정책 방향, 제언 및 실행 전략


134

추진근거

∙ 디지털 시대의 읽기ㆍ쓰기의 특징을 반영한 컴퓨터 기반 평가의 이론적 틀(II장 2절)

- 인지적 읽기 과정 모형: 과제 수행의 맥락 속에서 읽기 역량을 평가

- 평가 유의미성 확보와 실생활 역량 평가 강화를 위한 시나리오 기반 읽기 평가 도입

- 읽기ㆍ쓰기 연계를 위한 구성형 문항 비율 확대

- 읽기ㆍ쓰기 능력과 컴퓨터 활용 역량의 연계 강화

∙ 다중 텍스트 읽기의 특성을 반영한 문항 구성 (II장 3절)

기대효과∙ 디지털 매체 환경 특성을 고려한 읽기ㆍ쓰기 역량 기반 학교교육 설계

∙ 미래 사회 핵심 역량으로서 의사소통 교육의 내용 및 교수학습, 평가 방안 구체화

새롭게개발된PISA 2018 읽기평가틀과평가도구는21세기미래사회의시민으로살아

가기 위해 학생들이 갖추어야 할 기본적인 읽기‧쓰기 역량이 무엇이고 학교교육은 이를

어떻게 지원해야 하는가에 대한 시사점을 담고 있다. 과학기술의 고도화와 다양한 기기

생산으로디지털매체를활용한의사소통이전세계적으로점차증가하고있다. 스마트폰

사용의저변이확대되었으며태블릿PC 등장등으로컴퓨터가소형화, 경량화되어인터넷

활용이 급증하였다. 또한 클라우드 환경이 조성되어 시공간에 구애를 받지 않고 다양한

디지털지식정보를보다자유롭게활용할수있게되었다. 이러한변화에발맞추어PISA

2018 읽기에서는디지털매체환경에서의학생들의읽기역량을평가하고자다문서읽기

과정을 설명한 MD-trace 모형(Rouet & Britt, 2011)과 시나리오 기반 읽기 평가 모형

(Sabatini et al., 2014)과같은최신의의사소통이론에기반하여평가틀과평가도구를개발

하였다.24)

OECD PISA가제공한읽기평가틀과평가도구에나타난PISA 2018 읽기평가를 “디지

털시대의의사소통특성을반영한다문서읽기및자료통합형쓰기역량평가의강조”로

요약할 수 있으며, 그 세부 특징을 정리하면 다음과 같다.

첫째, PISA 2018 읽기에서는개인의독해능력을글읽기자체에서확대하여과제수행

의맥락속에서평가하고자하였다. 정보수집과읽기에인터넷과같은디지털매체이용이

급증하면서읽기는과제수행을위한의사소통의주요도구로서기능하는경우가많아졌

24) PISA 2018 읽기평가틀과평가도구는Core 3(ETS)와읽기전문가그룹이주도적으로연구‧개발하였고, 참여국

이협업하여최종적으로검토, 완성하는단계를거쳤다. Core 3는시나리오기반읽기평가모형을연구한ETS가

주도하고 있으며, 읽기 전문가 그룹은 MD-trace 모형의 대가인 J. F. Rouet가 연구 책임을 맡고 있다.

컴퓨터 기반 다문서 읽기 및 자료 통합형 쓰기 교육을 통한 디지털 시대의

읽기ㆍ쓰기 역량 강화정책 추진 방향 1


135

다. 따라서 글에 대한 독해 능력과 더불어 과제 수행 과정을 조절하고 관리하는 능력도

읽기역량의중요한부분으로강조되고있다. PISA 2018 읽기에서는각단위문항마다주어

진 과제의목적과상황 맥락을 제시하여 분절적인 읽기 문항풀이가아닌 시나리오 기반

읽기평가문항으로구성되었으며, 특정과제수행과정속에서읽기평가가이루어지도록

하여 학생들의 평가 몰입도를 높이고자 하였다.

둘째, 컴퓨터매체읽기의특징인하이퍼텍스트를읽기평가에도입하였다. 단일텍스트

만을읽기자료로활용하였던기존의평가방식에서탈피하여평가자료로다중텍스트를

새롭게 포함시키고, 텍스트의 조직과 탐색의 유형도 ‘정적(static)’에서 ‘동적(dynamic)’까

지로확대하여제시하였다. 하나의자료를처음부터끝까지독해하는종이책읽기와달리,

찾고자하는정보중심으로여러텍스트를선택적으로탐색하는다중텍스트읽기특성을

PISA가 읽기 영역에 적극적으로 반영한 것이다.

셋째, PISA 2018에서는 주어진 읽기 자료에 근거하여 자신의 의견과 생각을 타당하게

밝히는구성형문항을보강하여통합적의사소통속에서의읽기역량을평가하고자하였

다. PISA 2018 읽기에는개방형구성형문항, 즉우리나라의국가수준학업성취도평가의

서술형과 논술형 문항의 중간 형태에 해당하는 문항이 30% 이상을 차지하고 있다. 특히

PISA 2018에서는다문서자료를통합하여읽고각각의텍스트저자의공통또는상충되는

의견을 파악하고 주어진 자료에서 근거를 찾아그 이유를 쓰도록 하는자료통합형 쓰기

문항이다수출제되고있다. 이러한특성은 PISA의읽기평가는통합적의사소통역량에

중점을둔, “쓰기를적극적으로 반영한” 읽기임이 PISA 2018 읽기평가틀에도 나타난바

있다(OECD, 2015d, p.29).

넷째, PISA 2018의 새로운 읽기 문항은 컴퓨터 활용 역량과 연합된 읽기 평가 문항이

대거포함되었으며, 평가틀에서도컴퓨터기반다문서읽기특징을반영하여자료의신뢰

성에대한 ‘평가하기’와 ‘상호작용하기(transaction)’ 부분이신규도입되었다. 컴퓨터읽기

환경과유사한인터페이스를바탕으로 ‘탭, 스크롤링, 자판치기, 마우스클릭, 드래그하여

놓기’ 등다양한컴퓨터기능을활용한읽기과제수행속에서디지털매체시대에학생들

이 갖추어야 할 실제적 읽기 역량을 측정하고자 한 것이다.

전통적으로 읽기‧쓰기와 같은 의사소통 능력은 수리 능력과 함께 학교교육의 핵심인

3R로서 21세기 미래 역량을 위한 각국의 교육 개선 노력에서도 그 중요도가 매우 크다.

서구유럽과미국을비롯하여우리나라에서도의사소통교육의역할과중요도를인지하고


136

미래교육을위한핵심역량의하나로채택한바있다(이근호외, 2012; Binkley et al., 2012;

Common Core State Standards Initiative: CCSSI, 2010). OECD PISA는첫주기인PISA

2000부터미래시민을위한역량교육을선도하고있는세계적인교육연구및평가프로젝

트로, 새롭게개발된PISA 2018 읽기평가는읽기‧쓰기라는의사소통교육의국제동향을

확인하게해주어우리나라의읽기‧쓰기교육의방향과과제를전망하게해준다는점에서

그의의가매우크다고할수있다. 이에본보고서에서는PISA 2018 읽기평가의특징을

토대로 디지털 시대의 성숙한 시민의역량함양을 위한 준비로 컴퓨터기반다문서 읽기

및 자료 통합형 쓰기의 학교교육 실행을 위한 기초 연구 활성화와 실생활 문제 해결 및

과제 수행과 연계된 다문서 읽기 및 자료 통합형 쓰기 교육 프로그램 개발 및 웹사이트

구축을 제안하였다.

정책 제언 1컴퓨터 기반 다문서 읽기 및 자료 통합형 쓰기의 학교교육 실행을 위한 기

초 연구를 활성화한다.

실행 전략 1- ① 학교급별 연계를 고려한 다문서 읽기 교육의 내용 구안

종이책에서이루어지는단일텍스트의선조적읽기(liner reading) 방식과달리, 인터넷

에서이루어지는하이퍼텍스트읽기는방사형(web) 방식의다중텍스트읽기를특징으로

한다. 디지털매체에서주로이루어지는읽기는검색어를중심으로관련된여러텍스트에

서필요한정보를찾아읽게되는컴퓨터기반다문서읽기형태가많다. 방대하고다양한

자료 속에서 필요한 정보를 선택적으로 찾을 수 있는지, 각 정보를 통합하고 해석할 수

있는지, 그리고정보를과제수행을위한효과적인근거로활용할수있는지와관련된읽기

능력이 필요하며, 이러한 컴퓨터 기반 다문서 읽기 능력은 21세기 디지털 매체 환경에서

특히강조되어야할핵심역량이다. PISA 2018 읽기평가틀에서는컴퓨터기반의다문서

읽기능력을평가하기위해디지털읽기과정에대한최신의이론을도입하고이를기반으

로 평가틀과 평가 문항을 개발하였다.

PISA의새로운평가틀과문항을 통해읽기교육에 대한국제적동향을 파악하고 이를

기반으로디지털매체환경변화에대한읽기교육의내용, 방법, 평가에서의대응방안을

마련할필요가있다. 기존의단일텍스트중심의읽기와다문서읽기의차별되는점이무엇

인지를 비교 분석하는 기초연구는컴퓨터기반 다문서 읽기교육의이론과실행을 위한


137

바탕을제공할수있을것이다. <표Ⅵ-1>은 2015 개정국어과교육과정에나타난다문서

읽기 관련 성취기준으로, 향후 연구를 통해 구체화되고 보완되어야 할 교육 내용(안)을

개략적으로 제시한 것이다.

<표 Ⅵ-1> 다문서 읽기 관점에서 본 읽기 교육 연구 방향

학교급 2015 개정 국어과 교육과정 다문서 읽기 관점에서 본 연구 방향

중학교

중학교 1∼3학년의읽기영역성취기준은한

편의완결된글을읽어내는독서경험을바

탕으로하여읽기의가치와즐거움을아는능

동적인독자를기르는데중점을두어설정하

였다. 문제 해결적 사고 과정으로서 읽기의

특성을 이해하고, 독서 목적에 따라 적절한

읽기방법을적용하여다양한유형의자료를

비판적으로 읽으며 적극적으로 의미를 구성

하는 데 주안점을 둔다.

∙한 편의 완결된 단일 텍스트 강조

→전통적인 단일 텍스트 읽기와 디지털 매체에서

의다중텍스트읽기비교분석, 다중텍스트읽

기에 관한 성취 기준 및 내용 요소 도출

∙문제 해결적 사고 과정으로서 읽기 특성

→개인의인지내사고과정으로서의읽기특성에

서확대하여, 과제수행및실생활문제해결과

정 속에서 이루어지는 의사소통 능력으로서의

읽기연구(예: 과제수행을위한정보검색과읽

기 과정 연구)

고등

학교

고등학교 1학년 읽기 영역 성취기준은 학습

자가자신의관심사와관련된다양한글이나

매체를자발적으로찾아폭넓게읽으면서평

생 독자로 성장하도록 하는 데 중점을 두어

설정하였다. 사회적상호작용행위로서의읽

기의특성을이해하고, 비판적이고창의적인

사고를바탕으로하여자신의읽기과정을점

검하고조정하며읽는능력을기르는데주안

점을 둔다.

∙다양한글이나매체를자발적으로찾아폭넓게읽기

→다양한글이나매체를읽는과정에서강조되고있

는, 디지털매체자료및자료출처의신뢰성평가

를위한읽기교육내용및교수학습방안등연구

∙사회적 상호 작용 행위로서의 읽기 특성 이해

→대학진학이나직업세계에서활용되는다양한의

사소통행위로서의읽기상황연구로읽기내용을

구체화

출처: 교육부(2015c). 2015 개정 국어과 교육과정(자료 검색일: 2016.10.02.).

http://nice.re.kr/mobile.kri.org4.docSavePrint.do?&orgNo=10059943의 내용을 토대로 재구성함.

PISA 2018 읽기평가의이론적토대가된다문서읽기관점을통해향후학교교육실행

의 근간으로 작용할 기초 연구 방향을 다음과 같이 제안한다.

• 디지털 매체 특징을 반영한 다중 텍스트 읽기 연구

• 개인의 인지 내 사고 과정으로서의 읽기 특성에서 확대하여, 과제 수행 및 실생활

문제해결과정속에서이루어지는의사소통능력으로서의읽기연구(예: 과제수행

을 위한 정보 검색과 읽기 과정 연구)

•다양한 글이나 매체를 읽는 과정에서 강조되고 있는, 메타 정보로서의 디지털 매체

자료 및 자료 출처의 신뢰성 평가를 위한 교육 내용 연구

•대학진학이나직업세계에서활용되는다양한의사소통행위로서의읽기상황연구


138

실행 전략 1-② 컴퓨터 기반의 자료 통합형 쓰기를 학교교육에 도입

일반적으로대학이나직장에서이루어지는글쓰기는신뢰할수있는자료를토대로글

을쓰는근거기반쓰기의글형태를보인다. 근거기반글쓰기는다양한읽기자료를필자

의관점에서비판적으로통합하여새로운의미로구성해내는쓰기라는점에서자료통합

형쓰기라고할수있다(박혜영, 2016, p.218). 특히인터넷과같은디지털매체를활용하는

경우, 자료통합형쓰기는근거를확보하기위하여특정주제와관련된다양한자료를검색

하는과정에서정보의효과성과타당성, 출처의신뢰성등을평가하는읽기과정을포함하

기 때문에 다문서 읽기와 중첩되는 과정이 발견된다. 그러나 자료 통합형 쓰기는 읽기를

통해얻은정보와아이디어를통합하여주체적관점에서필자만의새로운텍스트를만들어

내는작문의과정이강조된다는점에서다문서읽기와는차별되는지점이존재하게된다.

PISA 2018 읽기영역평가틀에서는자료통합형쓰기가표면적으로드러나지는않는다.

그러나다양한텍스트를통합적으로읽고, 읽은내용을근거로자신의의견을쓰는개방형

구성형문항의비율이 30% 이상을차지하고있으며, 평가틀에서도읽기와쓰기의연계를

지속적으로강조하고있는것을살펴볼때(OECD, 2015d, p. 29), PISA 평가는쓰기를일부

통합한형태의읽기를지향함을알수있다. [그림Ⅵ-3]은 PISA 2018 읽기예시문항으로,

세 가지텍스트를통합적으로 읽고얻은 정보를 근거로 특정내용에대한 학생의 의견을

논평하는 자료 통합형 쓰기 문항을 보여준다.


139

출처: OECD(2015d, p.41)

[그림 Ⅵ-3] PISA 2018 읽기 영역의 자료 통합형 쓰기 문항 예시

이문항을풀기위해서는디지털매체특성을반영한다중텍스트를읽고저자들이우주

탐험에 대한 논평을 파악한 후(예: 우주탐험에 대한 긍정적 또는 부정적 관점 여부 파악,

해당논평의근거내용및타당성파악), 이를토대로우주탐험의이점에대한자신의논평

을작성할수있어야한다. 즉, 컴퓨터기반다문서읽기능력및자료통합적쓰기능력을

평가를 목표로 한 문항이라 할 수 있다. 아직 국가나 학교 단위에서 컴퓨터 기반 읽기,

쓰기평가가시행되지않고있는우리나라의상황을고려할때, 국제동향을반영한통합적

의사소통능력을길러주기위해서는다문서읽기와함께컴퓨터기반의자료통합형쓰기

교육이학교교육에도입될필요가있을것이다. PISA 2018 읽기평가틀에서제안하고있는

자료통합형쓰기의인지적모형과평가문항은자료통합형쓰기에대한학교교육적모형

개발 연구에 이론적 근거를 제공해줄 수 있을 것이다.


140

정책 제언 2실생활 과제 수행을 위한 시나리오 기반 읽기·쓰기 연계 교육 프로그램을

개발하고 웹사이트를 구축한다.

실행 전략 2- ① 실생활 과제 수행을 위한 시나리오 기반 읽기·쓰기 연계 교육 프로그램 개발

PISA 2018에서는읽기소양을개인의목표를성취하고지식과잠재력을계발하며사회

에 참여하기 위하여 텍스트를 이해하고, 활용하고, 평가하고, 텍스트 이해에 대한 이해를

성찰하는것, 그리고텍스트에참여하는것으로정의하였다(OECD, 2015d, p.10). 이와같은

읽기 소양 능력의 정도를 평가하기 위해서 PISA 2018에서는 문항 개발과 평가 설계에

시나리오기반평가모형을활용하였다. 전통적인관점에서읽기는한편의글에서의문자

해독과텍스트이해로정의되어온바있다. 그러나최근에는읽기현상을텍스트자체에

대한이해에서확장하여주어진과제를해결하는과정속에일어나는복합적인의사소통

행위로 이해하고자 한다.

PISA 2018 읽기에서는텍스트독해능력과함께학생들의과제관리능력까지를평가하

기위해새롭게 ‘시나리오기반평가(scenario-based assessment)’(OECD, 2015d, p.23) 개

념을도입하였다. 시나리오란다양한텍스트를하나의과제와읽기목표안에묶어유의미

한 평가가 수행될 수 있도록 돕는 것으로, 시나리오 기반 읽기‧쓰기 평가에서는 하나의

주제와 관련된 다양한 텍스트를 읽고 정보를 통합하여 주어진 과제를 해결하는 능력에

대한평가가가능하다(OECD, 2015d, p.23). 따라서시나리오기반평가는서로관련없는

분절된글과문항들로구성되었던기존전통적읽기평가와달리, 과제목표와상황맥락을

구체적인 시나리오로 제시하고 과제 수행의 과정을 하위문항들로 유의미하게 구성하기

때문에학생들의평가몰입도와동기를높일수있다는특징이있다. [그림VI-4]는 PISA

2018 읽기 문항의 도입부에 활용되고 있는 시나리오의 예를 보여준다.

[그림 Ⅵ-4] PISA 2018 읽기 문항의 도입부 시나리오 예시25)


141

학생의읽기‧쓰기평가몰입도를높이고동기화를돕기위해서는가능한학생들이실생

활에서접할수있는과제수행상황과그러한상황속에서의읽기‧쓰기경험을해보도록

하는 것이 필요하다. 우리나라 읽기‧쓰기 평가에서도 시나리오 기반 PISA 읽기 평가에

나타난아이디어를참고하여실생활과연계된읽기‧쓰기과제를개발하고, 개발된과제를

활용한 읽기‧쓰기 수업 및 평가 프로그램을 설계하는 방안이 마련될 필요가 있다.

실행 전략 2-② 관련 수업 사례 공유 및 소통을 위한 웹사이트 구축 ㄱ

다문서 읽기 및 자료 통합형 쓰기가 학교 현장에서 활발히 실행되기 위해서는 ‘디지털

라이브러리’와같은수업지원및자료공유사이트가구축되어야한다. PISA 2018과같은

대규모학업성취도평가의개선도중요하지만학교수준에서이루어지는형성평가의개선

도필요하다. 이를위해서는PISA형읽기, 쓰기의창의융합형문항을개발하고이를탑재

하여 현장과 전문가들이 수시적, 정기적으로 소통할 수 있는 창구의 구축이 이루어져야

할 것이다. ‘디지털 라이브러리’와 같은 웹사이트는 PISA형 문항의 효과적 활용을 위한

소통창구로서학교현장전문가들과수업과연계된읽기-쓰기평가, 수업과정에도움을

주는 읽기-쓰기의 형성 평가가 가능하도록 도와줄 수 있다.

[그림 VI-5]는 미국 학력평가 2.0의 하나인 SBAC(smarter balanced assessment

consortium)에서 운영하고 있는 디지털 라이브러리의 인터페이스를 보여준다.

출처: https://www.smarterbalanced.org/wp-content/uploads/2015/09/Digital-Library-Modules.pptx (검색: 2016.8.3.)

[그림 Ⅵ-5] SBAC의 ‘디지털 라이브러리’

25) 실제문항은국제협약상공개불가이므로PISA 2018 읽기영역의도입부시나리오를토대로작성한예시(안)이다.


142

앞서제안한실생활의과제수행을위한읽기‧쓰기프로그램을개발하기위해서는현장

에서이루어지고있는, 또는현장교사들의아이디어가반영된우수수업사례들의축적이

무엇보다필요하다. 국가수준에서또는특정연구팀이주도하는연역적인방식의과제개

발도 이루어져야겠으나, 학생을 가장 잘 이해하고 있는 현장 교사들의 아이디어와 실제

수업사례가구축되고이를기반으로프로그램이개발된다면현장과의소통성과실효성을

확보한 보다 질 높은 프로그램을 기대해 볼 수 있을 것이다.

미래 사회 대비를 위한 글로벌 역량 교육 강화 정책 추진 방향 2

추진근거

∙ 21세기 글로벌 역량 제고 필요 (Ⅱ장 2절)

∙ 글로벌 역량 교육에 대한 근본적 교육정책 부재 (Ⅱ장 2절)

∙ 글로벌 역량 교육 관련 연구 부족 (Ⅱ장 2절)

∙ 글로벌 역량 전문가 필요 (Ⅱ장 1절, 2절, Ⅲ장 2절, Ⅳ장 1절, 2절, 3절)

기대효과

∙ 글로벌 역량 교육의 방향성, 교육과정 반영 방안 등 근본적 토대 마련

∙ 연구에 기반한 글로벌 역량 교육 정책의 근거자료 확보

∙ 학교 현장에의 글로벌 역량 교육을 위한 실제적 교수학습 방안 제공

∙ 국내․외적 글로벌 역량 관련 업무 능동적 주도 및 글로벌 역량 교육 활성화‧내실화 선도

글로벌역량은PISA 2018에혁신적영역으로새롭게도입된글로벌역량은OECD의교육

2030 틀 [그림Ⅵ-6] 속에서지식, 기술, 태도와가치를포함하는다학문적이고복합적인영역

으로 모든 학생들이 핵심역량으로 갖추어야할 하나의 영역으로 그 개념이 정립되어 있다.

출처: OECD(2016a, p.2.)

[그림 Ⅵ-6] 학생들이 무엇을 배워야 하는가?


143

OECD가미래사회를위한핵심역량으로서의 글로벌 역량(Global Competence)을 강조

하는것과같은맥락에서UNESCO와같은국제기구에서는세계시민성(Global Citizenship)

을, International Association for the Evaluation of Educational Achievement(이하 IEA)

와같은국제협회차원에서도시민과시민성(Civic and Citizenship)을, 기타글로벌역량

전문기관에서도글로벌역량함양을위해다양한노력을기울여오고있다. 글로벌역량,

세계시민성, 시민과시민성은그개념과요소등에있어각기구와기관등의특성이반영

되어 상이한 부분이 있다. 그러나 미래 사회를 위한 어느 누구나가 갖추어야 할 핵심적

역량으로규정하고적극적인교육을추진하고있다는공통점이있다. 또한미래의기한을

무한정으로열어놓지않고 2030년까지라고제한하여 2030년까지도달하고자하는구체적

인 목표와수행전략을 제시하고 있다는 공통점이 있다. OECD(2016a)가교육 2030의틀

안에서 글로벌 역량을 PISA에 도입한 것, UNESCO(2015a)가 지속가능한 발전 목표

(Sustainable Development Goal 4.7, 이하SDG 4.7)를제시한것, IEA가시민성및시민교

육을 위한 평가틀을 제시(Schulz et al., 2008; 2016)하고 국제시민교육연구(International

Civic and Citizenship Education Study, 이하 ICCS)(Fraillon, Schulz, & Ainley, 2016;

Schulz et al., 2010)를 수행하고 있는 것 등이 국제적인 차원에서 구현되고 있는 글로벌

역량 교육의 대표적인 예이다.

이와같은노력은글로벌역량의필요성및글로벌역량교육의중요성과당위성을시사

하는동시에전통적‧단편적학문혹은일부교과차원에서PISA 2018, UNESCO의 SDG

4.7 달성, IEA의 ICCS 대비를위한단편적시도를넘어, 우리나라의글로벌역량을강화하

기위해근본적인방향을설정하고종합적이고체계적인정책을수립하는등의보다체계

적인접근을통해글로벌역량을활성화하고내실화하기위한노력을기울여야함을시사

한다.

글로벌역량교육의중요성과당위성에도불구하고우리나라의글로벌역량교육의경

우 국가적차원의종합적인정책이마련되지못한 상황이다. 2015 개정교육과정(교육부,

2015b; 2015d; 2015e)의예를들면총론의 ‘추구하는인간상’ 부분, 사회과 ‘성격’ 부분, 영어

과 ‘성격’ 부분에일부명시되어있다.26) 사회과의경우글로벌역량혹은세계시민교육의

26) 2015 개정교육과정의총론의 ‘추구하는인간상’ 부분에 “공동체의식을가지고세계와소통하는민주시민으로

서…(중략)…지역‧국가‧세계공동체의구성원에게요구되는가치와태도를가지고공동체역량…(중략)… (교

육부, 2015b, p.1)”; 사회과 ‘성격’ 부분에 “세계와소통하는…(중략)…세계시민으로서의자질을갖추도록구성되

어있다(교육부, 2015d, p.129)”; 영어과 ‘성격’ 부분에 “지역‧국가‧세계공동체의구성원으로서의…(중략)…세계


144

보편적내용이교육과정의내용요소로, 영어과의경우비언어적소재등으로반영되어있

다. 그러나 위와 같이 2015 개정 교육과정에는 글로벌 역량과 유사한 개념과 요소 등이

언급되어 있을 뿐 글로벌 역량 교육의 기본적인 방향 설정이나 체계적인 교육과정 반영

방안 등이 모색되지 못했다. 국제사회에서 주창하거나 학계의 담론으로 제기되고 있는,

혹은전통적교과요소나소재등으로소개되어온글로벌역량은산발적인형태로만교과

내용에 반영되어있는 것이다.

이는글로벌역량관련연구가부족하다는현황과도관련이깊다. 글로벌역량과관련된

연구는 최근 가장 활발한 연구 분야 중 하나로 양적으로는 많은 연구가 수행되고 있다.

그러나 국제 및 국가 차원의 선언적 주장 혹은 학술적 담론을 중심으로 하향식 실천을

위한연구가주류를이루고있다. 따라서구체적인정책수립이나글로벌역량교육현장에

대한깊은이해혹은글로벌역량교육을구현할수있는근거를제공해줄수있는연구가

절대적으로부족하다(이성회외, 2015; 이정우외, 2015; 장의선외, 2015). 국제적차원에서

수행된 연구도 이와 유사한 상황(Akar, 2016; Fraillon et al., 2016; Hoskins, 2016;

International Bureau of Education: IBE, 2016)이다. 예를들어세계시민성교육과지속발

전가능교육의내용을파악하기위해수행된 IBE(2016) 연구의경우 108개국을대상으로

한대규모연구였다. 하지만각국교육정책의특성을9개의요소로분류하는양적결과를

제시하고있는반면구체적인교육현장에대한이해를위한자료는제공하지못하고있다.

결과적으로 글로벌 역량 교육의 효과적 구현 및 내실화를 위한 근거자료가 부족하며

구체적인교육과정내글로벌역량교육의위치, 관련수업시수, 교사, 교수학습방법, 평가

등은미지의세계로남아있다. 네개의교육청이연합하여2018년도부터사용될세계시민

교육을위한초, 중, 고등학교교과서를개발하고있는데, 교과서개발의근본적인방향과

내용, 집필 지침 등이 명확하게 제공되지 못하고 있는 상황이다.

따라서 본 연구는 Ⅱ, Ⅲ, Ⅳ장에서 논의된 글로벌 역량, 미래사회 대비를 위한 글로벌

역량 교육의 필요성과 글로벌 역량교육의현황과 문제점과 본 정책제언을위한 별도의

전문가 자문 결과(전문가협의회, 2016.10.18-20; 2016.10.21-25)를 모두 종합하여 PISA

2018 글로벌역량평가를대비하는것과더불어이를계기로 ‘미래사회를대비한글로벌

역량교육강화’할수있도록정책의추진방향으로설정하고구체적으로두가지정책을

인과소통하며…(중략)…미래국제사회구성원으로성장해…(중략)…글로벌시민의식을함께기르고”와 ‘목표’

부분의 “국제적 안목과 세계 시민으로서의…(중략)… (교육부, 2015e, p.3, 5)”와 같이 명시되어 있다.


145

제안하였다. 첫번째는교육 2030 대비를위한거시적‧장기적차원의글로벌역량교육정

책을수립하는것이다. 두번째정책제언은학교현장의글로벌역량교육의활성화‧내실

화를위한실제적교수학습방법을구안하는것이다. 다만본연구에서제안한정책제언

두가지는하위실행전략은상‧하위관계혹은주종관계에서의하향식이나순차적시행이

아닌상호연계적관계속에서그초점과범위를달리하는가운데상호보완적으로수행되어

져야 함을 주지할 필요가 있다.

정책 제언 1교육 2030 대비를 위한 거시적․장기적 차원의 글로벌 역량 교육정책을

수립한다.

실행 전략 1- ① ‘글로벌 역량 교육정책 협의체’ 운영

첫번째정책제언으로교육 2030 대비를위한거시적‧장기적차원의글로벌역량교육

정책을수립을제안하며첫번째실행전략으로 ‘글로벌역량교육정책협의체(가칭)’ 운영

을 제안한다.

글로벌역량교육정책협의체는글로벌역량이복합적요소를포함하는다학문적인영

역이며 다양한 차원에서의 구현이 필요하다는 점을 주지하고 전통적인 교과 중심 혹은

단일학문의범위와수준을초월한우리나라의글로벌역량교육을위한종합적이며체계

적인 교육정책을 수립하는 것을 목적으로 한다.

세부적인전략으로먼저교육부의학교정책실이중심되어교육정책, 행정, 교육과정, 교

과교육 전문가 및 현장 교사 등의 교육계 전문가뿐만 아니라 비교육계의 학자, 행정가,

실천가, 민간단체의 담당자 등과 국제교육이나 글로벌 역량 관련 업무를 수행하고 있는

한국국제협력단(Korea International Cooperation Agency, 이하KOICA)과유네스코아시아

태평양국제이해교육원(Asia-Pacific Centre of Education for International Understanding

Under the Auspices of UNESCO, 이하 UNESCO APCEIU) 등의 유관기관도 포함한다.

이와같은광범위한구성의이유는글로벌역량자체가상대적으로새롭고복합적인영역

이기때문에전통적‧보수적인교과중심의관점에서본다면글로벌역량전문가가부재한

상황이고 일부 과목이나 영역의 전문가로 국한된 협의체를 구성할 경우 편협하거나 최근

급진전되고있는글로벌역량관련동향을적절하게반영하지못할가능성도있기때문이다.

각구성원은소속기구‧기관이나전문성등에따라역할을하며, 특정영역이나관심사안


146

을초점으로하는논의를지양하는가운데국제기구의선언과학계의이론적담론, 현장교육

간의격차를인식하고글로벌교육을위한본협의체운영방법과더불어글로벌역량개념

및 구성요소, 제고 방안 등 글로벌 역량의 근본적인 교육정책을 총체적으로 논의한다.

글로벌교육정책의방향과교육과정의반영등의구현방안등도포함된다. 우리나라가

장기적인미래, 2030년혹은 21세기를대비하여어떠한교육을추구할것인가를개념화하

고그틀안에서글로벌역량의방향성을설정하며국가적차원에서국가교육과정에구체

적으로반영할방안을구안하고핵심역량으로서의글로벌역량이자리매김할수있도록

한다. 예를들면교육과정에서총론의어느부분에명시할것인지, 전통적교과중심접근,

범교과적 접근, 교과 외 접근, 독립된 정규 혹은 선택 교과로 접근, 모든 교과 혹은 중점

교과로접근할것인지, 누가무엇을어떻게가르칠것인지기대하는학습결과는무엇인지

등과같은글로벌역량의근본적인정책을명확하게설정한다. 이와같은거시적이며장기

적인차원에서의수립된교육정책은국가및국제교육과정포탈사이트 ‘국가교육과정정보

센터(National Curriculum Information Center, www.ncic.re.kr)’를통해공유하고근본적

인 교육정책의 틀 안에서 PISA 2018을 위한 대비 방안도 마련한다.

실행 전략 1- ② 글로벌 역량 관련 문헌적, 실증적, 경험적 연구 수행

교육 2030 대비를위한 글로벌역량교육정책을수립이라는정책제언의 두번째 실행

전략으로글로벌역량교육의근거자료확보를위한문헌적, 실증적, 경험적연구등다양

한 연구 수행을 제안한다.

구체적으로 첫째, 그동안글로벌역량과 관련된연구들을분석하고시사점을 도출하는

글로벌역량선행연구에대한평가연구, 둘째, 글로벌역량교육이현장에서어떻게구현

되고 있는지에 대한 교육현장에 대한 현황 파악 연구, 셋째, 글로벌 역량 교육의 세계적

동향분석을위한국제적인협동연구, 넷째, 국내‧외우수사례를발굴하고그특징과성격

을 맥락적으로 이해할 수 있는 사례연구를 포함한다.

이는 위에서 언급한 연구결과에 기반한 글로벌 역량 강화를 위한 연구 수행이 시급한

상황에 대한 적극적인 대책으로 글로벌 역량교육의실제 구현과정에대한 이해부족및

국제적 차원의 선언적 주장－학술계 담론－교육정책－교육의 실제 간 격차 존재와 같은

글로벌역량교육문제에대한해결책을제시할수있다. 동시에우리나라의종합적인교육


147

정책수립과교육의방향과접근방법구안, 현장의쟁점파악, 구체적인지원체계수립을

지원하기 위한 근거자료를 확보할 수 있다.

이와관련된벤치마킹대상으로 캐나다온타리오 주의 ‘21세기역량: 논의를위한기초

문서(21st Century Competencies: Foundation Document for Discussion)(Ontario, 2016)’

를제안한다. 온타리오주는첫째, 21세기역량의정의와역량개발을지지해주는근거논리

를제시하고, 둘째, 지역, 국가, 국제적연구와학계의논쟁등을종합적으로분석하고21세

기역량의정의를도출하는과정을설명하고, 셋째, 온타리오주의교수학습을위한 21세기

역량을정의하고있는관련업무를제공하고, 넷째, 21세기역량발전을위한현장의교육

및평가를위한실천적시사점을도출하고, 다섯째, 온타리오주의교육체계및정책을위한

핵심사항을정리하고있다. 이를토대로세계시민교육의종합적인틀을제시하고교육부,

외부교육전문가, 정책가, 연구가등과의논의의근거를마련하고있다. 따라서본연구에

서 제안한 교육 2030 대비를 위한 거시적‧장기적 차원의 글로벌 역량 교육정책 수립을

위해제안한 1-◯2 , 글로벌역량관련문헌적, 실증적, 경험적연구수행과더불어위실행

전략 1-◯1 에서 제안한 ‘글로벌 역량 교육정책 협의체’ 운영을 위한 실제적인 실천사례의

좋은예시를보여주는동시에이들실천전략을통해도출해야하는결과물의예시를보여

주고 있다.

한편글로벌교육 현장에 대한연구나구현 과정에 대한이해부족이 우리나라의교육

연구 상황에만 국한되는 것이 아닌 전 세계에서 공통적으로 제기되고 있는 글로벌 역량

교육연구의문제이므로이와같은문제점을해소하며글로벌역량교육강화라는전세계

적 현안에 대응하여 글로벌 역량 교육을 주도할 수 있는 기반을 마련할 수 있다.

정책 제언 2학교현장의 글로벌 역량 교육 활성화 ․내실화를 위한 실제적 교수학습 방법을

구안한다.

실행 전략 2- ① ‘글로벌 역량 교육 지원을 위한 TF’ 운영

위정책제언 1의두가지실행전략(글로벌역량교육정책협의체운영과글로벌역량

관련문헌적, 실증적, 경험적연구수행지원)을통해교육2030을위한거시적‧장기적차원

의글로벌역량교육정책이수립될것이다. 이와동시에선언적주장, 추상적인개념위주


148

의 글로벌 역량 교육으로 인해 실제 교육현장에서 겪는 어려움을 겪고 있음을 인식하고

이와같은어려움을적극적으로해소해주는동시에현장에서의글로벌역량교육을활성

화시키고 질적인 면에서도 내실화할 수 있는 실제적이며 단기적인 대책 마련 차원에서

‘글로벌 역량 교육 지원을 위한 TF(가칭)’를 운영한다.

UNESCO(2015b)에서글로벌역량(세계시민교육)을위해주제및학습목표를개발하여

제시하고있으나, 실제학교에서는국가교육과정과학교교육과정과의편성및운영과정

이 다르고 연계성이 부족하여 교사들이 ‘무엇을’ 가르칠 것인가 보다는 ‘어떻게’ 가르칠

것인가에 어려움을 겪고 있다고 보고되고 있다(이성회 외, 2015, pp.140-148).

따라서글로벌역량교육지원을위한TF운영은이와같은요구를최적절하게반영하고

학교현장에서의 사용할 수 있는 단기적이되 적극적이며 실제적인 지원, 즉 글로벌 교육

교수학습자료와수업모형을우선개발하여보급하는것을목적으로한다. 세부적인전략

으로한국교육과정평가원의글로벌교육본부에기반을두고유관기관의글로벌역량관련

자와시‧도교육청의담당장학사를포함하되현장에서글로벌역량을담당하는교사중심

의TF 구성을원칙으로하여, 중앙집권적인하향식접근보다는분권적인상향식으로접근

한다. 또한교육부에서구축한세계시민교육중앙선도교사및각교육청에서구축한시‧

도선도교사인력풀이이미운용되고있음을고려하여우선적으로는이들교사전문가들을

효율적으로활용하고, 점차적으로유사제도와의연계및차별화방안에대한담론을유도

하고 향후 정책 실천 전략을 구상한다(전문가협의회, 2016.10.21-25).

글로벌역량교육 지원을위한TF 운영을 통해그동안산발적으로개발되어온교수학

습 자료와 수업(안) 등을 수집하여 한시적이지만 교육적 차원에서 현장교사들이 활용할

수있는자료와수업모형을재선정하고향후교수학습자료집이나프로그램모형개발의

방향과과정등을위한시사점을도출한다. 다만초등학교, 중학교, 고등학교의각학교급

교육과정의 편제와 시간 배당 기준과 시‧도 교육청 혹은 학교 단위의 교육과정 편성 및

운영의 자율 범위를 고려하여 우선적으로창의적 체험학습, 사회과 혹은 영어과등의 같

은 특정 과목을 중심으로 실제성과 활용성이 높은 자료와 수업(안)을개발한다. 특히 각

교과 교육과정에서 추구하는 목표, 성취기준과 연계된 교수학습자료를중심으로자료를

개발하고 교과 교육과정에서 제시한교수학습방법, 평가방법을 고려하여 구체적이며 세

부적인지도방법과지도예시를포함한다. 개발된자료와수업안은한국교육과정평가원

교수학습지원센터의 ‘글로벌역량(가칭)’ 영역을 새롭게 개설하여 탑재함으로써 확산 보


149

급한다.

점차적으로 글로벌 역량의 근본적인 방향과 접근 방법, 교육과정 운영 방안 등에 대한

교육정책과다양한연구를통해확보된근거자료들과연동하여모든교과에서각교과의

특성을고려하여활용할수있는교수학습자료와프로그램개발로확장하는방안을모색

한다.

실행 전략 2- ② 교사 공동체 기반의 온라인 교사 연수 실시

학교현장에서의글로벌역량교육을활성화․내실화를위한실제적교수학습방법구안

의 두 번째 실행 전략으로 교사 공동체 기반의 온라인 교사연수 실시를 제안한다.

글로벌역량교육이상대적으로새로운영역이고, 교사교육차원에서의위치가확보되지

못하고있으며교사양성및연수과정에도필수적과정으로포함되어있지않다. 최근들어

글로벌역량제고의필요성과글로벌역량교육필요성과중요성에비해교사들의인식이

부족하며교사들의지도역량제고를위한교사교육프로그램이필요하다는주장(이성회

외, 2015; 이정우 외, 2015; 장의선 외, 2015)이 제기되고 있다. 그러나 실질적인방안으로

가시화되거나 활성화되고 있지 못한 상황이다.

따라서 이와 같은 현황을 반영하는 동시에 우리나라 학교현장의 보편적 특성 즉 교사

공동체가운영중에있다는점, 교사공동체가주로교과단위로운영되고있다는점, 사실

상글로벌교육전문교사교육자가부족하다는점을종합적으로고려한단기적인전략으로

학교 교사 공동체를 기반으로 하는 교사 연수를 실시한다. 위 ‘글로벌 역량 교육 지원을

위한TF’에서개발되는일부교과의교육과정과연계된자료와지도안등을제공하고국내

‧외의우수교사의사례를소개한다. 방법론적으로는물리적시간과공간의제약을최소화

하기위해온라인시행을원칙으로하며단기적으로는한국교육과정평가원의교수학습지

원센터 ‘교원전문성’ 영역과연동하여 ‘글로벌역량을 위한교사연수’를개설하는 방안을

제안한다. 중‧장기적으로는아래정책추진방향 4에서제안한국제학업성취도관련교사

직무연수의글로벌역량관련과연계하여PISA 2018 글로벌역량도입의배경및글로벌

역량의요소등을중심으로연수내용을구성한다. 또한중‧장기적방안으로교사양성과

정과 연수 과정에 글로벌 역량 관련 내용을 도입하여 예를 들면 최소 3학점에 해당하는

글로벌역량관련과목을필수적으로이수하도록한다. 현재계획중인KOICA의세계시민


150

교육온라인교원직무연수프로그램제공사업(이성회외, 2015, p.144, 재인용)과UNESCO

APCEIU의다양한 교원역량강화사업의특성을분석하고효과성을극대화시키기위해

단일체제 혹은 협력체제로 운영하는 방안도 적극적으로 강구한다.

ICT를 활용한 국내 대규모 평가 체제의 선진화정책 추진 방향 3

추진근거∙ PISA 2018 예비검사의 컴퓨터 기반 평가도구 지속적 활용 (III장 1절)

∙ PISA 2018 문항개발 과정에서의 온라인 포탈 활용 극대화 (IV장 1절)

∙ 표집설계 변화에 기인한 새로운 영역과 문항 타당성 검증 강화 (V장 1절)

기대효과

∙ 대규모 평가에서 ICT 기반 평가 도입으로 평가 방법의 선도적 역할 수행

∙ 문제은행 구현과 시행의 자동화 가능성 실현

∙ 문항개발 과정의 전산화를 통해 문서 생성 및 열람에 대한 기록으로 보안성 제고

∙ PISA 기출 문항 검색 시스템의 도입으로 기출 문항 검색 시간 단축

∙ 문항 개발 과정의 효율성과 안정성 제고 및 미래 사회에 적합한 평가 체계 구축

PISA 2018에서는테크놀로지를활용한컴퓨터기반평가의필요성이다시한번부각되

어우리나라학생평가방향에큰시사점을던져주었다. 이미 PISA 2006부터컴퓨터기반

평가를도입하였고, PISA 2015에서는전면적으로모든영역에서컴퓨터기반평가를적용

하였다. PISA 2018 본검사에서시행되는글로벌역량영역도컴퓨터기반으로시행27)하며

학부모설문을제외한학생, 학교장, 교사설문조사도컴퓨터로응답하도록설계되어있다.

이와 같이 PISA나 ICILS(International Computer and Information Literacy Study)와

같은국제학업성취도평가외에선진국에서는각종표준화검사에서컴퓨터기반평가가

일반화되어있다. 우리나라의경우이명박정부시기에대규모평가로시도한국가영어능

력평가시험(National English Ability Test, NEAT)이중단된이후(진경애외, 2012) 국가

수준에서주도하는컴퓨터기반평가도입이지연되고있다. 물론여러기초연구에서지적

하였듯이(김경희 외, 2013; 김명화외, 2011; 박은아외, 2012) 대규모시행을위한컴퓨터

기반평가는개발‧구축과인프라형성을위해막대한양의초기비용과노력이필요하므로

27) 글로벌역량만별도로시행되는파일럿은지필기반이며, PISA 2018 본검사에서타영역과함께시행되는글로벌

역량은 컴퓨터 기반이다(Ⅱ장, Ⅲ장, Ⅳ장에서 논의됨).


151

장기 계획을 수립하고 시범 적용을 통해 점진적으로 대상과 영역을 확대해야 할 것이다.

PISA 연구가컴퓨터기반평가로전환함에따라그동안국내에서진행된연구보고서에서

도지속적으로국내적용필요성을강조해온바있다(송미영, 최혁준외, 2013; 구자옥외,

2015b). 대규모평가에서컴퓨터기반평가를적용하는것은단순히지필평가양식을컴퓨

터에탑재하는양식이아니므로전체적인평가틀부터단위문항수준에이르기까지포괄적

시스템개발을위한체계적연구가시급하다. 시간과공간을넘나들며학습하는미래사회

를대비함에있어우리나라교육상황에맞는방식의컴퓨터기반평가도입여부는하루

속히 진행되어야 할 의사결정이라 하겠다.

특히학교교육과정의질적관리나또는교과융합형역량에대한학생들의이해수준을

파악하기 위한 목적으로 대규모 학업성취도 평가에서 ICT 기반 평가 시행을 제안하고자

한다. ICT기반대규모평가의기본모형은[그림Ⅵ-7]과같이구상할수있다. 지필평가로

수행되는대규모학업성취도평가모형과비교하면문제은행을통한평가도구제시방법이

다르며각종자료의연계는물론채점, 분석및점수산출과정이자동화될수있는특징이

있다. 물론 자료 관리 시스템은 모든 과정에서 최적화할 수 있도록 연계되어 있다.

[그림 Ⅵ-7] ICT 기반 대규모 평가 개념도

ICT를활용한PISA의선진적평가체제를국내의대규모평가에도입하여시험의안정

성과 효율성을 높이기 위한 정책 제언은 PISA 2012부터 꾸준히 제기되어 왔지만 국내

대규모평가를지필평가방식에서컴퓨터기반평가로전환하는것을전제로제시하거나

구체적정책제언보다는방향성을제시한정책제언이많았다. 그런데수십만명이응시하

는 국내 대규모 평가를 현재의 지필평가에서 컴퓨터 기반 평가로 당장 전환하기는 쉽지

않다. 국내의정보네트워크인프라가충분히갖추어지지않았고, 시행의안정성이나보안

유지 측면 등에서 문제가 발생할 여지가 있기 때문이다.


152

PISA는지필평가방식으로치르던시험을컴퓨터기반평가로시행방식을전환한것에

그치지않고문항의개발과정에서도 ICT를활발하게활용하고있다. 이와같은문항개발

과 관련한 ICT 활용은 현재의 국내 대규모 평가의 큰 틀을 크게 변화시키지 않고 바로

도입될수있으며효용성도높을것이다. 예를들어PISA에서문항개발을위해사용하는

포탈시스템방식을국내대규모평가에도입할수있다. 특히PISA 2018 예비검사의안정

적시행을위해국제본부와참여국들이PISA시행전반에대한업무를효율적으로수행할

수있도록구축한온라인포탈시스템은이전주기에비해서도그기능이크게향상되었으

며보다다양한기능을지원하고있다. [그림Ⅵ-8]은 PISA 2018 포탈접속화면의예시를

나타낸다.

PISA PortalPISA Portal 2018

HOME TASK DOCUMENTS TRANSLATIONS LINKS

Documents>Materials

▫ Name Size Date Modified

.. (Parent Folder)

▫

2018 Field Trial Instruments

This folder includes all the source versions of questionnaires

and test instruments and associated documentation for the PISA

2018 Field Trial.

2016-Oct-08 15:47:09

▫

2018 Field Trial Resources

This folder will include all PISA 2018 Field Trial key documents,

excluding the actual cognitive instruments and questionnaires. It

includes documents associated with the test development

process, computer platform, analysis, field operational manuals,

translation/adaptation/verification guidelines

* PISA 2018 포탈은 비공개 사이트이므로 본 예시화면은 가상으로 구성하였음.

[그림 Ⅵ-8] PISA 2018 포탈 화면 예시

PISA 2018 포탈에서지원하고있는다양한기능들중에는국내대규모평가에적용했을

때업무의효율을크게향상시킬수있는요소들을많이포함하고있다. 특히국내시험에

서 주로사용하고있는 지필평가방식의 문항 출제와 관리에도 그대로적용될수 있는데

문항 개발과 관련한 출제자들 간 자료의 공유, 작업 결과물 제출, 업무 일정 관리 기능

등이그예이다. 물론, 국내에서시행되는대규모의평가는보안유지등을이유로격리된

장소에서출제본부를운영하는폐쇄형출제체제를기반으로하고있는경우가많아개방

형온라인포탈시스템의적용이제한될수있으나인트라넷을이용하여독립망을구성하

면 현재와 같은 폐쇄형 출제 본부 내에서도 온라인 포탈 기능을 구현할 수 있고, 현재의


153

폐쇄형출제방식이사회적요구나업무의효율성제고를위해언제든지개방형출제체제

로전환될가능성이있다는측면에서미리부터국내대규모평가에서문항개발업무지원

을 위한 온라인 포탈 시스템을 구축할 필요가 있다.

PISA 2018 포탈시스템의가치는다양한기능을지원할수있는프로그램들과이기능들

을 사용자가 쉽게이해하고접근하여활용할수 있는 구조적인 틀을갖추고있으며 이에

더하여양질의자료를포함하고있다는것에서찾을수있다. 예를들어사용자매뉴얼의

경우에도 인쇄하여 사용할 수 있는 지침서, 업무를 단계별로 자세하게 설명해주는 영상

자료, 관련업무에대한전문가와참여국들이인터넷공간에서만나회의를진행한후이를

녹화한웨비나자료, Q&A자료등다양한형태의자료가지원되며, 포탈내에서이자료들

이DB화되어있으므로단순한검색어입력만으로사용자가원하는자료에손쉽게접근할

수 있다. 물론 접속자의 ID에 부여된 권한과 역할에 따라 접근할 수 있는 정보가 엄격히

구분되어 관리된다.

위에서논의한바를바탕으로본보고서에서는 ICT를활용한국내표준화평가의선진화

를위해대규모 평가에서 ICT 기반평가를도입함으로써학교급의교육성과를파악하고,

문항 출제 과정의 효율성과 안정성을 제고할 것을 제안하였다.

정책 제언 1 대규모 학업성취도 평가에서 ICT 기반 평가 시스템을 도입한다.

실행 전략 1- ① 복합적 능력과 수행기술을 파악하기 위한 평가문항 제시 방법의 전환

실생활환경은물론학교교육의다양한교수학습상황에서이미컴퓨터, 인터넷, 스마트

기기 등의 활용은 급증하고 있으며 이러한 변화에 맞추어 학생 평가도 동일한 환경에서

이루어져야할필요성이강조되고있다. 학생평가내용중지필평가로도평가할수있는

영역까지모두 ICT환경으로전환하여비용과노력을소모할필요는없다. 그러나교과별

로 가르치고 평가해야 하는능력중에서 컴퓨터 기반 평가에의해서만평가할수 있거나

컴퓨터기반평가문항으로더효과적으로평가할수있는능력이무엇인지에대해규명하

는일부터시작되어야한다. 교과고유의내용뿐아니라교과융합형내용이나교과를넘어

서사회가요구하는역량을평가하는데적절하게활용될수있다. ICT기반평가를도입

하는실행전략의하나로평가문항구현방법을전환해야한다는것은컴퓨터를활용함으로


154

써 얻게 되는 데이터 처리의 신속성 등 지필평가에서 반영하기 어려웠던 능력을 측정할

수있다는장점이부각되어야한다는의미이다. 즉어떤내용을어떻게측정하는것이 ICT

환경에 적절한가에 대한 연구가 우선되어야 할 것이다.

PISA컴퓨터기반평가는지필평가와달리하이퍼텍스트, 다양한이미지, 동영상, 사운드,

그래프와 표 등을 자유롭게 이용하고 있다. PISA 2015에서는 학생과 상호작용이 가능한

문항을수행하게함으로써복합적능력을측정하였고PISA 2018 읽기소양은디지털환경

에서 차별화된 텍스트 구조를 제시하고 있다. 또한 ICT 환경에서 구현되는 문항의 경우

지필평가에서는표현하지못했던동적이미지를제시할수있음은물론공식이나그래프를

피험자가실제로조작하여도식화하거나변형하여작성할수있다. 가상시나리오를제시하

는경우에도오디오나비디오를사용하여실제와같이연출함으로써피험자에게해결해야

할문제상황을효과적으로보여줄수있다. 따라서상호작용능력, 분석및통합능력, 조직

하기와 협력하기 등 지필검사로 측정하기 어려운 멀티태스킹 능력을 복합적으로 평가할

수있다. 이와같이컴퓨터를활용하여구현가능한문항형태는클릭형, 드래그형, 조건제시

형, 다중능력측정형, 동영상삽입형, 시나리오구성형등으로다양하며구체적인문항사례

는 이미 여러 문헌에서 소개된 바 있다(김경희 외, 2013; 김성숙 외, 2015).

최근에는 문항 개발 소요 시간과 비용을 절감하기 위해 문항자동생성(automated item

generation) 방안에 대한 연구가 발전하고 있다(Luecht, 2007; Gierl & Haladyna, 2013).

문항자동생성이란세부적으로프로그램된알고리즘을사용하여문항을자동생성하는문

항개발방식을말한다(Aleves, Gierl, & Lai, 2010). 자동생성되는개별문항은문항의원형

이라 할 수 있는 문항모형이 필요하며 문항모형은 문항 내용, 답지, 부수적인 문항 정보

등의문항요소로구성된다. 이문항요소들에의하여각각달라질수있는변수를사용하여

새로운문항을생성할수도있고, 문항요소를고정하여모든유사문항이같은형태를가지

도록제한할수도있다. 이와같이컴퓨터기반평가가확산될수록문항제작에드는비용

과 시간의 효율성을 강조하게 되므로 이러한 문제에 대한 해결 가능성이 기대되는 문항

자동생성 프로그램 관련 연구와 적용이 활발하게 시도되는 추세이다(Gierl & Haladyna,

2013; Irvine & Kyllonen, 2002).

실행 전략 1- ② 행렬표집설계 도입 및 자동 검사배정 방법의 적용

PISA 연구는 개인 성취수준의 파악보다는 표본으로부터 추정하는 참여국가의 영역별


155

교육성취에대한점수산출이목적이므로평가영역의내용을충분하게포함하면서개별

표집학생의평가부담은줄이기위해행렬표집설계(matrix sampling design) 방법을사용

하고 있다(Kolen, 2006). 행렬표집설계는 검사 전체 문항을 부분으로 나눈 집합문항들을

표집설계에 따라 무선적으로 배정하게 되므로 모든 학생들은 동일한 검사도구를 치르지

않고 부분으로 구성된 집합문항의 검사도구를 접하게 되는 것이다.

PISA 2018 시행 준비를 설명하면서 표집설계의 변화를 기술하였다. 아직 본검사 표집

설계를확정하지않았지만PISA 2015 예비검사와비교할때우리나라에적용하는표집설

계의경우아래<표Ⅵ-2>와같다. PISA 2015의경우지필검사와컴퓨터기반검사를병행

하여시행하였으므로표집학교내충분한학생수를요구하였다. 우리나라의경우지속적

으로 ‘설계 3’으로 시행해 왔고 한 학교의 학생 수는 40명 안팎으로 유지하였다. 그러나

PISA 2018의경우전체적으로표집설계방향은예비검사전체표집학교수는감소한반면

표집 학교의 표집 학생 수가 증가한 설계이다. 이와 같이 예비검사 표집 설계가 변화한

가장큰이유는주영역읽기에서새로검증해야할평가문항이증가함에따라단위학교에

배분해야할평가문항대상의학생수를충분히확보하여야하기때문이다. 주영역인읽기

의 새 문항을 비롯하여 수학과 과학의 추이 문항을 모두 포함해야 하므로 PISA 2018의

행렬표집 검사설계는 표집 학교 내 최소 학생 수를 설계에 따라 36명에서 65명이상으로

요구하였다. 우리나라의경우PISA 2018 예비검사대상모집단은2001년 3월 1일부터 2002

년 2월 29일사이에출생한학생으로결정하였고예비검사표집은중학교3학년과고등학교

1학년학생중에서이생년월일범위에속하는학생들을대상으로한다. 고등학교의경우는

학교당최소요구하는학생수가65명이상이라도문제되지않지만중학교의경우한학교

내이생년월일범위내속하는학생들이충분하지않은학교가많아시행시어려운점으로

나타나고 있다. PISA 2015 본검사에서는 평균 학생 수가 23.5명 수준이었다(구자옥 외,

2015b). 따라서우리나라의경우PISA 2018 예비검사의표집설계는 ‘설계 2’를선택하였고

중학교는기본적인표집과정에서제외되었으며시행을준비하기위해추가적으로5개학교

를 표집할 예정이다. 그러나 표집 학교의 학생 크기를 일정하게 유지하여야 추이 변화를

파악하는데표집오차를최소화할수있으므로PISA 2018 본검사에서는기존표본크기를

유지할것이다. 예비검사표집설계변화의주된이유는검사문항타당성을점검하기위해

표집학교내충분한학생을대상으로검사형을배분해야하는것이더중요하기때문이다.


156

<표 Ⅵ-2> PISA 2015와 PISA 2018 예비검사 표집설계 변화

표본 설계안

PISA 2015 PISA 2018

최소 요구되는학교 수(개교)

최소 요구되는학교 당 학생 수(명)

최소 요구되는학교 수(개교)

최소 요구되는학교 당 학생 수(명)

설계 1 25 78 28 65

설계 2 39 52 40 45

설계 3 54 3630 45

14 36

출처: OECD(2016j, p.11)

행렬표집설계에 의한 평가문항은 표집 학생에 따라 다르게 배분된다. 예를 들어 PISA

2018 예비검사중<표Ⅵ-2>에서 ‘설계 1’을채택한다면 [그림Ⅵ-9]와같이 54개의검사형

을 구성하게 된다. 즉 28개 학교의 총 1,800명 학생을 대상으로 동일한 평가 영역 내에

3～5개의단위문항을묶어서문항군들을만들고, 전체문항군이회전방식으로 4개의클러

스터를만들어하나의검사형을구성한후, 개별학생은전체54개의검사형중에서하나의

검사형만 치르도록 무선으로 배정하는 것이다. 이러한 검사 문항군의 무선 배정 과정도

자동 검사 배정(automated test assembly, ATA) 프로그램을 활용하여 자동화되고 있다

(Breithaupt, Ariel, & Hare, 2010; Breithaupt & Hare, 2016).

집단 1

(추이 문항)

집단 2

(추이 문항 + 읽기 새 문항)

집단 3

(읽기 새 문항)

검사형 문항군 1문항군 2문항군 3문항군 4 검사형 문항군 1문항군 2문항군 3문항군 4 검사형 문항군 1문항군 2문항군 3문항군 401 S1 S4 M1 M2 19 R1 R14 R12 R7 43 R7 R8 R10 R1402 S S6 M3 M4 20 R2 R16 R14 R9 44 R8 R9 R11 R1503 S5 S2 M5 M6ab 21 R3 R18 R16 R11 45 R9 R10 R12 R1604 M2 M3 S2 S5 22 R4 R8 R18 R13 46 R10 R11 R13 R1705 M4 M5 S4 S1 23 R5 R10 R8 R15 47 R11 R12 R14 R1806 M6ab M1 S6 S3 24 R6ab R12 R10 R17 48 R12 R13 R15 R707 M1 M4 R1 R2 25 R13 R1 R10 R9 49 R13 R14 R16 R808 M3 M6ab R3 R4 26 R15 R2 R12 R11 50 R14 R15 R17 R909 M5 M2 R5 R6ab 27 R17 R3 R14 R13 51 R15 F16 R18 R1010 R2 R3 M2 M5 28 R7 R4 R16 R15 52 F16 R17 R7 R1111 R4 R5 M4 M1 29 R9 R5 R18 R17 53 R17 R18 R8 R1212 R6ab R1 M6ab M3 30 R11 R6ab R8 R7 54 R18 R7 R9 R1313 R1 R4 S1 S2 31 R11 R18 R1 R814 R3 R6ab S3 S4 32 R13 R8 R2 R1015 R5 R2 S5 S6 33 R15 R10 R3 R1216 S2 S3 R2 R5 34 R17 R12 R4 R1417 S4 S5 R4 R1 35 R7 R14 R5 R1618 S6 S1 R6ab R3 36 R9 R16 R6ab R18

37 R16 R17 R15 R138 R18 R7 R17 R239 R8 R9 R7 R340 R10 R11 R9 R441 R12 R13 R11 R542 R14 R15 R13 R6ab

※ R1～R6ab: 읽기 추이 문항군/ R7～R18: 읽기 새 문항군/ M1～M6ab: 수학 추이 문항군/ S1～S6: 과학 추이 문항군

출처: OECD(2016n, p.14)

[그림 Ⅵ-9] PISA 2018 예비검사 평가도구 설계 예시


157

이와같은설계는각학생이치르게되는검사의문항수와내용이다를수있지만전체

적으로많은내용의문항에대한응답을수집할수있는장점이있다. 즉대규모평가에서

평가도구 내용의 포괄 범위를 넓게 하면서도 수험 부담을 가중시키지 않고, 가교문항의

노출위험을적게할수있는검사설계로이와같은행렬표집설계를고려해볼수있으며,

검사의 목적이 개인보다 집단의 능력 수준을 산출하고자 할 때 유용하다. 국가수준에서

시행하는교육과정의질 관리 목적또는 학교급 성취의 추이변화 등을연구할때 적합한

표집설계이므로 ICT 기반평가의구체적실행전략으로제안하고자한다. 물론행렬표집설

계를적용하는경우, 서로다른문항들로구성된여러종류의검사를실시하고채점하여야

하므로표집설계에서부터검사도구관리, 시행, 검사결과채점및점수산출과정등측정

전문가의 전문적 지식과 기술적 지원이 필요하다.

실행전략 1- ③ 서답형 문항 채점과 점수 산출 과정의 자동화 구현

ICT 기반평가에서의채점과 점수산출과정은 테크놀로지 적용에서의최대 강점으로

부각되는영역이다. 학생들이접속한컴퓨터에로그인검증을통해평가가시작되는순간

응시현황부터파악되며검사시행결과역시자동저장되거나송부됨으로써자료수합의

효율성과편의성이극대화되기때문이다. 특히컴퓨터기반시스템은대규모데이터에대

한실시간처리능력이탁월하기때문에데이터를저장하고각각필요한시스템에서분산

된 데이터를 병렬적으로 처리할 수 있다. 기본적으로 응시학생 수, 응시 장소, 응시 결과

등이 자동 처리되고 입력된 데이터를 관리하게 되는 것이다.

PISA 문항의경우선다형과구성형이있으며선다형문항전체와컴퓨터에서자동채점

되는구성형문항은모두자동채점된다. PISA 2015 경우협력적문제해결력평가문항은

모두자동채점되었다. 물론구성형중내용전문가에의해채점되어야하는문항은채점자

가직접채점하고있으며, 단수채점과복수채점을병행하여신뢰할수있는결과를도출

하고있다. 서답형문항에대한자동채점방법은꾸준히발전하고있으며다양한모형으로

구현되고있다(Bennett & Zhang, 2016). 우리나라도영어와한국어답안에대한자동채점

관련연구가다각적으로진행되어왔다(진경애외, 2006; 노은희외, 2014; 노은희, 송미영,

성경희, 2015).

테크놀로지를적용한서답형문항자동채점프로그램은컴퓨터자연언어처리기술및


158

지식베이스를이용하여서술식으로기술된피험자들의응답을자동으로평가하고채점하

기위한시스템을의미하며단문형채점프로그램과에세이형채점프로그램으로대별된

다. 단문형채점프로그램은자연언어처리기술에기반하여피험자의응답이정답에어느

정도가깝게진술되어있는지평가함으로써내용의관련성에초점을두어채점하는방식인

반면, 에세이형채점프로그램에서는답안에기술된내용의관련성보다문단전개의논리

및 문장 표현 등에 초점을 둔다(Butcher & Jordan, 2010). ETS에서 개발된 C-rater,

Sukkarieh와 Pulman 등의 옥스퍼드 대학 연구진에 의해 개발된 프로그램, Intelligent

Assessment Technologies(IAT) 프로그램, College Board 의 ACCRPLACER, ACT의

COMPASS 등 영어권을 중심으로 단문형 자동채점 프로그램이 사용되고 있다(Lewis,

2013; Zhang, 2013). 이러한 단문형 자동채점 프로그램들은 개발자들에 의해 독자적으로

개발되었으나유사한언어처리기술을이용하고있으며, 단문형답안에대한채점방식에

있어일반적으로공통적인알고리즘을따르고있다. 지필평가에서어려웠던답안 인식의

문제가컴퓨터기반평가에서는당연하게인식되는과정이므로구성형또는서답형문항에

대한 자동채점은 효율적으로 진행될 수 있으리라 기대한다.

최근 한국교육과정평가원에서 한국어 서답형 문항 채점을 위한 자동채점 프로그램이

개발되어국가수준학업성취도평가의일부교과의서답형문항채점에서단어와구수준

답안에대하여시범적용되었다(노은희외, 2015). 하지만국가수준학업성취도평가답안

의자동채점을위해채점프로그램이문자를인식할수있도록지필결과를컴퓨터로전환

하여야하는부가적과정이필요하였다. 서답형자동채점이효율적으로수행되려면컴퓨터

기반 평가 시행이 전제되어야 함을 강조하고자 한다.

채점자동화와함께컴퓨터기반시스템은점수산출과정도자동적으로진행될수있다.

현재국가수준학업성취도평가에서는채점이끝나고개별학생들의응답및채점자료가

모두 수합된 후 일정 기간에 걸쳐 검사 동등화 작업을 수행한다. 점수 산출을 위한 검사

동등화작업은순차적으로정형화된절차가포함되어있으며, 전문가들의판단이요구되는

과정이 있다. 따라서 정형화된 절차의 경우 컴퓨터 시스템을 통해 자동화될 수 있으며,

전문가들의판단이요구되는절차를위해서는신속하게정보를전달하여판단하도록한다.

이렇게산출된결과는국가수준에서변화추이를파악하고자사용될뿐아니라필요에따라

개별 학생에게 제공할 수도 있다. 이 연구에서 제안하는 대규모 ICT 기반 평가는 개별

학생에대한피드백이목적이라기보다국가수준에서학교급에대한질관리가우선되므로


159

개별 학생을 위한 결과보고 부분은 강조하지 않을 방안임을 밝힌다.

정책 제언 2 ICT를 활용하여 문항 출제 과정의 효율성과 안정성을 제고한다.

실행 전략 2- ① 온라인 포탈 구축 및 운영

PISA에서제공하고있는온라인포탈시스템을바탕으로국내대규모문항출제업무에

적용 가능한 온라인 포탈 시스템이 갖추어야 할 기본적 기능을 제시하면 다음과 같다.

첫째, 문항개발과정에서관리되는공식문서를탑재하고수정할수있는게시판기능이

다. 게시판의목록화면에는 ‘업무구분에따른문서분류명’, ‘문서제목’, ‘업무흐름상에서

의단계’, ‘현단계의문서수정책임자’, ‘작업진행의상태(완료, 작업중, 지연등)’ 의표제

목으로구분된문서목록에제시되며, 표제목에따라정렬, 필터링등이가능하고, 접속자

ID에 의해 구분되는 역할과 권한에 따라 현 단계에서의 수정 책임자에게만 파일의 수정

권한을 부여한다.

둘째, 출제과정에서사용되는모든문서, 프로그램등의자료들을종류에따라분류하고

사용자필요에따라서다운로드할수있는자료실기능이필요하다. 업무의종류에따라

자료를디렉토리별로분류하여사용자가원하는자료에쉽게접근할수있게구성되어야

한다. 또한개별파일혹은디렉토리전체로파일을다운받을수있게하되일정규모크기

이상의 파일 용량은 한꺼번에 다운받을 수 없게 하는 등 보안 관련 기능을 가진다.

셋째, 문항출제과정을지원하는웹기반프로그램및관련 DB 및웹사이트에접근할

수있어야한다. 예를들어맞춤법검사기, 기출문항을이용한정답률예측훈련프로그램,

문항 저작 프로그램 등을 예로 들 수 있다.

넷째, 업무담당자의연락처, 전체일정이표시되는캘린더기능, 질의응답게시판, 용어

사전, 관련 사이트 링크 창 등 일반 포탈에서 지원하고 있는 일반적인 기능을 포함하고

있어야한다. 온라인포탈은대규모출제진이문항개발에참여할수있고지역적으로떨어

진곳에서도접속하여업무를수행할수있으며, 개발과정에서생산되는문서를전산화하

여 관리하기 쉽고, 출제진이 정보 검색을 통해 출제의 완성도 제고에 기여하는 등 많은

장점을가진다. 예를들어사용자는포탈에접속하여해당게시판에서출제업무와관련된

일체의자료를다운받을수있으며별도의게시판에문항개발의결과물인공식문서파일

을업로드할수있고, 이문서들에대한생성, 열람, 수정에대한기록들도함께관리된다.


160

현재국내에서시행하고있는대규모평가의경우출제에필요한파일들을기획위원혹은

전산요원이USB에담아각출제협의실에배포하고출제과정에서생성된파일도협의실

의 컴퓨터에서 다시 옮겨 수합하는 방식으로 운영되어 파일 관리에 불편함이 있으며 각

파일의 열람 및 수정에 대한 관리 기록도 존재하지 않는다. 따라서 온라인 포탈을 통해

기본 문서 파일을 주고받을 경우 업무 효율을 높일 수 있다. 또한 온라인 포탈을 통해서

문항 출제를 위한 다양한 지원 프로그램에 접속할 수 있다. 맞춤법 검사기, 기출 문항을

이용한정답률예측훈련프로그램, 문항내용및문항의메타정보입력시스템등을이용

하여 출제 완성도를 높일 수 있다.

실행 전략 2- ② 비 색인어 검색이 가능한 기출 문항 검색 시스템의 도입

국제본부는참여국의국가센터에서PISA문항을자국어로번역할때이전의기출문항

에서동일한단어가어떻게번역되었는지확인할수있도록기출문항검색시스템을제공

하고있다. 특정한단어나문구를검색어로입력하면검색어를포함하고있는문항의목록

과 검색어가 포함되어있는 문장을 함께 보여준다. 그런데 이러한 검색 방식은 현재 국내

대규모 평가에서 사용하는 전형적인 검색 방식인 계층형 트리구조에 기반한 기출 문항

검색 방식을 보완할 수 있다. 즉 기존의 기출 문항 검색 방식은 학년별, 학기별, 과목별,

영역별대단원중심의계층적트리구조에기반한디렉터리탐색에의한검색방법(김미혜,

2008, p.414) 또는미리지정해놓은색인어DB에서만문항을검색하는방식으로, 사용자가

원하는문항을충분히추출해내지못하는경우가많다. 반면, PISA 기출문항검색방식은

문항의 메타정보에 해당하는 평가요소, 핵심어, 난이도, 문항유형 등 조건에 따라 문항을

검색하는것이아니라사용자가입력한검색어를포함한문항을모두보여주는방식이어서

보다많은문항을검색결과로얻을수있으면서도, 그림이나도표를포함하지않은텍스트

자료만을DB로구축하여사용하고있기때문에검색후문항추출에걸리는시간을단축

할 수 있다. 또 새로 제작된 문항 정보를 DB에 입력하는 과정도 단축할 수 있다.

물론, PISA의기출문항검색방식인비색인어검색방법을현재사용하고있는계층적

트리 구조 기반 기출 검색 방식과 혼용하여 목적에 맞는 기출문항 검색 방식을 선택할

수 있다.


161

제도적·인적 지원 강화를 통한 PISA 시행의 안정성 확보정책 추진 방향 4

추진근거∙ 표집 학교의 확정과 교육부, 시‧도 교육청, 표집 학교와의 협조 관계 유지(Ⅴ장 2절)

∙ 주기별 혁신적 영역 준비의 촉박한 진행 및 변화에 따른 업무 과중(Ⅱ장 2, 3절, Ⅳ장 1, 2, 3절)

기대효과∙ PISA 관련 전문가 양성을 통한 PISA 시행 기반 강화

∙ 제도적 기반 및 표집 학교에의 지원 강화를 통한 PISA 시행의 안정성 증대

∙ 주기별 혁신적 영역 대비를 위한 안정적 시행 기반 및 연구 기반 조성

PISA 2018의예비검사는 2017년에, PISA 2018의본검사는 2018년에시행된다. 이를위

하여 2016년에는예비검사평가도구개발및번역, 표본설계, 표집학교선정등을진행하

였고, 이와같은사전준비를바탕으로예비검사를성공적으로시행하기위해서는교육부,

시‧도교육청, 표집학교의협조가중요하다. PISA 2018 예비검사는 2017년 3월초교육부

와 시‧도 교육청을 통하여 표집 학교의 협조와 참여를 독려하는 공문을 발송하여 해당

학교가표집학교로선정되었음을알리고학생및교사에관한정보제공을요청하는것으

로시작되기때문이다. 이때교육부와시‧도교육청담당자가PISA연구의의미와중요성,

시행절차를충분히숙지하고있다면보다체계적으로업무협조가이루어져표집학교로

선정된학교책임자와감독교사를독려하고PISA 2018 예비검사시행과정의질확보에

도움을 줄 수 있다. 특히, 표집 학교로 선정된 것에 부담을 느끼는 학교가 많은상황에서

교육부와시‧도교육청의적극적인지원은PISA시행을원활하게하는데중요한역할을

한다.

[그림 Ⅵ-10] PISA 시행 관련 기관별 업무 흐름

표집 학교로 선정되면 표집 학교의 학교 책임자는 컴퓨터 보유 정보를 비롯하여 학생

및교사에대한정보를수집하여보고하고, 예비검사시행을위해제공되는지침서에대한


162

설명과시행관련질의응답을진행하는연수에참석해야한다. 이때학교책임자또는감독

교사가국제비교연구의중요성과필요성뿐아니라PISA에대하여잘알고동의한다면,

표집 학교로서의 자부심을 바탕으로 안정적인 시행에 보다 적극적으로 참여할 수 있을

것이다. 또한 교육부 및 시‧도 교육청 담당자가 PISA의 의미와 중요성을 인지하고 시행

과정에대한어려움을공감한다면협조요청공문발송외에표집학교에대한행정적‧제

도적 지원 방안을 보다 구체적으로 모색하게 될 것이다.

한편구성형문항이포함되어있는PISA의안정적시행을위해서는우수한채점인력의

확보가중요하다(송미영, 최혁준외, 2013; 송미영외, 2014). 국제학업성취도평가의채점

교사는각영역의평가틀, 문항의특성에대한이해를바탕으로국제본부에서제공하는채점

기준을이해하고이에따라구성형문항의답안을정확하게채점할수있어야한다. 따라서

PISA와 학교 교육과정에 대한 이해가 높고 만 15세 학생을 지도해 본 경험이 있는 현직

교사가채점하는 것이가장바람직하다(송미영, 최혁준 외, 2013). 그러나 PISA 채점자 간

신뢰도를확보하고채점기준에대한이해도를높이기위해일정기간의공동작업을필수화

함에따라, 학교업무공백등을이유로PISA문항을채점하기에적절한전문성을가진교사

섭외의 어려움이 커지고 있다. 따라서 PISA 구성형 문항의 특징과 채점 기준을 이해하고

예시 문항등에 대한채점 경험을가진인력풀을확대할수있는 방안이모색되어야한다.

PISA 2018 예비검사는컴퓨터기반평가로시행한다. 따라서표집학교로확정되면컴퓨

터환경에 대한사전점검을통해컴퓨터기반평가의실시가가능한지여부를진단한다.

컴퓨터기반평가로시행한PISA 2015 본검사에서는 ‘학교컴퓨터진단도구(PISA School

Readiness Tool)’를이용하여각학교의컴퓨터프로세서유형과속도, 메모리와하드디스

크 크기, 운영 체제 버전, 네트워크 처리량 등의 구성 정보를 확인하였다(송미영, 최혁준

외, 2013). 마찬가지로PISA 2018 예비검사의안정적시행을위해서도표집학교의컴퓨터

환경에대한신속하고정확한정보수집이필요하다. 학교가보유하고있는컴퓨터대수가

부족하거나사양이낮아국제본부에서요구하는시스템의조건을만족하지못할경우, 시

행이원활하게진행되지않을가능성을대비하여검사시행용노트북을제공하는상황이

발생할 수도 있기 때문이다(구자옥 외, 2015b).

PISA 2015 본검사에서는 국제본부에서 정한 표준 절차에 따라 본검사를 잘 진행하고

있는지 모니터링하고 모니터링 내용을 국제본부에송부할국제 질 관리자를 선정하였고,

한국교육과정평가원에서도국내질관리자를별도로위촉하여본검사시행을점검하였다


163

(구자옥외, 2015b). 특히국내질관리자는본검사시행당일학교를방문하여보안상태를

점검하고시행과정을모니터링하여그결과를보고하였다. 따라서PISA 2015 본검사시행

후 제출된 국내 질 관리자의 보고 결과와 시행 학교 감독 교사의 검사 실시 보고서 등은

PISA 2018 예비검사를 성공적으로 시행하기 위한 중요한 참고 자료라 할 수 있다.

한편 PISA 2018의혁신적 영역으로 처음도입되는글로벌 역량은 국제본부에서 PISA

2018 글로벌역량예비검사시행을취소하고파일럿을도입하는등큰변화를겪고있다.

이는향후주기별혁신적영역도입시에도발생할수있는경우로, 본연구에서는장기적

인차원에서혁신적영역의평가에대비하고주도적역할을수행하기위한체제를구축하

는 것이 필요하다.

예비검사를안정적으로시행하기위해서는제도적차원에서지원체제를확립하고, 전문

인력을확보하며, 표집학교에대한정보를안정적으로수집함과동시에표집학교및관련

교사에 대한 지원 방안을 현실화할 수 있는 방안을 모색해야 한다. 이에 본 연구에서는

국제학업성취도평가에관한이해도를제고하고전문인력을확보하며표집학교의 ICT

관련정보수집을위해법을개정하고표집학교에대한지원을강화하는방안을제안하고

자한다. 또한글로벌역량의예를참고로, 국제학업성취도평가의지속적변화에대비하

기 위하여 국제본부와 긴밀한 협력관계를 유지하면서 우리나라가 보다 주도적인 역할을

수행하기 위한 방안을 제시하고자 한다.

정책 제언 1 국제 학업성취도 평가 관련 이해도를 제고하고 전문 인력을 확보한다.

실행 전략 1-① 국제 학업성취도 평가 담당 연구사 및 장학사 대상 PISA 워크숍의 정례화

예비검사를시행하면서표집학교에대하여협조와참여를독려하는역할을할수있는

교육부와시‧도교육청의협조는중요하다. 따라서교육부및시‧도교육청담당자를대상

으로하는워크숍을정례화하여교육부및시‧도교육청담당자의PISA에대한이해도를

제고하는방안을모색하고자한다. 워크숍프로그램(안)은 [그림Ⅵ-11]과같이PISA개요,

PISA 결과의활용, PISA 시행을위한지원, 우리나라교육에주는시사점을중심으로내용

을 구성할 수 있다. 이때 행정과 지원의 성격을 갖는 교육부 및 시‧도 교육청의 역할을

고려하여정책에반영할수있는내용을강조하거나, 시행절차를수행하는과정에서주의


164

를기울여야하는부분을구체화하여제시한다. 예를들어OECD가수행하는평가및설문

조사 결과를 세계 지도나 각종 그래프를 이용하여 사용자의 요구에 맞추어 제시해주기

위해OECD가최근에개발한Education GPS 기능에대한소개는PISA결과를효과적으

로 활용하는 데 도움을 줄 것이다.

[그림 Ⅵ-11] 교육부 및 시․도 교육청 담당자 대상 워크숍 프로그램(안) 개요

-

실행 전략 1-② 국제 학업성취도 평가 관련 교사 직무 연수 과정 개설 및 운영

표집학교의학교책임자와감독교사를대상으로시행을위해제공되는지침서에대한

설명과 시행 관련 질의응답을 위한 연수는 반드시 실시해야 하지만, 이외에 PISA 관련

전문가를양성할수있는방안이보다적극적으로모색할필요가있다. 이를위해본연구

에서는 PISA에 대한 안내, PISA 문항의 번역 및 시행, PISA 문항의 특징, PISA 문항의

개발 과정과 채점으로 구성된 PISA에 관한 온라인 교원 연수 프로그램(안)을 개발하고

이에대한이수학점을부여하여, PISA에관한저변을확대하는방안을모색하였다. 연수

프로그램(안)의 목표와 내용을 정리하면 [그림 Ⅵ-12]와 같다.

본 연구에서는 PISA에 관한 온라인 교원 연수 프로그램을 1학점 15차시로 개발하였다.

PISA의영역별평가틀과설문분석틀에대한이해를바탕으로PISA문항유형과채점기준을

이해하고이를적용해보는내용으로구성하였다. 또한PISA문항에대한번역과번안, 표집

학교의설계및선정과정등을소개하고, PISA시행에앞서제공하는학교책임자또는감독

교사용 지침서를 설명함으로써 PISA에 대한 전반적인 이해를 향상시키고자 하였다.


165

▪연수 과정 명: PISA 온라인 교원 연수 프로그램

연수 종별 직무연수 1학점 연수 분야 교육 평가

연수 기간 2주/15시간 인정 시간 15시간

추천 대상 교사(중학교, 고등학교), 교육청/교육지원청

▪연수 목표

- PISA의 영역별 평가틀과 설문 분석틀을 이해한다.

- PISA 시행을 위한 국제본부의 표준화된 절차를 이해하고 시행 과정을 이해한다.

- PISA 문항의 특징과 채점 기준을 이해한다.

▪평가 방법 및 이수 기준

- 평가 방법: 참여(진도) 30점 + 온라인 시험 70점

- 이수 기준: 총점 100점 만점에 60점 이상 & 학습 진도 80% 이상

▪연수 내용(15차시)

1. PISA 연구의 변천

2. PISA 영역별 평가틀(읽기, 수학, 과학,

주기별 혁신적 영역(글로벌 역량))

3. PISA 설문 분석틀

4. PISA 문항의 번역 및 번안

5. PISA 표집 학교의 설계 및 선정

6. PISA 시행 안내

7. PISA 결과 활용

8. Educations GPS

9. PISA 문항 유형 및 특징

10. PISA 영역별 공개문항(1) : 읽기

11. PISA 영역별 공개문항(2) : 수학

12. PISA 영역별 공개문항(3) : 과학

13. PISA 영역별 공개문항(4) : 주기별

혁신적 영역(글로벌 역량)

14. PISA 채점 기준

15. PISA 문항 개발 및 구성형 문항의 채점

[그림 Ⅵ-12] 온라인 교원 연수 프로그램(안)

개발된온라인교원연수프로그램을교육부에서운영하는중앙교육연수원등의온라인

연수원에직무연수과정으로탑재하고연수프로그램이수후에는연수학점을부여한다면

온라인 연수 프로그램의 전파 및 확산에 많은 도움이 될 것이다. 따라서 연수 프로그램

개발후에는온라인연수원에의탑재와이수학점부여등과같은행정적지원이필요하다.

온라인교원연수프로그램이안정화되면PISA의중요성을인지하고PISA시행에참여

하는것에의미를부여할수있는교사가많아져, 표집학교로선정되었을때국제학업성

취도평가를시행하게되는과정에서겪는어려움보다도직접PISA에참여한다는자부심

으로 채워나갈 수 있는 선순환 구조를 정착시킬 수 있을 것이다.

또한PISA에대한온라인교원연수프로그램을이수한교사를대상으로 ‘국제학업성취

도평가채점교사인력풀(송미영, 최혁준외, 2013; 송미영외, 2014)’의등록기회를우선적

으로제공한다면PISA에대한이해도가높고전문성있는채점교사를안정적으로확보하

는 데 도움을 받을 수 있을 것이다.


166

정책 제언 2표집 학교의 ICT 관련 정보 수집을 위한 법을 개정하고 표집 학교에 대한

지원을 강화한다.

실행 전략 2-①표집 학교의 ICT 관련 정보의 안정적 수집을 위한 ‘교육관련기관의 정보공개에 관

한 특례법 시행령’ 개정

PISA 2012와 PISA 2015 각각의 시행을 위해 요구되었던 최소 사양의 정보를 비교한

송미영과최혁준등(2013)에따르면, 구체적인사양및내용면에서변화는있으나PISA의

안정적시행을위해필요로하는정보의종류는유사하다. 특히CPU 속도, 시스템메모리,

운영체제, 화면해상도등은각학교의교육정보화현황을파악하기위해유용한정보라는

점을고려할때, 본연구에서는정보공시를통해이를안정적으로수집하는방안을모색하

고자 한다.

현재 ‘교육관련기관의정보공개에관한특례법시행령’에따라학교알리미의공시정보

중 ‘교육여건’의 ‘교사(校舍) 현황’은 컴퓨터실이나 멀티미디어실의 개수를 고시한다.

출처: http://www.schoolinfo.go.kr/ (검색: 2016.8.3.)

[그림 Ⅵ-13] 학교알리미의 ‘교사(校舍) 현황’ 공시의 예

그러나 컴퓨터실의 유무만으로는 각 학교의 정보화 현황을 파악하는 데 한계가 있다.

구체적으로 컴퓨터실이나 멀티미디어실에서 실제로 사용가능한 컴퓨터 혹은 노트북 수,

컴퓨터및노트북사양등에대해서는아무런정보를제공하지않고있기때문이다. 따라서

컴퓨터, 노트북, 실물화상기등기자재에대한정보뿐아니라, 컴퓨터사양, 운영체제등을

공시함으로써학교의정보화현황을좀더구체적으로파악하는방안을생각해볼수있다.

교육통계조사에서는각급학교의교육정보화현황파악을위해학교급별데스크톱, 노트

북, 스마트패드의보유현황과구입한지얼마나오래되었는지를확인한다(길혜지, 2016).

그러나 구입 시기에 대한 정보는 컴퓨터 사양에 대하여 막연하게 추측만 할 수 있을 뿐


167

구체적인정보로서의 역할을하지 못한다. 따라서보유현황, 보유기간과더불어컴퓨터

CPU 속도, 시스템메모리, 운영체제, 화면해상도에대한정보를추가로제시한다면학교

별 교육정보화 현황 파악에도 많은 도움을 주게 될 것이다.

따라서 ‘교육관련기관의정보공개에관한특례법시행령’을개정하여‘교사(校舍) 현황’에항

목을추가하여정리하거나[그림Ⅵ-14]의개정안과같이‘ICT현황(가칭)’이라는별도의항목

을만들어공시하는방안을고려해볼수있다. ‘교육여건’의 ‘학교도서관’과같이 ‘학교시설에

관한사항’ 중 ‘각종지원시설현황’이나‘그밖에교육여건및학교운영상태등에관한사항’에

‘ICT 현황(가칭)’ 항목을 추가한다면 각 단위학교의 ICT 현황 파악이 좀 더 수월할 것이다.

공시정보 항목 공시정보 범위 공시 기관 공시 횟수 공시 시기

15. 그밖에교육여건

및학교운영상태

등에 관한 사항

가. 장학금 수혜 현황 중, 고, 특 연 1회 4월

나. 동아리활동 현황 초, 중, 고 연 1회 5월

… (중략) …

파. 삭제 <2015.3.17.>

공시정보 항목 공시정보 범위 공시 기관 공시 횟수 공시 시기

15. 그밖에교육여건

및학교운영상태

등에 관한 사항

가. 장학금 수혜 현황 중, 고, 특 연 1회 4월

… (중략) …

파. 삭제 <2015.3.17.>

하. ICT 현황 중, 고, 특 연 1회 4월

[그림 Ⅵ-14] ‘교육관련기관의 정보공개에 관한 특례법 시행령’의 개정 전후(안)

실행 전략 2-② 표집 학교에 대한 지원 강화

표집학교로선정되면, 컴퓨터보유정보보고를시작으로시행을마무리하기까지표집

학교의 학교 책임자, 감독 교사, 학생은 모두 많은 수고를 하게 된다. 따라서 학교 차원,

교사 차원, 학생 차원에서 표집 학교에 대한 지원을 강화하는 방안을 모색하고자 한다.

학교차원에서볼때, PISA를안정적으로실시하기위한컴퓨터가충분하지않은경우

관련기자재를바로구입하는것은쉽지않다. 따라서당해연도검사는국가센터에서지급

하는컴퓨터혹은노트북으로실시하더라도, 추후에컴퓨터를교체할수있는예산을지원

하는 등의 방법을 고려해볼 수 있다. 이로써 표집 학교에 선정되는 것에 대한 긍정적인

효과를 기대할 수 있기 때문이다. 교육부와 미래창조과학부가 발표한 「SW중심사회를


168

위한인재양성추진계획」에따르면2018년부터전체초등학교․중학교의컴퓨터, 통신망

등학교인프라실태를 2015년하반기에전수조사하고연차별지원계획을마련할것이다

(미래창조과학부, 교육부 보도자료, 2015. 7. 21.). 따라서 연차별 지원 계획을 수립할 때

PISA표집학교로선정된중학교와고등학교에대한예산을우선적으로확보할것을규정

하는내용을포함한다면표집학교의컴퓨터교체예산을안정적으로확보할수있을것이다.

또한학생복지기금(장학금, 도서구입등) 명목의교부금을지급하거나학교평가항목

에 정부 정책 기여 측면의 가산점을 부여함으로써 학교에 행․재정적 지원을 강화하는

방안도 모색해 볼 수 있다.

교사차원에서는수당및지원을현실화하는방안이필요하다. 표집학교의학교책임자

와 감독 교사는 검사 실시 전에는 검사를 실시할 날짜를 국가센터와 협의하여 결정하고

학교, 교사, 학부모설문의진행상황을확인하며학생이예비검사를진행하기전프로그램

이완벽하게구동되는지를사전점검해야한다. 예비검사당일에는갑작스레발생하는기

술적문제등에적절히대응해야하고검사후에는관련된자료를빠짐없이회송해야한다.

이와같은일련의작업은검사당일소요되는약3시간 30분(PISA 2015 예비검사기준)에

대한 수당으로 지급하기에는 적지 않은 작업량이다. PISA 2015 본검사의 질 관리 참관

보고서에서도 ‘PISA시행업무가과다함’, ‘학교책임자, 감독교사는물론컴퓨터관리자에

게도수당을지급하고수당을증액할 필요가있음’이라고명시하고있다(구자옥외, 2015b,

p.70). 따라서검사전후에소요되는시간을고려할때 5만원으로책정되어있는감독교사

수당은 현실화되어야 한다. 또한 결손된 수업의 보강을 위한 수당 지급 방안이 있을지에

대해서도 논의가 전개되어야 할 것이다.

한편국제본부에서제공되는학교책임자및감독교사용지침서외에 USB 구동 사전

검사를포함하는검사실행과정업무흐름도자료를만들어시행학교교사의업무이해도

를 높이고 효과적으로 시행이 진행될 수 있도록 해야 한다. ‘학생들에게 평가 전에 PISA

시행에 관한 주의사항을 알려주는 PPT 자료 제공이 필요함’, ‘학교 책임자 및 감독 교사

지침서의내용이많아서간소화해야할필요있음’과같은 PISA 2015 본검사질관리자의

참관보고결과(구자옥외, 2015b, p.70)를고려할때, 국제본부에서제공되는지침서외에

국내용시행지침보조자료(예: 파워포인트자료, 업무흐름도자료)를제작하여단위학교

에서 교사가 적절히 활용할 수 있도록 배포하는 것이 필요하다.

학생차원에서는3시간30분에걸쳐진행되는긴시간을고려하고학생들에게쉬는시간동안


169

의간식제공을제안한학교책임자의인터뷰내용(구자옥외, 2015b, p.70)을반영하여PISA

2018 예비검사시행 시 기념품외에 학생에게빵, 음료수 등과같은 좀 더실질적인 지원이

필요하다.

정책 제언 3PISA 2018 혁신적 영역 평가에 대비 및 주도적 역할을 수행하기 위한

체제를 구축한다.

실행 전략 3- ① 지속적 변화에 대비하기 위한 국제본부 및 참여국과의 긴밀한 협력관계 유지

PISA는각주기별혁신적영역을도입하고있으며, PISA 2018의혁신적영역으로는글

로벌역량이도입되었다. 그러나Ⅱ장2절, Ⅲ장 2절, Ⅳ장 1, 2, 3절에서논의한바와같이

글로벌역량영역평가에대한국제본부의계획수정이거듭되고있다. 가장두드러진특징

은다른영역과달리PISA 2018 예비검사시행에혁신적영역이포함되지않으며별도의

글로벌역량파일럿으로대체되고글로벌역량파일럿에서컴퓨터기반이아닌지필기반

평가로 시행된다는 것으로, 사실상 혁신적 영역 평가의 대대적인 변화를 의미하고 있다.

따라서이와같은불안정한상황에서국내PISA연구팀이국제본부의이론적, 방법론적,

현실적논의의흐름과다른국가들의동향및대응등의정보를파악하는것이매우중요하

다. 구체적으로는국내‧외본부와의긴밀한협력관계를지속적으로유지하는가운데다른

국가의동향등국내‧외적상황변화와담론을점검할수있도록PGB와SDG, NPM회의에

의 참가를 적극 지원한다.

예를들면, 2016년 3월 NPM회의의경우 PISA 2015 결과분석및보고서발행계획과

PISA 2018 예비검사시행준비를위한표집, 영역별평가틀, 설문과관련된종합적인내용

으로 5일간의연수가실시되었다. 본연구팀에서는연구팀장과두명의연구팀원이참석

하였으며 동 시간에 진행되는 각 영역별 세션에 담당 연구원이 참여할 수 있었다. 또한

국가별컨설팅세션중에는의견을개진하는기회가되었다. PISA 2015 결과와관련하여

PISA 2012 대비 차이가 큰 문항에 대한 추가 분석을 요청하였고 표집 방법과 관련하여

우리나라학교의컴퓨터보급대수를고려하여학교당표집학생수의변경을요청하였으

며, 평가도구번역및번안과관련하여기존에추이문항으로사용했던문항을분석할때

사용할 수 있도록 개발한 프로그램에대한 설명을 들었고, 다국어 번역 시스템 XLIFF와

관련하여워드문서출력기능추가를요청하는등우리나라의특수상황이나요구를제시


170

할 수 있었다. 이와 같은 활동은 PISA 2018 예비검사 및 본검사의 안정적 기반 마련을

위해필수적인것이었다. 뿐만아니라글로벌역량과관련된국제본부와참여국간의의견

차이, PISA 2018 글로벌역량관련각국의동태및불참국을파악하는등의공식‧비공식적

인 정보를 수집할 수 있었고, 이는 우리나라의 입장과 역할 등에 있어 의사결정을 할 때

참고할 수 있는 중요한 정보가 되었다.

따라서PISA 2015의결과분석과PISA 2018 시행과관련된국제본부와참여국의전문가를

포함하는네트워크를구축하고활용하고, 매주기마다새롭게도입되는혁신적영역에대한

대비의기회가될수있도록2016년하반기와후속국제회의에각영역담당자들의참석을

지속적이고적극적으로지원해야한다. 2016년제1회NPM회의당시우리나라의경우3명의

인원만이참가한반면, 일본의경우총9명의인원을파견한바있음을주지할필요가있다.

실행 전략 3- ②우리나라의 위상과 역할 제고를 위한 국내 PISA 연구팀 내 혁신적 영역 전담

연구원 확보 및 전문가 인력풀 확대

PISA 2018에서혁신적영역으로처음도입되는글로벌역량은이전PISA주기의혁신

적 영역(PISA 2012 문제해결력, PISA 2015 협력적 문제해결력) 도입 때와는 달리 전례

없는 대대적인 변화를 지속적으로 겪고있다. 이에 2016년 일정상에도큰 변화가있었고,

긴박한 일정 속에서 국내 PISA 연구팀은 글로벌 역량 파일럿을 위한 시나리오 및 문항

개발에참여중이다. 더불어아래와같이 2016년 12월이후까지도매우긴박한일정속에

강도 높은 업무가 예상된다.

<표 Ⅵ-3> 글로벌 역량 파일럿을 위한 향후 일정

일시 업무 주관

2016년 10월 1일-12월 9일 선정된 시나리오의 하위문항 결정 ETS + + + 개발국

2016년 12월 10일-

2017년 1월 9일선정된 시나리오와 문항 재검토 및 수정 개발국

2017년 1월 10일-1월 25일 개발국의 의견 고려 및 대처 + ETS

2017년 1월 26일-2월 8일 파일럿을위한글로벌시나리오와문항최종확정 + ETS

2017년 2월 9일-3월 27일 시나리오 및 문항 번역 완료 + 개발국 + 시행국

2017년 3월 28-4월 17일 문항 책자 준비 및 파일럿 시행 준비 + 시행국 +

2017년 4월-6월 글로벌 역량 파일럿 시행 + 시행국

출처: OECD(2016b, pp.9-10)의 국제본부 일정과 본 연구진의 일정 중 일부를 재구성함.


171

국내 PISA 연구팀은 현재 국제적으로 비공개로 진행되고 있는 글로벌 역량 파일럿을

위한 글로벌 역량 파일럿 평가도구(시나리오와 문항) 개발국 중 하나로 참여하고 있다.

이와같이본연구팀의능동적이고적극적인역할수행은우리나라및한국교육과정평가원

의위상제고라는점에서매우고무적인것으로평가되며이와같은주도적인역할을지속

할 수 있도록 교육부 및 한국교육과정평가원뿐 아니라 다양한 차원의 관련 기관, 학계,

학교 등과의 협력체계를 강화할 수 있도록 지원이 필요하다.

구체적으로위의계획된일정에맞추어글로벌역량파일럿과PISA 2018 본검사에대비

할수있도록국내PISA연구팀내전담연구원을필수적으로확보한다. 우리나라는글로

벌역량 파일럿참여의 장단점을고려하여교육부와 협의(전문가협의회, 2016.9.8)하였고,

이를통해글로벌역량파일럿에참여하는것으로결정하여참여의사를국제본부에전달

하였다. 2016년 10월 19일 PGB 회의에서 우리나라는 파일럿 대상국가로 선정되었다

(OECD, 2016m). 글로벌역량을제외한타영역만예비검사에서시행하는경우44개학교

의 1,986명의학생이표집대상이지만글로벌역량파일럿시행의경우경우에는 9개교의

333명이추가적으로필요하여총 53개교의 2,319명이표집대상이될것이다. 이는 2016년

도에도 국내 PISA 연구팀 내 읽기, 수학, 과학, 글로벌 역량 등 각 영역별 전담 연구원이

배치된 것과 같이 2017년에도 글로벌 역량영역의안정적 시행 준비를위한전담 연구원

최소 1인의확보가필수적임을의미한다. 유사한근거로향후에도매주기달라지는혁신

적 영역을 안정적으로 대비하기 위해 전담 연구원을 지속적으로 확보할 것을 제안한다.

동시에 2016년 10월현재확보된40명정도의글로벌역량전문가인력풀도최소 100명

정도될수있도록양적‧질적으로확대하여글로벌역량평가도구(시나리오및문항) 개발,

검토, 번역및번안시활용할수있는전문가인력풀을구축한다. 특히국내PISA연구팀과

원활한 가운데 건설적인 협력이 될 수 있도록 학계, 비정부단체, 글로벌 역량 관련 기관

담당자, 교사등이모두포함하되, 글로벌역량이복합적이며다학문적인새로운영역이라

는 점을각별히인식하여인력풀의단순한양적 확대를 위한특정영역이나교과 전문가

중심의 구성을 지양하고 다양한 분야의 전문가가 포함될 수 있도록 확대한다.


172

3. 장단기 추진 계획 및 기대효과

정책 추진 방향 제언에 따른 실행 전략 단기 중기 장기

1

디지털 시대의 읽기ㆍ쓰기역량 강화

1-① 학교급별 연계를 고려한 다문서 읽기 교육의 내용 구안

1-② 컴퓨터 기반의 자료 통합형 쓰기를 학교교육에 도입

2-① 실생활 과제 수행을 위한 시나리오 기반 읽기ㆍ쓰기 연계 교육

프로그램 개발

2-② 관련 수업 사례 공유 및 소통을 위한 웹사이트 구축

2

미래 사회대비를 위한글로벌 역량교육 강화

1-① ‘글로벌 역량 교육정책 협의체’ 운영

1-② 글로벌 역량 관련 문헌적, 실증적, 경험적 연구 수행

2-① ‘글로벌 역량 교육 지원을 위한 TF’ 운영

2-② 교사 공동체 기반의 온라인 교사 연수 실시

3

ICT를 활용한 국내 대규모 평가체제의

선진화

1-① 복합적 능력과 수행기술을 파악하기 위한 평가문항 제시 방법의

전환

1-② 행렬표집설계 도입 및 자동 검사배정 방법의 적용

1-③ 서답형 문항 채점과 점수 산출 과정의 자동화 구현

2-① 온라인 포탈 구축 및 운영

2-② 비 색인어 검색이 가능한 기출 문항 검색 시스템의 도입

4

제도적ㆍ인적 지원 강화를 통한 PISA

시행의 안정성 확보

1-① 국제 학업성취도 평가 담당 연구사 및 장학사 대상 PISA

워크숍의 정례화

1-② 국제 학업성취도 평가 관련 교사 직무 연수 과정 개설 및 운영

2-① 표집 학교의 ICT 관련 정보의 안정적 수집을 위한 ‘교육

관련기관의 정보공개에 관한 특례법 시행령’ 개정

2-② 표집 학교에 대한 지원 강화

3-① 지속적 변화에 대비하기 위한 국제본부 및 참여국과의 긴밀한

협력관계 유지

3-② 우리나라의 위상과 역할 제고를 위한 국내 PISA 연구팀 내 혁신적

영역 전담 연구원 확보 및 인력풀 확대

[그림 Ⅵ-15] 정책 추진 방향별 실행 전략의 장단기 계획

앞서제시된네가지정책추진방향에대한실행전략을효과적으로수행하기위해서는

시급하게추진해야할과제와중장기적으로추진할과제를구분하고실제로이를구현하기


173

위한 노력을 진행해야 한다. 각 정책방향에 대한 실행전략을 단기, 중기, 장기 계획으로

구분하여 제시하면 [그림 Ⅵ-15]와 같다.

네 가지 정책 추진 방향에 속한 실행 전략을 통해 기대하는 효과는 다음과 같다.

첫째, 디지털 시대의 읽기‧쓰기 역량 함양을 위해 본 연구에서는 제시한 실행 전략은

미래역량함양을위한국제수준의최신교육방향을담고있는PISA 2018 연구성과를

바탕으로 우리 교육에 적용 가능한 구체적 실행 계획을 제시한 것으로서, 디지털 시대에

적극적으로대응하는읽기쓰기교육과창의적‧비판적의사소통능력을갖춘인재육성을

기대해 볼 수 있을 것이다.

둘째, 글로벌역량교육강화를위해제시한실행전략들은 ‘글로벌교육정책차원에서

교육 2030 대비를위한거시적‧장기적차원의글로벌역량교육정책 수립’과 ‘학교현장의

글로벌역량교육의활성화‧내실화를위한실제적교수학습방법구안’에대한실행계획이

며이를통해21세기역량을갖춘글로벌창의융합인재의핵심역량인글로벌역량교육의

방향성이 설정되고 교육과정 반영 방안과 내용과 방법 마련 등을 위한 근본적인 토대가

마련될것이다. 또한현시점까지도확정되지못한글로벌역량의인지영역도입에능동적

으로대비하고, 이과정에서우리나라가PISA의혁신적인영역에서주도적인역할을함으

로써 연구 정보와 연구 참여 기회가 확보될 것으로 기대된다.

셋째, 국내 대규모 평가 체제의 선진화를 위해 PISA 2018 평가 체제에서 효율적으로

구현되고 있는 ICT 기반 평가 시스템을 도입하여 문항 개발 포탈 운영, 학생과의 상호

작용이 가능한 문항 개발, 행렬표집 설계, 자동 채점 등의 실행 전략 적용하면 문항 개발

과정의효율성과안정성을제고를통해미래 사회에적합한평가체계를구축할수 있다.

또한 온라인 포탈의도입은문서의생성 및열람에대한기록을 통해 보안성을 향상시킬

수있고문항출제를위한합숙본부를분산하여운영할수있는장점이있다. 그밖에PISA

의기출문항검색방법을적용하면문항의검색시간과새로제작된문항을DB에추가하

는 작업 시간을 단축할 수 있을 것으로 기대된다.

넷째, 교육부 및 시‧도 교육청 담당자와의 워크숍을 정례화하고 PISA 관련 교사 직무

연수과정을개설하여운영함으로써PISA관련전문인력을양성하고PISA의안정적시

행기반을강화할수있을것이다. 또한교육정보화와관련된공시정보를확대하고표집

학교에대한지원을강화함으로써PISA의성공적인시행을도모하는것은물론교육정보

화 관련 국내 교육 환경 개선에 기여할 수 있으리라 기대된다.

참고문헌

175

참 고 문 헌

강영혜, 문성빈, 우선영, 구민선, 조홍선. (2012). 국제표준교육분류(ISCED 2011)에 기

초한 한국의 교육체제분류 개정 연구. 한국교육개발원 연구자료 CRM

2012-161.

교육과학기술부. (2012a). 2012년도 과학기술인재 육성‧지원 시행계획 수립발표. 교육

부 보도자료(2012. 1. 9.).

교육과학기술부. (2012b). ‘생각하는 힘을 키우는 수학’, ‘쉽게 이해하고 재미있게 배우

는 수학’, ‘더불어 함께하는 수학’의 구현을 위한「수학교육 선진화 방안」발

표. 교육부 보도자료(2012. 1. 10.).

교육부. (2015a). 제 2차 수학교육 종합 계획 발표-배움을 즐기는 수학교육 추진-. 교

육부 보도자료(2015. 3. 16.).

교육부. (2015b). 2015 개정교육과정 총론. 교육부 고시 제 2015-80호 [별책 1](교육부

고시 제 2015-74호의 부칙 개정).

교육부. (2015c). 2015 개정 국어과 교육과정.

http://nice.re.kr/mobile.kri.org4.docSavePrint.do?&orgNo=10059943. (2016. 10. 2. 검색)

교육부. (2015d). 2015 사회과 교육과정. 교육부 고시 제 2015-74호 [별책 7].

교육부. (2015e). 2015 영어과 교육과정. 교육부 고시 제 2015-74호 [별책 14].

교육부, 한국교육개발원. (2015a). 2015 교육통계 분석자료집-유․초․중등 교육통계

편. 한국교육개발원 통계자료 SM 2015-04-01.

교육부, 한국교육개발원. (2015b). 2015 교육통계연보. http://kess.kedi.re.kr/index.

교육부. (2016). 국민행복 분야 업무보고. 교육부 보도자료(2016. 1. 19.).

구자옥, 김성숙, 임해미, 박혜영, 한정아. (2015a). OECD 국제 학업성취도 평가 연

구: PISA 2012 상위국 성취 특성 및 교육맥락변인 영향력 비교 분석. 한국

교육과정평가원 연구보고 RRE 2015-6-1.

구자옥, 김성숙, 임해미, 박혜영, 한정아. (2015b). OECD 국제 학업성취도 평가 연구:

PISA 2015 본검사 시행 보고서. 한국교육과정평가원 연구보고 RRE 2015-6-2.

길혜지. (2016). 학교급별 교육정보화 인프라 현황. 교육정책포럼, 276, 35-39.


176

김경희, 김수진, 김남희, 박선용, 박효희, 정송. (2008). OECD 학업성취도 국제비교 연

구(PISA 2009): 예비검사 시행 보고서. 한국교육과정평가원 연구보고 RRE

2008-3-2.

김경희, 김수진, 김미영, 김남희, 김선희, 강민경, 박효희, 정송. (2009). OECD 학업성취

도 국제비교 연구(PISA 2009): 본검사 시행 보고서. 한국교육과정평가원 연구

보고 RRE 2009-7-1.

김경희, 시기자, 김미영, 김부미, 옥현진, 임해미, 윤미선, 박소영, 정송, 정지영, 박희재. (2010).

OECD 학업성취도 국제비교 연구(PISA 2009) 결과 보고서. 한국교육과정평

가원 연구보고 RRE 2010-4-2.

김경희, 김완수, 김동영, 김종훈, 김미경, 최인봉, 신동광, 박인용, 이인호, 신진아, 최인선,

송미영, 한정아, 김희경, 한경택, 박거도. (2013). 컴퓨터 기반 국가수준 학업성

취도 평가 도입방안. 한국교육과정평가원 연구보고 CRE 2013-5.

김명화, 박은아, 최혁준, 김경성. (2011). 컴퓨터 기반 문제해결 능력 평가 모형 개발.

한국교육과정평가원 연구보고 RRE 2011-5.

김미혜. (2008). 개념 망 구조를 기반으로 한 문항 관리 시스템의 설계 및 구현. 한국

콘텐츠학회논문지, 8(11), 412-425.

김성숙, 김희경, 서민희, 성태제. (2015). 교수학습과 하나되는 형성평가. 서울: 학지사.

노국향, 최승현, 신동희, 이소영, 김인하. (2000). 2000년 OECD 학업성취도 국제비교

연구 : 읽기 수학 과학. 영역을 중심으로. 한국교육과정평가원 연구보고 RRE

2000-8-1

노은희, 이상하, 임은영, 성경희, 박소영. (2014). 한국어 서답형 문항 자동채점 프로그

램 개발 및 실용성 검증. 한국교육과정평가원 연구보고 RRE 2014-6.

노은희, 송미영, 성경희. (2015). 한국어 문장 수준 서답형 문항 자동채점 프로그램 개

발 및 적용. 한국교육과정평가원 연구보고 RRE 2015-9.

미래창조과학부, 교육부. (2015). SW중심사회를 위한 인재양성 추진계획 발표. 미래창

조과학부‧교육부 보도자료(2015. 7. 21.).

박경미, 권오남, 박선화, 박만구, 변희현, 강은주, 서보억, 이환철, 김동원, 김선희, 안종선. (2014).

문‧이과 통합형 수학과 교육과정 재구조화 연구. 교육부.

박은아, 이문복, 이상하, 최혁준, 서민희, 권영빈. (2012). 컴퓨터 기반 문제해결 능력

참고문헌

177

평가도구 개발 및 시범 적용. 한국교육과정평가원 연구보고 RRE 2012-5-1.

박혜영. (2016). 디지털 시대, 쓰기 평가의 특징 분석-미국 ‘학력평가 2.0’의 쓰기 영역

을 중심으로. 국어교육, 154, 199-227.

백윤수, 박현주, 김영민, 노석구, 박종윤, 이주연, 정진수, 최유현, 한혜숙, 최종현. (2012).

융합인재교육(STEAM) 실행방향 정립을 위한 기초연구. 한국과학창의재단

2012-12.

송미영, 임해미, 박혜영, 최혁준, 손수경. (2013). PISA 2012 결과로 본 우리나라 학생

들의 수학‧읽기‧과학 성취 특성. 한국교육과정평가원 홍보자료 PIM 2013-14.

송미영, 최혁준, 임해미, 박혜영, 손수경. (2013). OECD 국제 학업성취도 평가 연구:

PISA 2015 예비검사 시행 기반 구축. 한국교육과정평가원 연구보고 RRE

2013-6-2.

송미영, 김성숙, 구자옥, 임해미, 박혜영, 한정아, 손수경, 양서영. (2014). OECD 국제

학업성취도 평가 연구: PISA 2015 예비검사 시행 결과 보고서. 한국교육과정

평가원 연구보고 RRE 2014-4-3.

이근호, 곽영순, 이승미, 최정순. (2012). 미래 사회 대비 핵심역량 함양을 위한 국가

교육과정 구상. 한국교육과정평가원 연구보고 RRC 2012-4.

이미경, 김경희, 박선화, 조지민, 시기자, 최성연. (2005). 2005년도 학업성취도 국제 비

교 연구(PISA/TIMSS). 한국교육과정평가원 연구보고 RRE 2005-2-1.

이미경, 박선화, 손원숙, 남민우. (2006). 2006년도 OECD 학업성취도 국제 비교 연구

(PISA): PISA 2006 본검사 시행. 한국교육과정평가원 연구보고 RRE 2006-3.

이성회, 김미숙, 정바울, 박영, 조윤정, 송수희. (2015). 세계시민교육의 실태와 실천과

제. 한국교육개발원 연구보고 RR 2015-25.

이정우, 조지민, 박상복, 김현수, 이미미. (2015). 한-아세안 세계시민교육 국제 비교 연

구. 한국교육과정평가원 연구보고 CRE 2015-2.

장의선, 이화진, 박주현, 강민경, 설규주. (2015). 글로벌 시티즌십 함양을 위한 교과별

교수학습 지원 방안-중학교 국어과와 사회과를 중심으로. 한국교육과정평가원

연구보고 RRI 2015-4.

조지민, 김수진, 이상하, 김미영, 옥현진, 임해미, 박연복, 이민희, 한희진, 손수경. (2011).

2011년 국제 학업성취도 평가 연구(PISA/TIMSS): PISA 2012 예비검사 시행


178

보고서. 한국교육과정평가원 연구보고 RRE 2011-4-2.

조지민, 동효관, 옥현진, 임해미, 정혜경, 손수경, 배제성. (2012). OECD 국제 학업성취

도 평가 연구: PISA 2012 본검사 시행보고서. 한국교육과정평가원 연구보고

RRE 2012-3-1.

진경애, 남명호, 김명화, 오상철, 김민정, 주형미, 신효필, 반재천, 김수경. (2006). 서답

형 문항 자동채점 프로그램 도입방안 연구(I). 한국교육과정평가원 연구보고

RRI 2006-6.

진경애, 이문복, 신동광, 조보경, 박태준, 이동주, 송민영, 김성혜, 김연희, 민호기, 박용

효, 박재은, 배주경, 안태연, 주헌우. (2012). 2011 국가영어능력평가시험(2/3

급) 연구 보고서 1-국가영어능력평가시험 출제 및 채점-. 한국교육과정평가원

연구보고 CRE 2012-5-1.

통계청. (2014). 한국표준교육분류 고시 내용(총설 및 분류항목표). 통계청 고시 제

2014-13호.

황혜정, 나귀수, 최승현, 박경미, 임재훈, 서동엽. (2016). (2016 개정 증보판) 수학교육

학신론. 서울: 문음사.

Akar, B. (2016). Developing a monitoring instrument to measure extracurricular

and non-formal activities which promote GCED and ESD. Paper

commissioned for the Global Education Monitoring Report 2016. Education

for people and planet: Creating sustainable futures for all. UNESCO.

Aleves, C., Gierl, M., & Lai, H. (April, 2010). Using automated item generation to

promote principled test design and development. Paper presented at the

American Educational Research Association in Denver, CO.

Autor, D., Levy, F., & Murnane, R. (2003). The skill content of recent

technological change: An empirical exploration. The Quarterly Journal of

Economics, 118(4), 1279-1333.

Barrett, M., Byram, M., Lazar, I., Mompoint-Gaillard, P., & Philippou, S. (2013).

Developing Intercultural Competence through Education. Strasbourg: Council

of Europe.

Becker, M., McElvany, N., & Kortenbruck, M. (2010). Intrinsic and extrinsic

참고문헌

179

reading motivation as predictors of reading literacy: a longitudinal study.

Journal of Educational psychology, 102, 773-785.

Bennett, R. E., & Zhang, M. (2016). Validity and Automated Scoring. On the

Technology and testing, 142-173. New York: Routledge.

Binkley, M., Erstad, O., Herman, J., Raizen, S., Ripley, M., & Rumble, M. (2012).

Defining 21st century skills. In P. Griffin, E. Care, & B. McGaw (Eds.),

Assessment and teaching of 21st century skills, 17-66. New York: Spring.

Breithaupt, K., Ariel, A., & Hare, D. R. (2010). Assembling and inventory of

multi-stage adaptive testing systems. In van der Linden & Glas (Eds.), On

the Elements of adaptive testing, 247-266. New York: Springer.

Breithaupt, K., & Hare, D. (2016). Automated test assembly. On the Technology

and testing, 128-141. New York: Routledge.

Butcher, P. G., & Jordan, S. E. (2010). A comparison of human and computer

marking of short free-text student responses. Computers & Education, 55,

489-499.

Common Core State Standards Initiative. (2010). Introduction to the Common Core

State Standards for English Language Arts & Literacy, On the

History/Social Studies, Science, and Technical Subjects. Retrieved 3, April,

2016, from http://www.corestandards.org.

Council of Europe. (2016). Securing Democracy through Education: The development

of a Reference Framework of Competences for Democratic Culture. (11-12

April 2016) 25th session. Brussels, Belgium.

Deardorff, D. K. (2014). Some Thoughts on Assessing Intercultural Competence.

Retrieved 5, April, 2016, from https://illinois.edu/blog/view/915/113048.

Fraillon, J., Schulz, W., & Ainley, J. (2016). 2009 Asia Report: Civic knowledge

and attitudes among lower-secondary students in 5 Asian Countries. IEA.

Amsterdam.

Gierl, M. J., & Haladyna, T. (2013). Automatic item generation: Theory and practice.

New York: Routledge.


180

Griffin, P., Care, E., & McGaw, B. (2012). The changing role of education and

school. In P. Griffin, E. Care, & B. McGaw (Eds.), Assessment and teaching

of 21st century skills, 1-15. New York: Spring.

Hoskins, B. (2016). Towards the development of an international module for

assessing learning in GCED and ESD: A critical review of current

measurement strategies. Paper commissioned for the Global Education

Monitoring Report 2016. Education for people and planet: Creating

sustainable futures for all. UNESCO.

International Bureau of Education. (2016). Global Monitoring of GCED & ESD:

Themes in School Curricula. Paper commissioned for the Global Education

Monitoring Report 2016. Education for people and planet: Creating

sustainable futures for all. UNESCO.

Irvine, S. H., & Kyllonen, P. C. (2002). Item generation for test development.

Hillsdale, NJ: Erlbaum.

John de Jong & Nima Jude. (2016). FT Questionnaires Overview. Paper presented at

the meeting of the National Project Managers in Prague, Czech. Unpublished

manuscript.

Kim, S., & Han, J. (2016). Comparative Analysis of Educational Contextual Variable

Effects on Problem Solving Among Top-performing Countries from the PISA

2012. Paper presented at Korea-OECD 20th Anniversary International

Conference in Seoul, Korea.

Klauda, S. L., & Guthrie, J. T. (2014). Comparing relations of motivation,

engagement, and achievement among struggling and advanced adolescent

readers. Reading and Writing, 28, 239-269.

Klieme, E., Pauli, C., & Reusser, K. (2009). The Pythagoras study: Investigating

effects of teaching and learning in Swiss and German mathematics

classrooms. On The power of video studies in investigating teaching and

learning in the classroom, 137-160.

Kolen, M. J. (2006). Scaling and norming. In R. L. Brennan, On the Educational

참고문헌

181

measurement, 4, 156-186.

Lewis, J. K. (2013). Ethical Implementation of an Automated Essay Scoring (AES)

System: A Case Study of Student and Instructor Use, Satisfaction, and

Perceptions of AES in a Business Law Course. Retrieved 20, May, 2015,

from http://digitalcommons.

salve.edu/cgi/viewcontent.cgi?article=1047&context=fac_staff_pub.

Luecht, R. (April, 2007). Assessment engineering in language testing: From data

models and templates to psychometrics. Paper presented at the annual

meeting of the National Council on Measurement in Education in Chicago,

IL.

Mol, S. E., & Bus, A. G. (2011). To read or not to read: A meta-analysis of print

exposure from infancy to early adulthood. Psychological Bulletin, 137,

267-296.

OECD (2000). Measuring student knowledge and skills : The PISA The PISA 2000

Assessment of Reading, Mathematical and Scientific Literacy. Paris: Author.

OECD (2004). OECD Handbook for internationally comparative education statistic:

concepts, standards, definitions and classifications. Paris: Author.

OECD (2009). PISA 2009 Assessment framework: Key competencies in reading,

mathematics and science. Paris: Author.

OECD (2012). PISA 2009 Technical Report. Paris: Author.

OECD (2013). PISA 2012 Assessment and analytical framework: Mathematics, reading,

science, problem solving and financial literacy. Paris: Author.

OECD (2014). PISA 2012 Results: What students know and can do - Student

performance in Mathematics, Reading and Science (Vol. I). Paris: Author.

OECD (2015a). Feedback on second draft of PISA 2018 Framework for Global

Competence. Unpublished manuscript.

OECD (2015b). PISA 2015 Released field trial cognitive items. Unpublished

manuscript.

OECD (2015c). PISA 2018 Draft Global Competence Framework. Paper presented at


182

the 40th meeting of the PISA Governing Board in Munich, Germany (26-28,

October, 2015). Unpublished manuscript.

OECD (2015d). PISA 2018 Draft Reading Literacy Framework. Paper presented at the

40th meeting of the PISA Governing Board in Munich, Germany (26-28,

October, 2015). Unpublished manuscript.

OECD (2015e). PISA 2018 Global Competence Framework. (September, 2015).

Unpublished manuscript.

OECD (2016a). Global competency for an inclusive world. Paris: Author.

OECD (2016b). Global Competence(GC). PISA 2018: Assessment Implementation

Plan. (May, 2016). Unpublished manuscript.

OECD (2016c). High-level overview of the strategy to develop the assessment

framework and assessment instruments for the PISA 2018 Innovative

Domain-Global Competence. (April, 2016). Unpublished manuscript.

OECD (2016d). Information to contributors for the development of scenarios for the

assessment of Global Competence in PISA 2018. (July, 2016). Unpublished

manuscript.

OECD (2016e). OECD proposal for the PISA 2018 Global Competence assessment.

Draft document. (July, 2016). Unpublished manuscript.

OECD (2016f). PISA 2015 Assessment and analytical framework: Science, Reading,

Mathematic and Financial Literacy. Paris: Author.

OECD (2016g). PISA 2018 assessment design-addendum design without global

competence. Paper presented at the meeting of the National Project

Managers in Prague, Czech (14-18, March, 2016). Unpublished manuscript.

OECD (2016h). PISA 2018 field trial sampling guidelines: Overview. Unpublished

manuscript.

OECD (2016i). PISA 2018 field trial sampling guidelines: Sampling task 1.


OECD (2016j). PISA 2018 field trial sampling guidelines: Sampling task 2.


참고문헌

183

OECD (2016k). PISA 2018 field trial sampling guidelines: Sampling task 5 and

KeyQuest. Unpublished manuscript.

OECD (2016l). PISA 2018: Final Draft Global Competence Framework. (March, 2016).


OECD (2016m). PISA 2018 Global Competence Assessment Instruments

Development Progress Report. Paper presented at the 42nd meeting of the

PISA Governing Board in Brasilia, Brazil (17-19, October, 2016).


OECD (2016n). PISA 2018 Integrated Design. Paper presented at the meeting of the

National Project Managers in Prague, Czech (14-18, March, 2016). Unpublished

manuscript.

OECD (2016o). PISA 2018 Materials preparation: Field Trial Questionnaires.


OECD (2016p). PISA 2018 National Project Manager manual. Unpublished

manuscript.

OECD (2016q). PISA 2018 Questionnaire Framework. Unpublished manuscript.

OECD (2016r). Proposal for the revision of the framework for the innovative domain

in PISA 2018-Global Competence. (April, 2016). Unpublished manuscript.

OECD (2016s). Table of possible topics for scenarios. (July, 2016). Unpublished

manuscript.

OECD (2016t). Translation of questionnaires. (April, 2016). Unpublished manuscript.

Ontario (2016). 21st Century Competencies: Foundation Document for Discussion.

Retrieved 25, October, 2016, from

http://www.edugains.ca/resources21CL/About21stCentury/21CL_21stCenturyC

ompetencies.pdf.

Park, H., & Ku, J. (2016). International Comparative Analysis on Performance

Characteristics of Korean Students: Focusing on Reading and Science in

PISA 2012 Results. Paper presented at Korea-OECD 20th Anniversary

International Conference in Seoul, Korea.


184

Rouet, J. F., & Britt, M. A. (2011). Relevance processes in multiple document

comprehension. In M. T. McCrudden, J. P. Mgliano, & G.Schraw (Eds.),

On the Text relevance and learning from text, 19-52.

Sabatini, J., O’Reilly, T., Halderman, L., & Bruce, K. (2014). Broadening the scope

of reading comprehension using scenario-based assessments: Preliminary

findings and challenges. International Journal Topics in Cognitive

Psychology, 114, 693-723.

Schulz, W., Fraillon, J., Ainley, J., Losito, B., & Kerr, D. (2008). International Civic

and Citizenship Education Study: Assessment Framework. Retrieved

25, October, 2016, from http://research.acer.edu.au/civics/10.

Schulz, W., Fraillon, J., Ainley, J., Losito, B., & Kerr, D. (2010). Initial Findings from

the IEA International Civic and Citizenship Education Study. IEA.

Amsterdam.

Schulz, W., Fraillon, J., Ainley, J., Losito, B., & Agrusti, G. (2016). Assessment

Framework. IEA Intranational Civic and Citizenship Education Study 2016.

IEA. Amsterdam.

Tamassia, C. (2016). Agenda: Project Overview and Progress Report(Session 1).

Paper presented at the first meeting of the PISA 2018 National Project

Managers. Unpublished manuscript.

UNESCO (2012). International Standard Classification of Education 2011. Retrieved 26,

August, 2016, from

http://www.uis.unesco.org/Education/Documents/isced-2011-en.pdf.

UNESCO (2014). Global Citizenship Education: Preparing learning for the

challenges of the 21st century. Retrieved 25, October, 2016, from

http://unesdoc.unesco.org/images/0022/002277/227729e.pdf.

UNESCO (2015a). Education 2030: Towards inclusive and equitable quality

education and lifelong learning for all. In World Education Forum, Incheon,

Seoul. Retrieved 25, October, 2016, from

http://www.uis.unesco.org/Education/Documents/incheon-framework-for-acti

on-en.pdf.

참고문헌

185

UNESCO (2015b). Global Citizenship Education: Topics and Learning Objectives.

Paris: Author.

Willms, J. D. (2006). Learning divides: Ten policy questions about the performance

and equity of schools and schooling systems. Montreal: UNESCO Institute for

Statistics.

Zhang, M. (2013). Contrasting Automated and Human Scoring of Essays. R&D

Connections, 21.

https://www.smarterbalanced.org/wp-content/uploads/2015/09/Digital-Library-Modul

es.pptx. (2016. 8. 3. 검색)

http://www.schoolinfo.go.kr/. (2016. 8. 3. 검색)

관련 자료 목록

[워크숍]

워크숍. (2016. 8. 1.) 글로벌역량평가시나리오및문항출제를위한Working Group 워크숍(1차).

글로벌교육본부-2658.

워크숍. (2016. 8. 18-19.) (Working Group 워크숍(2차) 개최. 글로벌교육본부-2861.

워크숍. (2016. 8. 24.) Working Group 워크숍(3차) 개최. 글로벌교육본부-2911.

워크숍. (2016. 8. 25-26.) PISA 2018 예비검사문항검토워크숍실시(안) 보고. 글로벌교육본부

-2851.

[전문가 협의회 목록]

전문가협의회. (2016. 8. 1.) 글로벌 역량 평가 관련 정책 논의에 대한 전문가협의회 회의록.


전문가협의회. (2016. 8. 2-3.) 글로벌 역량 1차 워크숍 후속 전문가협의회: 시나리오 개발에

대한 전문가 협의회 회의록. 글로벌교육본부-2688.

전문가협의회. (2016. 8. 3.) 글로벌 역량 시나리오 제출본 심의에 대한 전문가협의회 회의록.


전문가협의회. (2016. 8. 30-31.) 글로벌역량시나리오및문항 2차제출본검토에대한전문가


186

협의회 회의록. 글로벌교육본부-2872.

전문가협의회. (2016. 9. 8.) 글로벌 역량 파일럿 예비검사 참여 여부에 대한 재논의 필요성

제안 사항 회의록(온라인 및 전화통화 협의).

전문가협의회. (2016. 9. 20-23.) 글로벌역량Batch 1, 2 검토및수정보완에대한전문가협의회

회의록. 글로벌교육본부-3275.

전문가협의회. (2016. 10. 18-20.) 글로벌역량정책제언서면자문결과. 글로벌교육본부-3684.

전문가협의회. (2016. 10. 21-25.) 글로벌역량정책제언서면자문결과. 글로벌교육본부-3767.

ABSTRACT

187

ABSTRACT

OECD Programme for International Student Assessment:

Establishing a foundation of PISA 2018 Field Trial

Jaok Ku

Sungsook Kim

Hye-Won Lee

Seongmin Cho

Hye-young Park

This study is conducted to establish a foundation for implementing PISA 2018 Field

Trial. PISA, OECD Programme for International Student Assessment, evaluates the

basic competence that a future citizen should possess of 15-year-old students from more

than seventy economies and provides surveys regarding educational context variables.

In chapter Ⅰ presents the need, purpose, content and method of this research. The

research purpose is to establish a foundation for implementing PISA 2018 Field Trial

through a process of assessment framework analysis, test items development,

translation, review, implementation design, sampling schools for PISA 2018 Field Trial,

and to seek ways to enhance our education system. To this end, meticulous efforts have

been made for a literature review on preceding research, analysis of the proposals

concerning the implementation design, conferences with experts for the review of

assessment framework and test items development, and workshops for Reading, Global

Competence, and item reviews for surveys.

Chapter Ⅱ formulates the definition and assessment framework for respective

literacies. Reading in PISA 2018 evaluates students' reading literacy in the mode of


188

computer based assessment and mathematics and science examines the level of the

development of progress for each subject. Global Competence, an innovative domain

newly adopted in PISA 2018, investigates the readiness of the students as democratic

citizens of the world. PISA attempts to elaborate on the characteristics of students'

achievement by conducting surveys to students, parents, teachers, and schools, which

maintains the framework of PISA 2015 yet while additional items on the main domain

of Reading and Global Competence are developed.

Chapter Ⅲ provides plans for the design and organisation of assessment instruments

for PISA 2018 Field Trial. All of the PISA 2018 assessment, except for the surveys

for parents, is computer-based and the items are designed into two categories;

trend-items for Reading, Mathematics and Science, and new items for Reading.

Meanwhile, surveys for students, parents, teachers, schools, educational experience, and

ICT are used in order to gather information regarding educational context variables and

to explore the development of noncognitive skills. The surveys mainly focus on Reading

and Global Competence.

Chapter Ⅳ discusses the development, process of the assessment instruments for

PISA 2018 Field Trial. The items developed for Reading have been reviewed three times

(Batch 1∼3) based on the criteria of item validity, suitability, and completeness. XLIFF

translation file and TAS were mainly used for the translation and adaptation. Global

Competence was excluded from PISA 2018 Field Trial and Pilot Field Trial for Global

Competence is going to be implemented instead. Accordingly, a new assessment

instrument for Global Competence is at present being developed. Korea is participating

in the development of assessment instrument for the Pilot Field Trial for Global

Competence. At the end, 10 sets of scenarios and following items were developed by

the Korea PISA research team considering the characteristics of Global Competence

as an integral and interdisciplinary area which encompasses diverse components. The

review process of Global Competence included firstly, re-review of Korea's assessment

ABSTRACT

189

instrument thatwas modified by the international headquarters, and secondly, review

of two batches (Batch 1, 2) submitted by all developing countries. The same principles

applied for the Reading was also applied during the reviewing process of Global

Competence. Trends items and newly developed Reading and Global Competence

survey items were investigated to examine educational context variables. Suitability for

the educational systems of each country, survey participants, cultural or racial

sensitivity issues, and errors in translation were all taken into account during the review

process.

Chapter Ⅴ focuses on the sampling procedure of PISA 2018 Field Trial. The sampling

process is executed on the basis of standardised guidelines provided by the OECD. PISA

2018 Field Trial is expected to be conducted from May 8 until June 9, 2017, with

“students born from March 1, 2001 to February 29, 2002" as its target population. Three

stratification variables, namely school level, program, and urbanization were taken into

consideration. The TCS(target cluster size) of students for schools were set to

forty-eight and not only special-education schools and international schools but also

small-sized schools were excluded from the list of sample schools for the Field Trial.

A total of 1,920 students from forty schools are selected according to the ratio of the

number of final sampling population schools based on the stratification variables.

On the basis of the characteristics of PISA 2018 analysed, this study provides four

major principal directions for policy enforcements in order to enhance assessment. The

directions are first, strengthening reading and writing skills in the digital era by

integrating computer-based multiple-text reading and data synthesized writing

education; second, enhancement of Global Competence education to prepare for the

future; third, advancement of large-scale assessment system by utilizing ICT at the

national level; and fourth, securing the stability of implementing PISA 2018 by

strengthening institutional and human resources. Political suggestions, along with

specific and detailed implementation strategies, are given for each policy direction.

부 록

1. 읽기 문항 검토 결과 제출 양식

2. 읽기 문항 개발에 대한 국제본부 지침

3. 번역 일관성 검토를 위한 국제본부 제출 양식

4. MemoryLn 사용법

5. 문항 풀이 방법 안내

6. 문항 번안 양식(TAS)

7. 설문 번안 양식(QAS)

부 록

193

[부록 1] 읽기 문항 검토 결과 제출 양식


194

[부록 2] 읽기 문항 개발에 대한 국제본부 지침

1. Computer-scored item

Unit name Xxx

Item stem xxx

Response options

(indicate correct answer(s) with boldface

and underline)

Xxx

Item type

(indicate selection with boldface and

underline)

Multiple choice

Multiple selection

Innovative

Process


underline)

Single-Text

Scan and locate

Represent literal and gist meaning

Integrate and generate inferences

Assess quality and credibility

Reflect on content and form

Multiple-Text

Search and Select relevant text


Corroborate, identify and handle conflict

Source (if multiple texts in unit)

2. Human-scored constructed response item

Unit name Xxx

Item stem Xxx

Coding Guide

Maximum Score Points (indicate selection with boldface and

underline): 1, 2

Description of Code (#): Xxx

․ Sample response 1


Description of Code (0): Xxx



Process


underline)

Single-Text

Scan and locate

Represent literal and gist meaning


Assess quality and credibility

Reflect on content and form

Multiple-Text

Search and Select relevant text


Corroborate, identify and handle conflict

Source (if multiple texts in unit)

부 록

195

[부록 3] 번역 일관성 검토를 위한 국제본부 제출 양식

1. Consistency tools


196

2. List of recurring instructions

Country: KOR Language: KOR

COMMENT English lll-KOR version

Question

Introduction

Introductory prompt. Read the introduction. Then click on the NEXT arrow.

Introductory prompt. Read the information below.

Opening statement (upper left) for all units that

include a stimulus were xxxx is the name of the

stimulus.

Note that the stimulus name will either be a

HEADING or a HEADING and Subheading.

• If a stimulus has a HEADING, the directions should

say: Refer to “Heading” on the right.

• If a stimulus has a HEADING and a Subheading,

the directions should say:

Refer to “Subheading” on the right.

Refer to "xxxx" on the right.

Refer to the flyer on the right.

Refer to the short story on the right.

Refer to both chats on the right.

Refer to the table on the right.

Single Selection multiple-choice Click on a choice to answer the question.

Click on the choices in the table to answer the question.

Click on one or more boxes to answer the question.

? Remember to select one or more boxes.

Items where students are asked to respond and then

explain their answer.

Click on a choice and then type an explanation to answer to the

question.

PISA2018FT - List of recurring instructions (cognitive material)

HEADINGS

USER INSTRUCTIONS

Opening statement but without a specific reference

to the title of the stimulus.

Complex multiple choice in a table

(table with several statements, each associated with

"Yes/No" or "True/False" response options)

부 록

197

[부록 4] MemoryLn 사용법

◦ MemoryLn

각주기별로용어, 문장등의일관성을유지하기위하여cApStAn은온라인번역데이터

베이스를 개발하였고, 그 속에 PISA 2015 인지적 영역 문항들의 번역 아카이브를 넣어

구성하였다. 이 어플리케이션을 MomoryLn이라고 한다.

MemoryLn은 사용자로 하여금 해당국의 번역 아카이브를 통해 주기별로 되풀이되는

지시문을찾아List of recurring instructions의빈칸을채우고, PISA 2018 포탈사이트의

Translation Kit 내부의 Adaptation style guide를 확인할 수 있도록 한다.

해당데이터베이스에접근하기위하여사용자는사용설명서에링크된MemoryLn 사이

트로직접접속할수도있고, PISA 포탈에접속한뒤More links에들어가MemoryLn에

간접적으로 접속할 수도 있다.

◦ MemoryLn으로부터 번역 아카이브를 얻는 방법

1. List of recurring instructions에서 원래의 영문본에 해당되는 글을 복사하여 Source

expression field(원본 삽입란)에 붙여 넣는다.

2. 번역 목표어를 선택하고 ‘search’ 버튼을 클릭하여 원본삽입란에 넣은 영문본이 PISA 2015

본검사 당시 어떻게 번역되었었는지를 확인한다. (검색하는 방식에는 b, c, w, r, p의 5가지

방식이 있지만, ‘정확한 문구’를 검색하는 ‘p’를 선택하는 것을 추천한다.


198

3. 검색 결과 File name 열에 해당 원문의 출처가 나온다.

4. Source language에는해당원문이들어있는전체문장이나오므로, 만일번역본이다를경우

해당원문의문장을토대로Target Language 열에서어떤번역본을선택할지결정할수있다.

부 록

199

구분 영어본 한국어본

Click on the NEXT arrow to continue. 계속하려면 [다음화면] 버튼을클릭하시오.

화면 이동 및

진행 상황 확인

Moving around and tracking progress 화면 이동 및 진행 상황 확인

Click on the NEXT arrow to return to a next

question or unit.

[다음 화면] 버튼을 클릭하면 다음 문제나

단위문항으로 이동합니다.

Click on the BACK arrow to return to a previous

question.

[이전 화면] 버튼을 클릭하면 이전 문제로

되돌아갑니다.

The arrow will be grey when you are not able

to go back.

되돌아갈수없는경우에는화살표버튼이

회색으로 바뀝니다.

답하는 방법

How to answer 답하는 방법

Click on your choice. The circle will be filled.선택한것을클릭하시오. 동그라미안이채

워집니다.

To change your answer, click on a different

choice.답을변경하려면, 다른것을골라클릭하시오.

Click on one or more boxes. A checkmark will

appear in each selected box.

한 개 또는 그 이상을 클릭하시오. 선택한

박스에 체크 표시가 나타날 것입니다.

To change your answer, click again on any box

you have selected. Th checkmark will erase.

답을변경하려면, 선택했던박스를다시클

릭하십시오. 체크표시가지워질것입니다.

Click on a graph, picture or sentence and it will

highlight.

그래프나 그림, 문장을 클릭하면 강조되어

나타날 것입니다.

To change your answer, click again on the graph,

picture or sentence. The highlight will erase.

답을변경하려면, 그래프나그림, 문장을다

시클릭하시오. 강조표시가지워질것입니다.

Click inside the box and type your answer. 글상자 안을 클릭하고, 답을 입력하시오.

Use the Backspace key to erase.입력한 것을 지우려면 백스페이스

(Backspace) 키를 사용하시오.

Use a drop-down menu 드롭다운 메뉴를 사용하기

Click and hold the mouse button down over the

arrow.

화살표위에서마우스버튼을클릭하여누

른 상태에서 아래로 이동하시오.

Continue to hole the mouse button down and

scroll to select a choice.

마우스버튼을누른채위아래로움직여서

선택지를 고릅니다.

Release the mouse button. The choice you

selected will display at the top of the menu.

마우스버튼을놓으면, 선택한답이메뉴의

상단에 나타납니다.

To change your answer, repeat the steps above

to select a different choice.

답을변경하려면, 위의단계를반복하여다

른 선택지를 고릅니다.

Use drag and drop 드래그하여 놓기

Click and hold the mouse button down over the

item you want to drag.

마우스 버튼으로 드래그하고자 하는 항목

을 클릭하여 누르시오.

Holding the mouse button down, drag the item

to a location.

마우스버튼을누른채로선택한항목을원

하는 위치로 드래그하시오.

[부록 5] 문항 풀이 방법 안내

1. 영역 공통 지시문


200


답하는 방법

Release the mouse button. The item will snap

to the selected location.

마우스버튼을놓으면, 선택한항목이원하

는 위치에 놓이게 됩니다.

To change your answer, drag the item back to

its original location.

답을변경하려면, 해당항목을원래의위치

로 드래그하시오.

긴 글: 페이지

이동하기

Longer Texts: Paging 긴 글: 페이지 이동하기

Click on the page number to move between pages. 이동하고자 하는 쪽 번호를 클릭하시오.

You can go back and forth between pages at

any point in the unit.

단위문항 내에서는 어느 위치에서든지 앞

뒤 페이지로 이동할 수 있습니다.

긴 글:

스크롤하기

Longer Texts: Scrolling 긴 글: 스크롤하기

Drag the scrollbar up and down, or Click on the

up and down arrows.

스크롤바를 위아래로 드래그하거나, 위아

래 화살표를 클릭합니다.

여러 개의 글:

탭 사용하기Multiple Texts: Using Tabs 여러 개의 글: 탭 사용하기

웹사이트:

내비게이션 바

사용하기

Websites: Using Navigation Bars 웹사이트: 내비게이션 바 사용하기

공식, 분수, 수학

기호 입력하기

Entering formulas, fractions and math symbols. 공식, 분수, 수학 기호 입력하기

Click on a button to enter a fraction or math

symbol.

분수나수학기호를입력하려면해당버튼

을 클릭하시오.

To change your answer, use the Backspace key

to erase.

답을 변경하려면, 백스페이스(Backspace)

키를 사용하여 지우시오.

Type your answer using the number and letter

keys.

숫자키나문자키를이용하여답을입력하

시오.

Click on the fraction or symbol you want to

insert.

입력하고자하는분수나수학기호를클릭

하시오.

Click on OK and the information you have

entered will display in the large answer box.

[확인] 버튼을클릭하면방금입력한내용이

답 입력창인 큰 글상자에 나타납니다.

To change a fraction or symbol in the answer

box, double click on it.

답 글상자에입력한분수나기호를바꾸려

면 그것을 더블 클릭하시오.

수학 공식표 Formula sheet 수학 공식표

시뮬레이션이

있는 문제풀기

Working with simulations 시뮬레이션이 있는 문제풀기

Drag the slider bar along the scale. 눈금을따라슬라이더바를드래그하시오.

Or click on a number on the scale. 또는 눈금의 숫자를 클릭하시오.

실제 문제 연습 Click on a choice to answer the question. 물음에대한답을하나선택하여클릭하시오.

부 록

201


오른쪽 화면의

지문을

읽고 응답하기

Refer to ... on the right. Click on a choice to

answer the question.

오른쪽 화면의 ...을/를 읽고, 물음에 대한

답을 하나 선택하여 클릭하시오.

Refer to ... on the right. Type your answer to the

question.

오른쪽 화면의 ...을/를 읽고, 물음에 대한

답을 입력하시오.

Refer to the ... on the right. Click on a choice

and then type an explanation to answer the

question.

오른쪽화면의 ...을/를읽고, 예, 아니요중

에서하나를클릭한후그이유를입력하시

오.

다음 화면 버튼

클릭

Read the introduction. Then click on the NEXT

arrow.

아래의내용을읽은후 [다음화면] 버튼을

클릭하시오.

Click on the NEXT arrow to read ... ....을/를읽기위해 [다음화면] 버튼을클릭

하시오.

Click NEXT to see the first question.첫번째문제를보기위해 [다음화면] 버튼


Click on the NEXT arrow to read the first source.첫번째자료를읽기위해 [다음화면] 버튼


Click on the NEXT arrow to read the second

source.

두번째자료를읽기위해 [다음화면] 버튼


탭을 활용하여

모든 자료 읽기

Refer to all three sources on the right by clicking

on each of the tabs.

오른쪽화면의각탭을클릭하여세자료를

모두 읽으시오.

Refer to both sources on the right by clicking on

each of the tabs.

오른쪽화면의각탭을클릭하여두자료를

읽으시오.

표나 문장을

선택하여

응답하기

Click on the choices in the table to answer the

question.

물음에대한답을표에서선택하여클릭하

시오.

Click on a sentence in either the ... or ... to

answer the question.

물음에대한답을하기위해 ... 또는 ... 속의

문장 하나를 클릭하시오.

선택하여

응답하기

Remember to select one or more boxes. 한 개 또는 그 이상을 선택하시오.

Click on a total of three choices to answer the

question.물음에 대한 답을 총 세 개 클릭하시오.

드래그하여

응답하기Use drag and drop to answer the question. 물음에 대한 답을 드래그하여 놓으시오.

둘 중 하나를

선택하여

응답하기

Click on a choice and then type an explanation

to answer the question.

둘중에서하나를클릭한후그이유를입

력하시오.

Click on either True or False for each statement.각각의 내용에 대해 참 또는 거짓 중에서

선택하여 클릭하시오.

Click on either Yes or No for each statement.각각의내용에대해예또는아니요중에서

선택하여 클릭하시오.

Click on either Yes or No and give a reason for

your choice.

예또는아니요중에서하나를골라클릭하

고 그 이유를 설명하시오.

Click on either Yes or No and give an example

from the text to support your answer.

예 또는 아니요를 클릭하고, 그 이유를 뒷

받침할수있는예를본문에서찾아서제시

하시오.

2. 읽기 문항 지시문


202

[부록 6] 문항 번안 양식(TAS)

부 록

203

[부록 7] 설문 번안 양식(QAS)