MENGEMBANGKAN INSTRUMEN UJIAN KOMPREHENSIF DI PROGRAM

STUDI PENDIDIKAN FISIKA MELALUI COMPUTER BASED TEST (CBT)

Iwan Permana Suwarna

Program Studi Pendidikan Fisika, FITK UIN Syarif Hidayatullah Jakarta

Email: iwan.permana.suwarna@uinjkt.ac.id

Abstrak

Inovasi kinerja bidang pendidikan dan pengajaran merupakan salah satu prasyarat universitas

menuju World Class University (WCU). UIN Syarif Hidayatullah Jakarta dan Program Studi

pendidikan fisika belum banyak membuat inovasi dibidang ini. Penggunaan papper based test

selama ini telah banyak mengeluarkan dana cukup banyak, boros waktu, tingkat akurasi rendah

serta kurang meberikan informasi yang rinci kompetensi yang dibutuhkan di abad 21.

Permasalahan ini terjadi saat ujian komprehensif di tingkat Program Studi. Penelitian ini

bertujuan menghasilkan instrumen ujian komprehensif dalam bentuk computer based test

(CBT) yang mengukur kemampuan higher order thinking skill (HOTs) pada materi fisika dan

pendidikan. Metode penelitian yang digunakan development research, dengan prosedur

pengembangan dari Van de Akker. Tahap penelitian: preliminary research, prototyping stage,

summative evaluation, systematic reflection and documentation. Penelitian berhasil

menghasilkan instrumen komprehensif dalam bentuk CBT dengan: validitas 0,87 (sangat

sesuai); reliabilitas 0,75 (tinggi); tingkat kesukaran 0,50 (sedang); efektivitas 94,63 (sangat

efektif); dan kepraktisan 0,87 (sangat praktis). Instrumen mampu memberikan informasi:

kemampuan berpikir pada tingkatan lebih tinggi, dan keterampilan proses sains mahasiswa.

Instrumen mampu menghemat biaya pengeluaran 60%. Pengukuran HOTs pada materi fisika

dan pendidikan belum dilakukan oleh program studi lain terutama dalam bentuk CBT.

Penelitian ini berkontribusi dalam mengurangi pengeluaran dana operasional pelaksananaan

ujian. Berkontribusi dalam mendeskripsikan kualitas output, memperkirakan keberhasilan

proses perkuliahan, memperkirakan efektifitas kurikulum, merancang kriteria penerimaan

mahasiswa baru. Instrumen yang dihasilkan dapat dijadikan sebagai instrumen standar di

Program Studi pendidikan fisika dalam mengontrol kualitas output secara cepat, efektif, dan

efisien. Penggunaan inovasi dalam pengajaran ini menunjang pencapaian UIN Syarif

Hidayatullah Jakarta menjadi world class university.

Kata kunci: computer based test (CBT), tes komprehensif berpikir tingkat tinggi (higher order

thinking), keterampilan proses sains, penelitian pengembangan (development

research).

DEVELOPMENT COMPREHENSIVE INSTRUMENTS

THROUGH COMPUTER BASED TEST AT

PHYSICS EDUCATION DEPARTMENT

Iwan Permana Suwarna

Physics Education Departement, FITK UIN Syarif Hidayatullah Jakarta

Email: iwan.permana.suwarna@uinjkt.ac.id

Abstract

This study was conducted to produce a comprehensive instrument based on computer (CBT)

which is able to measure all aspects of competence (cognitive, affective, and psychomotor) at

Physics Education Department. The method used development research, the development

following Van de Akker (2006) procedure: preliminary research, prototyping stage, summative

evaluation, systematic reflection and documentation. The instrument was developed have the

validity 0, 87 (very appropriate), the reliability 0, 75 (high), level of difficulty 0, 50 (medium),

effectiveness 0, 95 (very effective), and practicability 0, 87 (very practical). The instrument is

able to provide information: higher order thinking skills, science process skills, and scientific

attitudes of students. Developed CBT instrument successfully reduce 60% of fund spending

and technical streamlining test 93, 33%. Test data can be used as lecture evaluation, curriculum,

etc. The developed instrument can be used as an innovation to improve education performance

in an orderly, quick, effective, and efficient moving towards the achievement of world Class

University.

Keywords:

Computer based test (CBT), a comprehensive test, higher order thinking skill, science process

skills, scientific attitudes, research development.

I. PENDAHULUAN

Universitas Islam Negeri (UIN) Syarif Hidayatullah Jakarta merupakan salah satu

universitas Islam di Indonesia yang sedang memerispkan diri menuju universitas berkelas dunia

(world class university). Kementerian Agama Republik Indonesia (Kemenag RI) pada 2014

telah mendorong UIN Jakarta dan Malang menjadi universitas berkelas dunia. Dorongan dari

Kemenag RI ternyata telah di inisiasi UIN Jakarta sejak 2012. Rencana Strategis (renstra) UIN

Jakarta 2012-2026 telah menunjukkan melalui visi nya: “UIN Syarif Hidayatullah Jakarta

menjadi universitas kelas dunia dengan keunggulan integrasi keilmuan, keIslaman, dan

keIndonesiaan”.

Beberapa komponen harus dilengkapi untuk menuju universitas berkelas dunia. Lima

komponen yang harus dilakukan, salah satunya: melakukan inovasi kinerja dalam bidang

pendidikan dan pengajaran (Kemenag, 2014). Renstra UIN Jakarta (2012-2026) telah

mengarahkan kinerja pendidikan dan proses perkuliahan ke arah proses pembelajaran yang

efektif, efisien, dan inovatif untuk menghasilkan pendidikan yang bermutu. Pendidikan yang

bermutu dapat meningkatkan mutu dan kompetensi lulusan. UIN Jakarta sejauh ini belum

memiliki lembaga khusus yang bisa menjamin kualitas / mutu dan kompetensi lulusannya.

Kualitas dan kompetensi lulusan hanya dapat terukur oleh sebuah instrumen yang berkualitas

(Hazelkorn. E, 2013). Kompetensi lulusan dapat diketahui sebelum mereka lulus, melalui tes

atau ujian komprehensif. Apakah kompetensi yang telah diukur sudah dapat mendeskripsikan

kompetensi mahasiswa yang sebenarnya? Apakah kompetensi yang telah diukur tersebut benar-

benar esensial? Apakah pengukurannya sudah holistik?

Proses pengukuran kompetensi lulusan telah dilakukan oleh program studi selama ini.

Program Studi Pendidikan Fisika Fakultas Ilmu Tarbiah dan Keguruan (FITK) UIN Jakarta

telah melakukan pengukuran sejak 2007 – 2015. Instrumen yang digunakan belum pernah di

analisis / belum diketahui validitas, reliabilitasnya, tingkat kesukaran, maupun daya bedanya

sehingga tidak bisa dijadikan sebagai standar pengukuran kompetensi. Konsep pengukuran

yang sudah dilakukan belum mengarah kepada kompetensi yang seharusnya dimiliki oleh

seorang mahasiswa di perguruan tinggi. Instrumen belum bisa menujukkan kompetensi utuh

yang harus dimiliki mahasiswa (kognitif, afektif, dan psikomotorik). Kompetensi yang diukur

hanya aspek kognitif saja, itu pun pada tingkatan terendah atau dasar (lower order thinking).

Pengukuran baru dilakukan pada ranah kognitif (C1-C3), ranah kognitif C4- C6 atau (higher

order thinking) belum diukur. Presiden Obama mengemukakan bahwa kemampuan berpikir

orde lebih tinggi merupakan kompetensi yang sangat penting bagi lulusan perguruan tinggi,

karena dibutuhkan dalam kehidupan, baik di lingkungan pekerjaan, maupun masyarakat

terutama pada abad ke 21 (Darling-Hammond, L., Adamson, F, 2013). Kompetensi yang

diperlukan untuk abad 21 terdiri atas kemampuan: berpikir kritis, kreatif, berkomunikasi dan

berkolaborasi. Kompetensi tersebut adalah keterampilan berpikir orde lebih tinggi (Kemdikbud,

2016). Kemampuan berpikir dasar / rendah umumnya dimiliki oleh siswa sekolah dasar sampai

menengah. Hasil studi Programme for Internasional Students Assessment (PISA) yang diikuti

oleh Indonesia sejak tahun 2000 sampai 2015 menunjukkan hasil yang memprihatinkan.

Kurang dari 1% siswa Indonesia yang masuk dalam kategori mahir (mampu mengkritisi dan

mengomunikasikan ide berdasarkan fakta-fakta ilmiah dan pengetahuan yang dimiliki).

Kemampuan mahir ini sangat dibutuhkan dalam kompetensi abad 21, siswa kita sedikit yang

menguasainya (Kemdikbud, 2016). Bagaimana dengan kemampuan mahir pada mahasiswa

perguruan tinggi? Sudahkah mereka memilikinya?

Banyak kendala teknis yang terjadi saat pelaksanaan ujian komprehensif maupun

setelah nya. Salah satu kendala pada saat ujian: rendahnya tingkat kejujuran / sportivitas peserta

ujian / mahasiswa, mahasiswa sering melakukan kerja sama terutama jika soal yang diujikan

hanya satu tipe saja. Alokasi waktu untuk mengerjakan ujian sulit dikontrol baik memulai atau

mengakhirinya. Pada saat di mulai waktu yang digunakan peserta banyak terbuang untuk

pendistribusian soal dan lembar jawaban. Pada saat mengerjakan soal, melingkari atau

menghapus jawaban yang dianggap belum benar oleh peserta akan menghabiskan waktu.

Kendala setelah ujian, diantaranya: lamanya waktu pengoreksian ujian yang bergantung pada

jumlah peserta, semakin banyak peserta maka semakin lama juga hasil ujian itu diketahui;

tingkat konsentrasi korektor tidak selalu dalam kondisi prima sehingga aka berpengaruh pada

tingkat ketelitian dalam mengoreksi akibatnya tidak memberikan nilai yang faktual;

subjektivitas dan emosi korektor akan mempengaruhi hasil koreksian, bisa lebih tinggi atau

lebih rendah. Validitas instrumen dan informasi lainnya mengenai kemampuan peserta ujian

tidak cepat di ketahui. Dokumentasi hasil ujian kadang-kadang tidak tersimpan dengan baik.

Universitas berkelas dunia seperti Harvard dan Stanford telah memiliki instrumen yang

berkualitas tinggi untuk mengukur kualitas kompetensi para mahasiswanya. Penggunaan

instrumen yang berkualitas tinggi menurut Stanford Center for Opportunity Policy in Education

dapat menunjukkan visi universitas, sistem penilaian universitas mampu memberikan informasi

untuk memperkuat proses perkuliahan (Darling-Hammond, L., Adamson, F, 2013). Untuk

menghasilkan instrumen yang berkualitas tinggi harus dirancang, dan dipersiapkan secara

serius. Menurut Arikunto (2004), instrumen yang berkualitas tinggi memiliki persyaratan:

validitas, reliabilitas, objektivitas, praktikabilitas, dan ekonomis yang tinggi. Pemanfaatan

teknologi informasi dan komunikasi (TIK) dapat memfasilitasi persyaratan tersebut.

Sayangnya, pemanfaatan TIK di UIN Syarif Hidayatullah Jakarta khususnya di bidang

akademik belum banyak di optimal dan dimanfaatkan.

Salah satu ciri universitas berkelas dunia adalah proses akademik selalu melibatkan TIK

untuk mendapatkan kinerja akademik yang efektif dan efisien. Salah satu usaha yang bisa

dilakukan UIN ke arah itu adalah dengan membuat e-assessment / digital instrument untuk

mengukur kompetensi mahasiswa dengan bantuan komputer atau computer based test (CBT).

Inovasi di bidang akademik ini dapat membantu meningkatkan efektivitas kinerja para

pengelola dan civitas akademika. Usaha seperti ini telah dilakukan oleh universitas-universitas

terbaik dunia seperti Harvard, dan Stanford University yang memiliki ranking 1 dan 2 dunia

Academic Ranking World Universities (ShanghaiRanking, 2015).

Tes berbasis komputer memberikan banyak manfaat bagi para penggunanya. Beberapa

manfaat diantaranya: lebih ekonomis karena paper less, tidak menggunakan kertas dalam

mengerjakan ujian sehingga lebih ramah lingkungan. Membantu menjaga lingkungan dan

mendukung program go green. Menghemat biaya produksi soal dan pasca ujian yaitu tahap

pengoreksian dan dokumentasi / tidak diperlukan biaya tambahan untuk biaya korektor, karena

sistem dapat mengoreksi sendiri. Hal ini tentunya bisa mengurangi mata anggaran di sektor ini,

dan dialihkan ke sektor lain yang masih kurang. Dosen / korektor / pengelola Program Studi

bisa menginterpretasikan hasil ujian dengan cepat, menganalisis soal dan jawaban mahasiswa.

Fairness mengizinkan peserta mengerjakan dan mengakhiri tes dengan waktu yang sesuai

dengan alokasi waktu yang disediakan, menghilangkan pekerjaan logistik pendistribusian soal

kepada peserta yang bisa menyita waktu. Hasil tes dapat tersimpan dengan aman (Lin, 2006).

Peserta dapat langsung mengetahui hasil tes dengan segera setelah tes berakhir sehingga peserta

dapat melakukan perencanaan tindak lanjut. Program Studi dapat memantau kualitas akademik

para mahasiswanya. Berdasarkan pertimbangan-pertimbangan ini, peneliti ini dilakukan.

II. KAJIAN TEORI DAN PENGUJIAN HIPOTESIS

Tes adalah cara penilaian yang dirancang dan dilaksanakan kepada seseorang pada

waktu dan tempat tertentu serta dalam kondisi yang memenuhi syarat-syarat tertentu yang jelas,

yang digunakan untuk mengukur keterampilan, pengetahuan, kecerdasan, kemampuan, atau

bakat yang dimiliki seseorang atau kelompok. Tes merupakan bagian integral dari pengukuran

(pengukuran merupakan proses pengumpulan data atau informasi yang dilakukan secara

objektif yang menghasilkan data kuantitatif). Fungsi dari tes adalah sebagai alat ukur. Tingkat

kemampuan / pengetahuan / sikap seseorang dapat diukur dengan sebuah tes. Tes digunakan

sebagai indikator penilaian dalam mengukur berbagai aspek

Berdasarkan fungsi dan tujuannya tes dibagi menjadi: tes kecepatan (speed test); tes

kemampuan (power test); tes hasil belajar (achievement test); tes kemajuan belajar (gains/

achievement test); tes diagnosis (diagnosis test); tes formatif; dan tes summative. Tes Tertulis

digunakan untuk mengukur pemahaman / pengetahuan tentang fakta, pengertian, keterampilan

menerapkan prinsip-prinsip dasar, memecahkan masalah-masalah nyata dan keterampilan

menjelaskan ide-ide secara terurai dengan bebas. Tes tertulis bisa berbentuk: uraian, objektif,

atau karya tulis. Pada penelitian ini tes tertulis yang digunakan adalah tes objektif berupa:

benar-salah, pilihan ganda, dan menjodohkan. Tes pilihan ganda (multiple choice) adalah

bentuk tes objektif berupa butir soal yang jawabannya dipilih dari alternatif jawaban yang

diberikan. Alternatif jawaban berkisar empat dan lima. Soal tes pilihan ganda dapat digunakan

untuk mengukur hasil belajar yang lebih kompleks (ingatan, pengertian, aplikasi, analisis,

sintesis, dan evaluasi).

Tes pilihan ganda memiliki beberapa variasi bentuk, diantaranya:

a. Jenis Distracters, yaitu bentuk tes pilihan ganda dimana setiap pertanyaan atau pernyataan

mempunyai jawaban yang benar. Peserta tes bertugas memilih satu jawaban yang benar.

b. Jenis analisis hubungan antara hal, yaitu bentuk tes pilihan ganda yang dapat melihat

kemampuan peserta tes dalam menganalisis hubungan antara pernyataan dan alasan (sebab-

akibat).

c. Jenis variasi negatif, yaitu bentuk tes pilihan ganda dimana setiap pertanyaan dan

pernyataan mempunyai beberapa pilihan jawaban yang benar, tetapi disediakan satu

kemungkinan jawaban yang salah. Peserta tes bertugas memilih jawaban yang salah

tersebut.

d. Jenis variasi berganda, yaitu bentuk tes pilihan ganda yang meminta untuk memilih

beberapa kemungkinan jawaban yang benar, tetapi ada satu jawaban yang paling benar.

Peserta tes bertugas memilih jawaban yang paling benar.

e. Jenis variasi yang tidak lengkap, yaitu bentuk tes pilihan ganda dimana pertanyaan atau

pernyataan yang memiliki beberaapa kemungkinan jawaban yang belum lengkap. Peserta

tes bertugas mencari satu jawaban yang paling benar dan melengkapinya.

Tes berbasis komputer Computer Based Test (CBT) merupakan tes yang

penyelenggaraannya menggunakan bantuan komputer. Karakteristik tes ini sama dengan tes

konvensional. Perbedaannya hanya terletak pada teknik penyampaian (delivery) soal yang tidak

lagi menggunakan kertas (paperless) untuk naskah soal maupun lembar jawaban. Koreksi dan

penskoran dilakukan oleh komputer secara langsung. Peserta bisa mengerjakan dan melihat

butir soal dari nomor pertama sampai dengan terakhir (Suprananto, 2008). Ada empat bentuk

model tes berbasis komputer dan internet yang dikembangkan ITC, yaitu: open mode, managed

mode, supervised mode, dan controlled mode. CBT dapat dilaksanakan di laboratorium

komputer yang telah ter koneksi dengan jaringan intranet atau internet.

Ada banyak keuntungan melakukan CBT, diantaranya: mengizinkan melakukan tes di

saat yang tepat bagi peserta, mengurangi waktu untuk pekerjaan penilaian tes dan membuat

laporan tertulis, menghilangkan pekerjaan logistik seperti mendistribusikan, menyimpan dan

tes menggunakan kertas, peserta tes dapat langsung mengetahui hasil tes. Sedangkan

kerugiannya yaitu, adanya ketergantungan dengan peralatan seperti komputer, membutuhkan

lab komputer yang memadai (hardware dan software) (Crisp, 2011). Mekanisme pelaksanaan

CBT dapat dilakukan dengan beragam cara, diantaranya: secara offline, semi offline, dan online

Pead, D. (2012).

Hipotesis dalam penelitian ini adalah “Apakah instrumen ujian komprehensif berbasis

CBT dapat mengukur kompetensi mahasiswa pada Program Studi Pendidikan Fisika dengan

efektif, praktis, dan dapat diterima oleh mahasiswa dan pengelola Program Studi?”

III. METODOLOGI

Metode penelitian yang digunakan adalah pengembangan (development studies /

development research) dengan pendekatan siklik. Metode pengembangan bertujuan

menghasilkan prinsip desain yang dapat digunakan untuk memecahkan permasalahan di bidang

pendidikan (Akker, 2006). Tahapan pengembangan yang digunakan mengikuti tahapan

pengembangan dari Van de Akker (2006). Tahapan pengembangan Van de Akker terlihat pada

gambar 1 .

Penelitian di lakukan di Program

Studi Pendidikan Fisika UIN Syarif

Hidayatullah Jakarta Jakarta. Penelitian

dilakukan selama empat bulan, mulai

Juli sampai Oktober 2016.

Populasi penelitian ini adalah

seluruh mahasiswa Program Studi

Pendidikan Fisika UIN Syarif

Hidayatullah Jakarta semester sembilan

ke atas. Sampel penelitian adalah

mahasiswa angkatan 2010, 2011 dan

angkatan 2012. Subjek penelitian di pilih

secara purposive. Nomogram Harry

King mengemukakan untuk tingkat

kesalahan 0,05 atau 5 % maka besar

sampel diperoleh 70% dari populasi.

Jumlah sampel minimal penelitian ini

adalah 42 orang. Jumlah sampel dalam

penelitian yang dilakukan adalah 63

orang untuk ujian komprehensif fisika

dan 83 orang konten pendidikan.

Gambar 1 Bagan Prosedur Penelitian

Pengembangan instrumen ujian

komprehensif mahasiswa melalui CBT

pada Program Studi Pendidikan Fisika

Subjek penelitian pada masing-masing tahapan:

a. Preliminary research: manajemen program studi / staf / pengelola ujian komprehensif, dan

dosen pembuat naskah soal (fisika dan pendidikan).

b. Prototyping stage: ahli pemrograman, ahli pembelajaran, dan ahli konten fisika, mahasiswa

yang pernah beberapa kali meningkuti ujian komprehensif (mahasiswa 2010, dan 2011)

c. Summative evaluation: staf dan pengelola program studi, mahasiswa angkatan 2010, 2011

yang belum lulus komprehensif dan mahasiswa angkatan 2012.

Instrumen yang digunakan pada tiap tahapan dalam penelitian pengembangan ini

disajikan pada tabel 1.

Tabel 1 Instrumen dan Penggunaannya

Tahapan

Penelitian Instrumen Penelitian

Preliminary

research

- Wawancara / interview untuk pengelola prodi

- Instrumen Angket / Kuesioner untuk staf dan dosen

- Instrumen skala bertingkat / rating scale untuk mahasiswa

- Instrumen dokumentasi.

Prototyping

Stage

- Instrumen skala bertingkat / rating scale untuk: ahli pemrograman, ahli

pembelajaran, ahli konten fisika dan mahasiswa yang pernah beberapa kali

meningkuti ujian komprehensif (mahasiswa angkatan 2010, dan 2011)

Summative

Evaluation

- Angket / Kuesioner untuk: Mahasiswa peserta ujian komprehensif, staf dan

pengelola Program Studi.

Analisis data dalam penelitian ini menggunakan analisis statistik (kuantitatif), dan

analisis kualitatif. Data dalam penelitian ini berupa data kuantitatif dan kualitatif. Kedua teknik

tersebut digunakan untuk memahami data. Data penelitian digunakan untuk memperoleh

informasi tentang validitas, efektivitas, praktikabilitas, dan penerimaan.

IV. HASIL DAN PEMBAHASAN

Produk yang dihasilkan penelitian ini adalah instrumen ujian komprehensif berbasis

CBT pada Program Studi Pendidikan Fisika Fakultas Ilmu Tarbiah dan Keguruan UIN Syarif

Hidayatullah Jakarta. Instrumen ujian komprehensif ini dikembangkan melalui metode

penelitian pengembangan dengan tahapan dari Akker. Instrumen tes yang dikembangkan

mengukur tiga kompetensi, yaitu: kognitif, afektif, dan psikomotorik. Kemampuan kognitif

yang diukur adalah kemampuan berpikir orde lebih tinggi (HOTs): Menganalisis,

Mengevaluasi/menilai, Mencipta. Kemampuan psikomotorik yang diukur adalah keterampilan

proses sains: mengamati, mengklasifikasi (mengelompokkan), menafsirkan (interpretasi),

meramalkan (prediksi), mengajukan pertanyaan, mengajukan hipotesis, merencanakan

percobaan/penelitian, menggunakan alat/bahan/sumber, menerapkan konsep, melakukan

komunikasi, melaksanakan percobaan. Afektif, sikap yang diukur adalah sikap ilmiah: jujur,

disiplin, kerja keras, kreatif, mandiri, rasa ingin tahu, peduli lingkungan, tanggung jawab,

demokratis. Desain instrumen dilakukan dengan tahapan seperti pada gambar 2.

Gambar 2 Alur Desain Instrumen Komprehensif berbasis CBT pada Program Studi Pendidikan Fisika

Tahapan uji coba butir soal pada gambar 2 bertujuan untuk mengetahui kelayakan

produk yang dihasilkan. Uji coba dilakukan kepada: ahli (expert judgement); pengguna /

mahasiswa dan pengelola Prodi; uji-lapangan (field testing) skala besar. Expert review

bertujuan untuk mendapatkan informasi mengenai instrumen yang dikembangkan dari

perspektif ahli. Uji coba pengguna dan lapangan bertujuan untuk mendapatkan informasi dari

perspektif pengguna. Tahap selanjutnya adalah evaluasi sumatif (summative evaluation);

refleksi sistematik dan dokumentasi (systematic reflection and documentation). Berdasarkan

pertimbangan kompetensi yang diukur, objektivitas, kemudahan dan kecepatan dalam

menganalisis hasil ujian, kepraktisan, nilai ekonomis, maka bentuk pelaksanaan tes dilakukan

dengan menggunakan bantuan komputer. Pelaksanaan tes komprehensif yang digunakan adalah

computer based test (CBT). Bentuk tes yang digunakan adalah tes tertulis secara objektif:

pilihan ganda, isian singkat, dan benar salah.

Perbandingan kemampuan berpikir yang digunakan pada instrumen ujian komprehensif

dalam bentuk paper based test (PBT) dengan instrumen Computer Based Test (CBT) yang

dikembangkan berikut:

a. Hasil perbandingan kemampuan berpikir dasar / rendah (LOTS) dan kemampuan

berpikir pada tingkatan lebih tinggi (HOTS) pada instrumen komprehensif PBT

(2013-2015) dan CBT tahun 2016 pada konten fisika dan pendidikan.

Konten Fisika Konten Pendidikan

Gambar 3 Persentase Aspek Keterampilan Berpikir Orde Lebih Tinggi (HOTS) dan keterampilan

berpikir dasar (LOTS) pada konten fisika dan pendidikan pada Ujian Komprehensif Manual (2013-

2015) dengan ujian berbasis CBT 2016

Gambaran sebaran aspek C1- C6 pada naskah ujian komprehensif berbasis CBT tahun

2016 adalah sebagai berikut:

Gambar 4 Grafik sebaran aspek kognitif C1-C6 pada naskah soal konten fisika dan pendidikan ujian

komprehensif berbasis CBT tahun 2016

Konten Fisika Konten Pendidikan

25,7

15,6

27,5

72,5

0

10

20

30

40

50

60

70

80

LOTS HOTS

MANUAL CBT

30,6

2,72

22,5

77,5

0

10

20

30

40

50

60

70

80

90

LOTS HOTS

MANUAL CBT

Kemampuan psikomotorik yang dikembangkan dalam naskah ujian komprehensif

berbasis CBT tahun 2016 ini mengacu kepada keterampilan proses sains. Perbandingan antar

komponen keterampilan proses sains dapat dilihat pada pada gambar berikut:

Gambar 5 Diagram Persentase Keterampilan Proses Sains yang dikembangkan pada Ujian

Komprehensif berbasis CBT pada Program Studi Pendidikan Fisika 2016

Kompetensi sikap (afektif) yang dikembangkan dalam naskah ujian komprehensif

berbasis CBT tahun 2016 ini mengacu kepada sikap ilmiah. Perbandingan antar komponen

sikap ilmiah dapat dilihat pada pada gambar berikut:

Gambar 6 Diagram Batang komposisi Persentase Komponen Sikap ilmiah yang dikembangkan pada

Ujian Komprehensif berbasis CBT pada Program Studi Pendidikan Fisika 2016

Penelaahan dilakukan oleh para ahli, diantaranya ahli materi dan ahli

pendidikan/penulisan soal. Hasil penelaahan para ahli terhadap naskah soal konten fisika

disajikan pada tabel berikut:

Mengajukan hipotesis; 20%

Merencanakan percobaan/penelitian; 20%

Menggunakan alat/bahan;

40%

Melakukan komunikasi;

20%

Tabel 2 Tabel Hasil Penelaahan ahli terhadap naskah soal komprehensif konten fisika pada ujian

komprehensif berbasis CBT

No. Ahli

materi

Nomor

Revisi Komentar

1. Ahli I

4 Gambar di tambahkan Saklar daalam keadaan terbuka,

di soal ditanya jika saklar dalam keadaan tertutup.

5 Mengurangi kata yang tidak efektif

9 Kesalahan ketik. Penulisan kata bahyu

20 Kesalahan ketik. Kurang menambah huruf a

2. Ahli II 9 Penulisan kata bayu dibuat lebih baku

24 Keterangan pada gambar terlihat kurang

3. Ahli III

21 Mengganti kata tertentu dengan seperti pada tabel

23 Gambar di perjelas

27 Soal terlalu panjang

4. Ahli IV 23 Memperbaiki susunan kalimat

25 Menambahkan keterangan s terhadap t pada stem

Hasil penelaahan para ahli terhadap naskah soal konten pendidikan disajikan pada tabel

berikut:

Tabel 3 Tabel Hasil Penelaahan ahli terhadap naskah soal komprehensif konten pendidikan pada ujian

komprehensif berbasis CBT

No. Ahli

Pendidikan

Nomor

Revisi Komentar

1. Ahli I

5 Masih belum jelas makna gambar

10 Diperjelas segi apanya

15 Kesalahan tulis pada gambar

2. Ahli II

2 Perlu menambahkan konteks

3 Menambah fakta prosedural pada stem

4 Kesalahan ketik. Ditambahkan konteks / konsep tual

yang diharapkan

3. Ahli III 12 Mengganti option d

33 Menggunakan grafik histogram

4. Ahli IV 13 Option D menggiring pada jawaban benar

17 Gambar kurang penunjuk arah

Soal yang kurang baik menurut penelaah di perbaiki sebagai bahan perakitan instrumen

lengkap ujian komprehensif masih bersifat manual / paper based test, sebelum instrumen

diujicobakan. Hasil expert riview terhadap isi naskah ujian komprehensif konten pendidikan

disajikan dalam bentuk validasi konstruk (CVR) seperti terlihat pada tabel berikut:

Tabel 4 Validasi Ahli terhadap isi Instrumen Komprehensif Konten pendidikan

Nomor Soal

CVR Nomor

Soal CVR

Nomor Soal

CVR Nomor

Soal CVR

1 1 11 1 21 1 31 1

2 0,5 12 0,5 22 1 32 1

3 0,5 13 0,5 23 1 33 0,5

4 0,5 14 1 24 1 34 1

5 0,5 15 0,5 25 1 35 1

6 1 16 1 26 1 36 1

7 1 17 0,5 27 1 37 1

8 1 18 1 28 1 38 1

Nomor Soal

CVR Nomor

Soal CVR

Nomor Soal

CVR Nomor

Soal CVR

9 1 19 1 29 1 39 1

10 0,5 20 1 30 1 40 1

Nilai CVI = 0,88 jumlah ahli yang menelaah ada 4 orang. Hasil expert riview terhadap isi naskah

ujian komprehensif konten fisika disajikan dalam bentuk validasi konstruk (CVR) seperti

terlihat pada tabel berikut:

Tabel 5 Validasi Ahli terhadap isi Instrumen Komprehensif Konten fisika

Nomor Soal

CVR Nomor

Soal CVR

Nomor Soal

CVR Nomor

Soal CVR

1 1 11 1 21 0,5 31 1

2 1 12 1 22 1 32 1

3 1 13 1 23 0 33 1

4 0,5 14 1 24 0,5 34 1

5 0,5 15 1 25 0,5 35 1

6 1 16 1 26 1 36 1

7 1 17 1 27 0,5 37 1

8 1 18 1 28 1 38 1

9 0 19 1 29 1 39 1

10 1 20 0,5 30 1 40 1

Nilai CVI = 0,86 jumlah ahli yang menelaah ada 4 orang.

Setelah instrumen ujian komprehensif manual selesai dirakit, instrumen tersebut

diujicobakan untuk dianalisis. Hal ini dimaksudkan: untuk mengkaji dan menelaah setiap butir

soal agar diperoleh soal yang bermutu sebelum digunakan, selain itu membantu memperbaiki

kualitas soal melalui revisi atau membuang soal yang kurang baik / tidak efektif. Hasil uji coba

lapangan butir soal komprehensif berbasis CBT pada konten fisika dan pendidikan untuk

tingkat kesukaran soal disajikan pada gambar berikut:

Konten Fisika Konten Pendidikan

Gambar 7 Diagram Tingkat Kesukaran Soal Ujian Komprehensif Berbasis CBT pada Konten Fisika

dan Konten Pendidikan

Hasil analisis butir soal komprehensif berbasis CBT pada konten fisika dan pendidikan

tersaji pada gambar berikut:

Sukar15%

Sedang70%

Mudah15%

Sukar22%

Sedang53%

Mudah25%

Konten Fisika Konten Pendidikan

Gambar 8 Diagram Hasil Analisis Butir Soal Komprehensif Berbasis CBT Pada Konten fisika dan

pendidikan

Tabel 6 Rekapitulasi hasil pengujian instrumen

Aspek Pegujian Konten fisika Konten pendidikan Keterangan

Validitas 0,86 0,88 Sangat sesuai

Reliabilitas 0,77 0,72 Tinggi

Tingkat kesukaran 0,52 0,53 Sedang

Keterangan: 1. Kecepatan dalam pembagian soal dan lembar

jawaban

2. Tingkat kejujuran peserta tes

3. Penghematan biaya penyelenggaraan tes

4. Kecepatan dalam pengumpulan lembar jawaban

5. Kecepatan dalam pengoreksian lembar jawaban

6. Kemandirian peserta tes dalam menjawab

7. Ketelitian hasil pemeriksaan jawaban

8. Keobjektifan pemeriksaan jawaban

9. Tingkat kemudahan dalam mengoreksi lembar

jawaban

10. Kebermanfaatan penyampaian hasil ujian

dengan cepat

11. Keramahan terhadap lingkungan

12. Kemudahan interfretasi hasil tes

Gambar 9 Respon pengelola Program Studi terhadap pelaksanaan ujian komprehensif melalui CBT

Tingkat kepraktisan instrumen ujian komprehensif melalui CBT di Program Studi

Pendidikan Fisika menurut pengelola adalah 96,7% atau ada pada kategori sangat tinggi.

Tingkat kepraktisan instrumen ujian komprehensif melalui CBT di Program Studi Pendidikan

Fisika menurut pengguna adalah 77,5% atau ada pada kategori tinggi. Tingkat kepraktisan

secara keseluruhan menurut pengelola dan peserta ujian adalah sebagai berikut:

100% 100%

83% 83%

100% 100% 100% 100% 100% 100% 100% 100%y = 0,007x + 0,9268

0%

20%

40%

60%

80%

100%

120%

1 2 3 4 5 6 7 8 9 10 11 12

Aspek:

1. Kecepatan dalam pembagian soal dan lembar jawaban

2. Kejujuran dalam mengerjakan tes

3. Pengeluaran biaya penyelenggaraan

4. Pengumpulan lembar jawaban

5. Proses pengoreksian lembar jawaban (waktu yang diperlukan)

6. Kemandirian dalam mengerjakan soal

7. Ketelitian hasil pemeriksaan jawaban

8. Keobjektifan pemeriksaan jawaban

9. Kebermanfaatan pemberian informasi hasil ujian dengan cepat

10. Keramahan terhadap lingkungan penggunaan lembar jawaban dan soal

Gambar 10 Tingkat Kepraktisan Instrumen

Efektivitas instrumen ujian komprehensif ini sebesar 94,63 % ada pada kategori sangat

efektif, respon peserta tes dapat terlihat dari:

Gambar 11 Kebermanfaatan informasi hasil dengan cepat dan Kemampuan instrumen untuk menuntut

berpikir

24%16%

25%18%

7% 8%11%

6% 6%9%

76%84%

75%82%

93% 92%89%

94% 94%91%

0%

20%

40%

60%

80%

100%

120%

1 2 3 4 5 6 7 8 9 10

Respon (-) Respon (+)

Linear (Respon (-)) Linear (Respon (+))

Gambar 12 Kemampuan Soal dalam Menanalisis soal (higher order thinking)

Berikut ini adalah hasil wawancara terhadap pengelola dan staf di Program Studi

Pendidikan Fisika FITK UIN Syarif Hidayatullah Jakarta sebelum dan setelah proses penelitian.

Tabel 7 Hasil wawancara terhadap pengelola dan staf Program Studi tentang Pelaksanaan ujian

komprehensif Paper Based Test (PBT) pada tahun 2013-2016 dan pelaksanaan ujian komprehensif

Computer Based Test (CBT)

No. Pertanyaan Jawaban rata-rata

responden PBT

Jawaban rata-rata

responden CBT

1. Lamakah waktu yang diperlukan untuk

penggandaan naskah dan lembar ujian 1 hari 15 jam 30 detik

2. Biaya yang di keluarkan untuk ujian komprehensif Rp 252.150 0

3. Waktu yang diperlukan untuk pembagian soal /

lembar jawaban 7,5 menit 30 detik

4. Tingkat kejujuran para peserta ujian cukup jujur Jujur

5. Waktu yang diperlukan untuk mengumpulkan soal

dan lembar jawaban 11 menit lebih 30 detik

6. Waktu yang diperlukan untuk memeriksa hasil

ujian komprehensif 1 hari 15 jam 60 detik

7. Tingkat ketelitian dan kelelahan anda selama

mengoreksi lembar jawaban

cukup teliti bergantung

jumlah jumlah peserta Teliti dan akurat

V. KESIMPULAN

Penelitian pengembangan ini telah menghasilkan sebuah instrumen yang dapat

mengukur kompetensi mahasiswa tahap akhir Program Studi Pendidikan Fisika secara utuh.

Melalui ujian komprehensif berbasis CBT (computer based tes) kompetensi kognitif, afektif,

dan psikomotorik mahasiswa dapat diukur dengan efektif, praktis, dan dapat diterima semua

pihak. Instrumen yang dikembangkan dapat mengukur kemampuan berpikir pada orde lebih

tinggi, keterampilan proses sains, dan sikap ilmiah mahasiswa. Data yang dihasilkan dapat

memberikan informasi yang akurat tentang kompetensi mahasiswa.

Instrumen ujian komprehensif CBT dihasilkan melalui lima tahapan yaitu: menentukan

materi esensial (menentukan fungsi dan tujuan tes, menentukan batasan materi tes pada konten

fisika dan konten pendidikan, menyusun kompetensi kognitif, afektif dan psikomotorik yang

ingin dicapai pada tes dengan melihat kompetensi pada tiap mata kuliah), menentukan bentuk

pelaksanaan tes (mempertimbangkan teknis pelaksanaan tes yang efektif, efisien dan berdaya

guna), penulisan butir soal (membuat tabel spesifikasi tes, melakukan penulisan butir soal,

penelaahan butir soal, perbaikan dan perakitan soal), ujicoba butir soal (ujicoba dan analisis

butir soal), perakitan soal dalam bentuk CBT.

Instrumen yang dihasilkan memiliki tingkat kelayakan 0,87 (sangat sesuai), nilai CVI =

0,86 (sangat sesuai) untuk konten fisika dan 0,88 (sangat sesuai) untuk konten fisika. Instrumen

memiliki validitas 0,87 (sangat sesuai), reliabilitas 0,75 (Tinggi), dan tingkat kesukaran 0,50

(sedang). Nilai efektivitas instrumen 94,63 % (sangat efektif). Tingkat kepraktisan instrumen

sebesar 87,1% (sangat praktis). Tingkat kepraktisan menurut pengelola adalah 0,97 atau 96,7%

(sangat tinggi), sedangkan menurut peserta sebesar 0,78 atau 77,5% (tinggi). Instrumen yang

dihasilkan dapat diterima dengan baik oleh para pengelola dan peserta tes. Penyelenggara ujian

yang diwawancarai 95% pengelola dan 77, 5 % peserta menerima sistem ini dengan baik.

Instrumen yang dihasilkan sangat layak untuk digunakan dan dijadikan instrumen

standar untuk mengukur kompetensi mahasiswa.Instrumen yang dihasikan dapat

mempermudah kinerja pengelolaan pendidikan secara efektif, dan efisien yang mendukung

kearah pencapaian world class university. Instrumen dapat mempermudah program studi dalam

mengelola ujian komprehensif secara tertib, cepat, efektif, dan efisien.

Pelaksanaan ujian komprehensif berbasis CBT pada Program Studi Pendidikan Fisika

berhasil melakukan efesiensi dana sebanyak 60%. CBT dapat mengurangi dana anggaran

pengeluaran penyelenggaraan ujian manual / paper based test dari Rp 1.417.150, - / kegiatan

menjadi 565.000,- / kegiatan, bisa melakukan penghematan Rp 8521.150,- atau 60% dari

anggaran pengeluaran yang biasa dilakukan. pelaksanaan CBT berhasil mengurangi waktu

proses pendidstribusian naskah soal dan lembar jawaban dari 450 detik menjadi 30 detik,

efektivitas sebesar 93,33%. Pelaksanaan CBT berhasil mengurangi waktu proses pengumpulan

lembar jawaban dan naskah soal setelah ujian, dari 660 detik menjadi 30 detik, memiliki

efektivitas sebesar 95,45 %.

DAFTAR PUSTAKA

Arikunto Suharsimi. (2004). Evaluasi Program Pendidikan Jakarta: PT. Bumi Aksara.

Darling-Hammond L. Adamson F. (2013). Developing assessments of deeper learning: The

costs and benefits of using tests that help students learn. Stanford CA: Stanford

University Stanford Center for Opportunity Policy in Education

Hazelkorn E. (2013) "World-Class Universities or World Class Systems?: Rankings and Higher

Education Policy Choices" in Hazelkorn E. Wells P. and M. Marope (eds) "Rankings

and Accountability in Higher Education: Uses and Misuses UNESCO Paris

Forthcoming.

Kementerian Pendidikan dan Kebudayaan. (2016). Materi Pelatihan Guru Implementasi

Kurikulum 2013 Tahun 2016. Sekolah Menengah Atas Materi Teknik Penulisan Soal

Berpikir Orde Lebih Tinggi/Higher Order Thinking(Hot). Kementerian Pendidikan dan

Kebudayaan. Jakarta.

Kemenag (2014). Dua UIN Menuju World Class University. Tersedia:

http://kemenag.go.id/index.php?a=berita&id=172283

Krathwohl D. R. (2002). A revision of Bloom's taxonomy: An overview. Theory into

practice 41(4) 212-218.

Lin H. & Dwyer F. (2006). The fingertip effects of computer-based assessment in

education. TechTrends 50(6) 27-31.

Lawshe C. H. (1975). A quantitative approach to content validity1. Personnel psychology 28(4)

563-575.

Pead D. (2012). World Class Tests: Summative Assessment of Problem-solving Using

Technology. Educational Designer 2(5).

Permendikbud. 2016. Peraturan Menteri Pendidikan dan Kebudayaan No 23 Tahun 2016

Tentang Standar Penilaian Pendidikan. Jakarta

Purwanto. (2009). Evaluasi Hasil Belajar. Surakarta: Pustaka Belajar.

Ramos J. L. S. Dolipas B. B. & Villamor B. B. (2013). Higher order thinking skills and

academic performance in physics of college students: A regression analysis.

International Journal of Innovative Interdisciplinary Research 1(4) 48-60.

Rustaman Nuryani. (2000). Keterampilan Proses IPA Apa dan Bagaimana? Makalah pada

PPSIKIP Bandung: Tidak diterbitkan.

Reigeluth, C. M., & Frick, T. W. (1999). Formative research: A methodology for creating and

improving design theories. In In CM Reigeluth (Ed.), Instructional-design theories.

UIN Syarif Hidayatullah Jakarta (2016). Rencana Strategis (2012-2026) UIN Syarif

Hidayatullah Jakarta tersedia: http://www.uinjkt.ac.id/id/renstra-uin/#_Toc354991857

ShanghaiRanking Consultancy. 2015. World Top 500 Universities (ARWU).

http://www.shanghairanking.com/de/

Suprananto. (2008). Tes Berbasis Komputer (Computer Based Test CBT). Tersedia:

http://www.suprananto.org/index.php/welcome/artikel/10/Tes-Berbasis-Komputer-

Computer-Based-Test

Suyanto, A. H. (2009). Step by step web design theory and practices.Yogyakarta: Andi.

Sugiyono. (2012). Metode Penelitian Kuantitatif Kualitatif dan R & D. Bandung: Alfabeta.

Suprijono A. (2009). Cooperative learning: teori & aplikasi PAIKEM. Pustaka Pelajar.

Sudjana N. (2010). Penilaian Hasil Belajar. Jakarta: Remaja Rosdakarya.

Suryabrata Sumadi. (2005). Pengembangan Alat Ukur Psikologi. Yogyakarta: CV Andi

Offset.

Sukmadinata, Nana Syaodih. (2008). Metode Penelitian Pendidikan. Bandung: Remaja

Rosdakarya.

Shultz D. K. S. & Whitney D. J. (2004). Measurement Theory in Action: Case Studies and

Exercises. Thousand Oaks: Sage Publications Inc.

Suwarna, I. P. (2005). Model pembelajaran hipermedia listrik dinamis untuk meningkatkan

keterampilan berpikir kreatif dan keterampilan proses sains siswa SLTP (Doctoral

dissertation).

Van den Akker, J., Branch, R. M., Gustafson, K., Nieveen, N., & Plomp, T. (Eds.).

(2012). Design approaches and tools in education and training. Springer Science &

Business Media.

Van den Akker J. dkk. (2006). Educational Design Research. London and New York:

Routledge.

Van den Akker, J.,. 1999. Principles and Methods of Development Research. In J. van den

Akker,R Branch,K

Van Blerkom M. (2008). Measurement and statistics for teachers. Routledge.

Winkel W.S (1992). Psikologi Pengajaran. Jakarta: Gramedia.