Evaluasi Usability Pada Aplikasi Learn C++ Menggunakan

Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-ISSN: 2548-964X Vol. 5, No. 6, Juni 2021, hlm. 2677-2686 http://j-ptiik.ub.ac.id

Fakultas Ilmu Komputer

Universitas Brawijaya 2677

Evaluasi Usability Pada Aplikasi Learn C++ Menggunakan Metode

Usabilty Testing Studi Kasus SMKN 3 Malang

Dimas Anugerah Asprila

1, Satrio Hadi Wijoyo

2, Hanifah Muslimah Az-Zahra

3

Program Studi Pendidikan Teknologi Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya

Email: [email protected],

[email protected],

[email protected]

Abstrak

Aplikasi android merupakan salah satu pendukung aplikasi pendidikan digital saat ini. Menurut hasil

wawancara langsung yang dilakukan oleh peneliti terhadap salah satu guru Teknik Komputer Jaringan

di SMKN 3 Malang dapat disimpulkan bahwa kurangnya fasilitas media pembelajaran komputer dan

terbatasnya murid yang memiliki laptop menjadi masalah ketika guru mengajar pelajaran

pemrograman dasar. Untuk mengatasi permasalahan ketika proses pembelajaran berlangsung Learn

C++ merupakan aplikasi solusi dari guru, untuk mempelajari pemrograman dan penulisan code.

Tujuan penelitian ini untuk mengetahui level usability Learn C++ dan melakukan rekomendasi

perbaikan dari pengguna. Metode yang digunakan Usability testing menggunakan kuisioner System

Usability Scale (SUS). Berdasarkan penelitian yang dilakukan ditemukan 7 permasalahan, dan

memberikan 7 rekomendasi solusi perbaikan, kesimpulan yang didapat meningkatkan nilai parameter

efficiency, effectiveness, dan satisfaction. Dimana pada antarmuka lama tingkat efektifitas sebesar

90,4% lalu pada antarmuka baru naik menjadi 100%. Tingkat efisiensi nilai mean number of touch

pada evaluasi pertama mendapatkan nilai sebesar 3.7 sedangkan pada evaluasi kedua mendapatkan

nilai sebesar 3.02, maka oleh itu, dapat dilihat terjadinya penurunan sebesar 0.68 yang berarti

rekomendasi perbaikan antarmuka yang diberikan memberi efisiensi aplikasi yang lebih baik. Pada

satisfaction yang diperoleh melalui evaluasi pertama mendapatkan nilai sebesar 67%, sedangkan pada

evaluasi kedua mendapatkan nilai sebesar 76%. Mengalami kenaikan nilai sebesar 18% yang artinya

responden lebih puas dengan rekomendasi perbaikan antarmuka yang diberikan.

Kata kunci: Evaluasi, usability, aplikasi Learn C++, usability testing

Abstract

The android application is one of the supporters of today's digital education applications. According

to the results of direct interviews conducted by researchers with one of the Computer Network

Engineering teachers at SMKN 3 Malang, it can be concluded that the lack of computer learning

media facilities and the limited number of students who have laptops are a problem when the teacher

teaches basic programming lessons. To solve problems when the learning process takes place Learn C

++ is a solution application from the teacher, to learn programming and writing code. The purpose of

this study was to determine the level of usability Learn C ++ and make recommendations for

improvements from the user. The method used is Usability testing using the System Usability Scale

(SUS) questionnaire. Based on the research conducted, it was found 7 problems, and provided 7

recommendations for improvement solutions, the conclusions obtained increase the parameter values

of efficiency, effectiveness, and satisfaction. Where on the old interface the effectiveness rate was

90.4%, then on the new interface it increased to 100%. The efficiency level of the mean number of

touch value in the first evaluation got a value of 3.7 while in the second evaluation it got a value of

3.02, therefore, it can be seen that there is a decrease of 0.68 which means that the recommendation

for interface improvements given gives better application efficiency. The satisfaction obtained through

the first evaluation received a value of 67%, while the second evaluation received a value of 76%.

Experienced an increase in value of 18%, which means that respondents are more satisfied with the

recommendations for interface improvements given.

Keywords: Evaluation, usability, Learn C++, usability testing

mailto:[email protected]



Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 2678

Fakultas Ilmu Komputer, Universitas Brawijaya

1. PENDAHULUAN

Pada masa digital saat ini perkembangan

teknologi dapat memudahkan untuk mencari

segala informasi yang dibutuhkan dengan

terhubung koneksi internet. Dalam dunia

pendidikan, perkembangan teknologi memiliki

pengaruh bagipeserta didik maupun pendidik

dengansalah satu contoh dapat digunakanuntuk

mencari materi pembelajaran secara cepat.

Terdapat berbagai macam media untuk mencari

materi pembelajaran, salah satu media yaitu

aplikasi pendidikan digital. Aplikasi android

merupakan salah satu pendukung aplikasi

pendidikan digital saat ini. Media berupa

aplikasi android digunakan karena sudah tidak

asing lagi bagi sekolah, dan menawarkan

kemudahan serta efisiensi dalam mencari materi

pembelajaran. Menurut (Saffaat, 2012)

Pemrograman aplikasi adalah sub kelas

pemrograman PC yang mengeksploitasi

kapasitas PC secara langsung untuk

menjalankan tugas yang dibutuhkan klien.

Berdasarkan hasil pertemuan langsung yang

dipimpin oleh analis dengan salah satu

instruktur Perancangan PC Organisasi di

SMKN 3 Malang, dapat disimpulkan bahwa

tidak adanya kantor media pembelajaran PC

dan jumlah siswa yang telah ditentukan

sebelumnya yang memiliki PC menjadi masalah

ketika pendidik menunjukkan latihan

pemrograman yang penting. Selain itu guru

juga berpendapat jika pembelajaran dilakukan

tanpa praktik maka siswa tidak dapat memiliki

keahlian menulis source code sedangkan mata

pelajaran pemrograman dasar merupakan mata

pelajaran dasar bidang keahlian.

Untuk mengatasi permasalahan yang

memiliki keterbatasan media dalam

pembelajaran, maka guru menggunakan

aplikasi android yang harus digunakan ketika

proses pembelajaran berlangsung. Learn C++

merupakan aplikasi yang disarankan oleh guru

karena murid dapat secara langsung menulis

code dan juga langsung mengetahui hasilnya.

Aplikasi atau website menawarkan fitur-fitur

menarik untuk dapat meningkatkan minat

pengguna. Tentu selain fitur, setiap aplikasi

android juga harus dapat mudah digunakan,

user friendly, tidak membuat bingung pengguna

aplikasi, sehingga informasi yang disampaikan

dapat tersampaikan dengan baik serta dapat

membuat lebih menarik pengguna. Riset awal

yang dilakukan peneliti dengan menyebar

kuisioner dan melakukan wawancara terhadap

pengguna didapatkan data bahwa pengguna

menggunakan aplikasi tersebut selain

disarankan oleh guru, juga terdapat materi

pembelajaran yang lengkap, menyediakan

contoh kode dan penjelasan adapun fitur

menulis code yang membantu dalam proses

belajar pemrograman. Data yang didapatkan

dari kuisioner pengguna mengalami masalah

seperti fitur menulis code yang tidak ada pada

tampilan utama, kemudian membutuhkan sesi

tanya jawab terhadap sesama pengguna yang

dirasa dibutuhkan ketika mengalami suatu

permasalahan, adanya fitur yang dirasa tidak

dibutuhkan tetapi ada di halaman utama

aplikasi, sedangkan fitur yang dibutuhkan tidak

berada pada halaman depan, terdapat iklan yang

menganggu. Hasil wawancara dari

permasalahan yang ditemukan pengguna lebih

menyarankan menambahkan fitur menulis kode

di halaman utama agar lebih memudahkan,

menambahkan fitur yang sudah ada di halaman

utama, menghilangkan fitur yang dirasa tidak

dibutuhkan pada halaman utama aplikasi.

Peneliti menemukan masalah yang

sebagian besar berhubungan dengan usability

pada aplikasi Learn C++, seperti fitur code

yang tidak ada di halaman utama, fitur play

yang tidak berfungsi, tidak bisa loncat materi

ketika materi sebelumnya belum seselsai

dikerjakan. Fitur yang menarik memang

penting dalam sebuah aplikasi, namun usability

merupakan aspek penting yang harus

diperhatikan karena usability menilai kualitas

dari seberapa mudah tampilan antar muka yang

digunakan oleh pengguna (Nielsen, 2012).

Aplikasi akan dapat digunakan secara terus

menerus oleh pengguna jika mampu

memberikan usability yang baik, pengguna bisa

saja beralih ke aplikasi lain karena dirasa

merasa sulit atau kesusahan dalam

menggunakan aplikasi. Permasalahan yang

didapat peneliti akan melakukan evaluasi

usability untuk tujuan mengukur dan

meningkatkan usability aplikasi learn C++.

Metode usability testing merupakan metode

evaluasi yang melibatkan pengguna sebagai

partisipan berguna untuk menilai seberapa baik

usability (Rubin & Chisnell, 2008).

Penelitian sebelumnya yang dilakukan oleh

Willy Arief Pramono, Hanifah Muslimah Az-

Zahra, Retno Indah Rokhmawati (2019) yang

membahas mengenai Evaluasi Usability pada

Aplikasi MyTelkomsel dengan Menggunakan

Metode Usability Testing mendapatkan



hasillearnability yang menunjukkan bahwa

sistem dapat cepat dipelajari oleh pengguna

baru. Untuk kritera efficiency pada sistem

sangat tinggi. Sedangkan kriteria memorability

dapat dikatakan bahwa aplikasi MyTelkomsel

dapat dengan mudah diingat oleh pengguna

pada saat pengguna tidak menggunakan sistem

lagi dalam jangka waktu lama.

Pada penelitian dengan judul “EVALUASI

USABILITY APLIKASI PERBANKAN

JENIUS DENGAN METODE USABILITY

TESTING” oleh Khairien Nissa (2020)

mendapatkan hasil perhitungan success rate

partisipan setelah diberikan 50 tugas yang mana

merupakan jumlah seluruh tugas partisipan

menujukkan nilai 64%. Menurut (Sauro, 2012)

1.189 tugas yang berasal dari 115 pengujian

usability dengan pengguna sebanyak 3472

orang maka tingkat penyelesaian tugas rata-rata

adalah 78%. Maka dapat disimpulkan bahwa

presentasi learnability aplikasi perbankan jenius

masih di bawah rata-rata. Sedangkan untuk

hasil perhitungan Time Based Efficiency

menunjukkan bahwa pengguna dapat

menyelesaikan tugas sebanyak 2% setiap

detiknya. Hasil perhitungan error rate dari 5

partisipan dan 5 task scenario sebanyak 30%

dengan jumlah quality level sebesar 70% yang

menurut (Sauro, 2012), nilai rata-rata kesalahan

per tugas adalah 0,7% dengan 2 dari 3

pengguna melakukan kesalahan, yang berarti

tingkat error dari aplikasi perbankan jenius

masih di atas rata-rata. Hasil perhitungan

satisfaction pada penggunaan aplikasi

perbankan jenius ini menunjukkan hasil

presentase sebanyak 56% dengan jumlah

positive emotion sebanyak 28 dan negative

emotion sebanyak 22.

Dari penelitian terdahulu evaluasi usability

testing dapat diketahui nilai usability,

mendapatkan permasalahan dan yang

diinginkan pengguna ketika menggunakan

aplikasi yang diuji. Proses usability testing

menggunakan langkah-langkah yang serupa

dengan penelitian sebelumnya dan memberikan

rekomendasi desain perbaikan. Berdasarkan

permasalahan tersebut, penulis tertarik untuk

melakukan penelitian terkait evaluasi Usability

aplikasi android Learn C++ menggunakan

metode Usability Testing. Pemilihan aplikasi

Learn C++ berdasar pada guru mata pelajaran

Pemrograman Dasar yang telah diterapakan di

dalam pembelajaran. Metode Usability Testing

dipilih karena melibatkan partisipan atau

pengguna secara langsung dalam menilai

seberapa baik usability (Rubin & Chisnell,

2008). Pengguna akan dapat menemukan

permasalahan nyata yang dialami, bukan sesuai

perkiraan expert. Menurut (Scacca, 2020)

usability testing memfokuskan apa yang

pengguna lakukan daripada mengumpulkan

pendapat. System Usability Scale (SUS)

digunakan untuk membantu kegiatan penelitian.

Kuisioner (SUS) dapat mempermudah

pengumpulan data dan mengukur tingkat

usability aplikasi Learn C++. Berdasarkan

pertimbangan waktu, jumlah sample, dan biaya

pengunaan kuisioner (SUS) dapat memberikan

hasil yang memadai (PUD). Penelitian ini

bertujuan untuk mengetahui level usability

Learn C++ dan melakukan rekomendasi

perbaikan dari pengguna atau partisipan untuk

dapat meningkatkan level usability Learn C++.

Penulis mengusulkan judul “EVALUASI

USABILITY PADA APLIKASI LEARN C++

MENGGUNAKAN METODE USABILITY

TESTING STUDI KASUS SMKN 3

MALANG”.

2. DASAR TEORI

2.1 Learn C++

Learn C++ adalah kursus pemrograman

lain dari SoloLearn. Aplikasi ini akan

membantu Anda mengambil semua yang perlu

Anda ketahui untuk mulai membuat dan

memesan program Anda sendiri. Aplikasi ini

akan memberi tahu Anda cara terbaik untuk

berubah menjadi pengembang. Learn C++

menggabungkan lebih dari 80 latihan yang

dipisahkan menjadi 8 level yang mencakup ide-

ide penting, jenis informasi, pameran, petunjuk,

artikulasi kontingen, lingkaran, kapasitas, kelas

dan artikel, warisan dan polimorfisme, format,

pengecualian dan catatan. Buka level baru, tes,

kumpulkan fokus, dan bersaing dengan teman

Anda di seluruh planet ini.

2.2 Evaluasi

Sesuai Drs. Zainal Arifin, penilaian

merupakan interaksi yang tertib untuk

mendapatkan hasil. Kualitas bagus yang

diidentifikasi dengan nilai atau signifikansi

kerangka atau item adalah konsekuensi dari

latihan penilaian. Sedangkan asesmen

merupakan tindakan yang memberikan makna

dan evaluasi terhadap suatu kerangka atau item

(Arifin, 2009). Menelaah tentang penilaian

menyiratkan memusatkan bagaimana cara

menuju menawarkan pemikiran ke sifat



kerangka kerja. Siklus penilaian dilakukan

secara efisien dan konsisten yang diharapkan

dapat diatur oleh sistem dan standar yang

diselesaikan tanpa henti.

Alasan penilaian adalah untuk memutuskan

sifat kerangka dan item sejauh nilai dan

kepentingannya. Pemberian pemikiran yang

merupakan ide dasar penilaian harus dilakukan

dalam siklus penilaian. Memberikan penilaian

digunakan untuk memutuskan nilai dan

signifikansi kerangka yang sedang dinilai.

Evaluasi merupakan fase desain yang tidak

dapat dianggap sebagai fase tunggal melainkan

fase yang berlangsung selama siklus desain,

hasil evaluasi dapat dimasukan kembali dalam

desain yang telah dimodifikasi. Melakukan

pengujian terus menerus diseluruh desain

merupakan sesuatu yang tidak mungkin, tetapi

dengan teknik analitik dan informal dapat

digunakan. Teknik evaluasi tersebut membantu

memastikan desain dinilai secara terus-menerus

sehingga menghasilkan keuntungan bahwa

masalah dapat terselesaikan sebelum

sumberdaya dan upaya dikeluarkan untuk

melakukan implementasi (Dix, et al., 2004).

2.3 Usability

Usability menilai sejauh mana suatu sistem

dapat digunakan target pengguna untuk

mencapai tujuan tertentu dengan

memperhatikan efektifitas, efisiensi dan

kepuasan pengguna (ISO 9241-11,1998).

Peneliti menggunakan standart (ISO 9241-

11,1998) dibanding Nielsen, yang mana

terdapat aspek memorability pada Nielsen.

Memorability yaitu berkaitan dengan

kemampuan pengguna dalam mengingat dalam

jangka waktu yang cukup lama. Maka peneliti

tidak menggunakan aspek memorability, karena

siswa atau partisipan menggunakan aplikasi

setiap hari tentu ingat bagaimana cara

menggunakan aplikasi.

Menurut ISO 9241-11,1998, usability

memiliki 3 kriteria pembahasan, yaitu:

a. Effectiveness : mengukur ketepatan

pengguna dalam menyelesaikan permasalahan

dalam memenuhi tujuan tertentu.

b. Efficiency : mengukur keefektifan dengan

memperhatikan sumberdaya yang dihabiskan

pengguna untuk mencapai tujuan pengguna.

c. Satisfaction : mengukur kepuasan dan

perilaku dari sudut pandang pengguna saat

menggunakan aplikasi.

2.4 Evaluasi Usability

Evaluasi usability merupakan suatu

kegiatan mengukur yang berfokus pada

seberapa mudah pengguna mempelajari e-

learning, menggunakan e-learning untuk

mencapai tujuan, dan seberapa puas pengguna

dalam menggunakan e-learning dengan

menerapkan suatu metode yang dapat

mengumpulkan feedback atau data dari

pengguna (Usability, 2013). Kegiatan evaluasi

usability dapat menangkap 2 jenis data yaitu

kuantitatif dan kualitatif. Data kuantitatif

mencatat secara objektif atau yang sebenarnya

terjadi sedangkan data kualitatif menjelaskan

secara subjektif atau menjelaskan sesuai dengan

yang difikirkan dan dikatakan oleh pengguna.

2.5 Usability Testing

Usability testing merupakan alat penelitian

yang berakar pada metodologi eksperimental

klasik dengan menggunakan rentang tes yang

cukup banyak dan melibatkan user sebagai

partisipan untuk menilai seberapa baik suatu

sistem (J & D, 2008). Tujuan utama usability

testing adalah melakukan pengumpulan data

untuk mengidentifikasi permasalahan yang

dialami oleh pengguna dan memperbaiki

permasalahan yang ada. Menurut (Moran,

2019) tujuan dari usability testing bervariasi,

akan tetapi biasanya meliputi:

a. Mengidentifikasi permasalahan dalam

desain sistem

b. Menemukan peluang untuk meningkatkan

sistem

c. Mempelajari perilaku dan prefensi dari

target pengguna

2.6 Jumlah Partisipan

Menurut (Macefield, 2009), masalah yang

diperdebatkan masih terjadi dalam kelompok

partisipan study usability dan jumlah partisipan

yang ikut serta dalam penelitian seharusnya

dapat dipengaruhi oleh fitur unik dan konteks

setiap study.

Menurut (Nielsen, 2000) dalam studi

usability (penemuan masalah) hanya perlu 5

partisipan, hal ini dikarenakan saat melakukan

pengujian pada partisipan pertama peneliti akan

mendapat sesuatu yang baru, pengujian

partisipan selanjutnya peneliti akan mendapat

sesuatu yang baru dan data yang sama dengan

partisipan sebelumnya. Menggunakan lebih dari

5 partisipan merupakan pemborosan sumber

daya karena peneliti akan mendapatkan data

yang sama dari partisipan.



2.7 Pedagogical Usability

Pedagogical Usability menurut klasifikasi

(Nielsen, 1990), sub-concept of utility, and

technical usability a sub-concept of usability.

Selain dialog antara pengguna dengan suatu

sistem, Pedagogical Usability dari sistem

dan/atau materi pembelajaran juga dijelaskan

dengan tujuan yang ditetapkan untuk situasi

pembelajaran antara murid dan guru. Dari kasus

tersebut bisa dinyatakan apakah suatu sistem

tersebut dapat merealisasikan tujuan dari situasi

pembelajaran antara murid dengan guru. Harus

diperhatikan bahwa dimensi dari Technical dan

Pedagogical Usability berkorelasi.

2.8 System Usability Scale

System Usability Scale merupakan

kuisioner yang digunakan untuk mengukur dan

menilai usability atau kegunaan sebuah sistem.

Kuisioner SUS terdiri dari 10 pertanyaan

dengan 5 skala pilihan jawaban mulai dari

“sangat tidak setuju” hingga “sangat setuju”

dalam bahasa indonesia. System Usability Scale

merupakan tool yang “quick and dirty” untuk

mengukur usability, awalnya kuisioner SUS

dibuat oleh John Brooke pada tahun 1986

(Usability, 2013).

3. METODOLOGI

Strategi peneletian diharapkan dapat

menggambarkan semua latihan yang dilakukan

selama eksplorasi. Gambar 3.1 adalah

gambaran secara metodis melalui sarana yang

digunakan dalam penelitian.

Gambar 1 Alur penelitian

3.1. Studi Literatur

Ujian ini dimulai dengan memimpin

investigasi tertulis dari teori pendukung dan

penelitian sebelumnya tentang penilaian

kenyamanan, pengujian kemudahan

penggunaan, kemudahan penggunaan

pendidikan dan kerangka skala kemudahan

penggunaan, seperti penelitian sebelumnya

yang penting untuk digunakan sebagai bahan

referensi dan landasan teori dalam penelitian.

Dari landasan teori, dengan sangat baik dapat

diselesaikan batas-batas yang akan digunakan

dalam pengujian dan informasi survei.

3.2 Persiapan Awal

3.2.1 Penentuan Partisipan

Pada sesi ini peneliti memilih partisipan

yang sesuai kriteria di dalam penelitian. Yaitu

pengguna aplikasi yang berada di kelas XI TKJ

SMKN 3 Malang. Pemilihan partisipan

berdasarkan peserta didik pernah menggunakan

aplikasi android Learn C++ sesuai arahan dari

guru mata pelajaran pemrograman dasar. Untuk

melakukan uji kemudahan, sebagaimana

diindikasikan oleh (Nielsen, 2012) terdapat

maksimal 5 (lima) anggota, yang cukup untuk

melakukan uji kemudahan penggunaan.

Sehingga dalam penelitian ini jumlah anggota

yang diharapkan untuk melakukan uji

kemudahan adalah 5 orang dan jumlah anggota

yang diharapkan untuk menyelesaikan polling

Framework Ease of use Scale (SUS) adalah 5

orang yang kesemuanya telah memanfaatkan

aplikasi Learn C++. Anggota diberi jajak

pendapat yang akan dibulatkan tanpa syarat

seperti yang ditunjukkan oleh keterlibatan

mereka dalam menggunakan aplikasi.

3.2.2 Pemberian Kuisioner

Peneliti membagikan kuisioner riset awal

pengguna kepada partisipan yang telah

ditetapkan sebelumnya untuk mendapatkan data

awal pengguna. Kuisioner terdiri dari beberapa

pertanyaan, permasalahan atau kendala apa

yang pernah dirasakan saat menggunakan

aplikasi android Learn C++.

3.3 Usability Testing

Pengujian kemudahan penggunaan pada

tahap ini dilakukan untuk menentukan masalah



kenyamanan pada aplikasi Learn C ++.

Informasi yang diperoleh dari pengujian

kemudahan penggunaan juga akan digunakan

untuk memastikan pengukuran kemudahan

penggunaan pada bagian efficiency,

effectiveness, pedagogical, dan satisfaction.

Pengujian kemudahan penggunaan memerlukan

beberapa tahap sebelum menguji klien dengan

menyiapkan apa pun yang dibutuhkan ilmuwan.

Setelah menyelesaikan pengaturan tes, situasi

pelaksanaan dicoba pada klien. Pengujian

kenyamanan dalam pengujian ini juga

mencakup menawarkan jajak pendapat kepada

anggota dan mengarahkan pertemuan dengan

klien untuk menyelidiki masalah yang mungkin

ditemukan anggota selama pengujian.

Berikut merupakan task scenario yang

digunakan dalam pengujian:

1. Lakukan login kedalam aplikasi

2. Mengerjakan materi Basic Concepts

Welcome to C++

3. Mengerjakan materi Basic Concepts

Your First C++ Program

4. Menemukan untuk menulis code di

Code Playground

5. Membuat “Hello World” di code

Playground yang telah dipelajari pada

materi Basic Concepts

6. Menyimpan code

7. Membuka kembali code tersimpan

8. Melakukan diskusi pertanyaan terkait

materi Headers and namespace

9. Melakukan logout aplikasi

3.4 Analisis dan Pembahasan

Setelah semua ukuran pengujian

kenyamanan selesai, analis melakukan

pemeriksaan dan percakapan yang diidentifikasi

dengan informasi yang telah didapat oleh

spesialis. Segmen yang terkonsentrasi dari

informasi anggota mencakup produktivitas,

kelangsungan hidup, metode pengajaran, dan

pemenuhan.

Estimasi efektivitas mengidentifikasi

dengan tingkat produktivitas yang dicapai oleh

klien dengan ukuran tenaga yang digunakan

klien untuk mencapai tujuannya dan waktu

yang dibutuhkan. Estimasi kecukupan

diidentifikasi dengan pencapaian klien dalam

mencapai tujuannya dengan adanya kerangka /

aplikasi yang tepat dan lengkap. Estimasi

pemenuhan adalah tingkat penghiburan klien

saat menggunakan kerangka kerja / aplikasi.

Setelah semua data dianalisis, peneliti akan

melakukan pembahasan mengenai apa saja

yang perlu diperbaiki dengan melihat data hasil

analisis. Hasil analisis akan digunakan sebagai

acuan dalam perancangan rekomendasi

perbaikan.

4. HASIL DAN PEMBAHASAN

Pemilihan anggota ke atas sebanyak 5

(lima) orang karena untuk pengujian anggota

utama analis akan menemukan hal-hal baru

untuk digunakan sebagai bahan untuk

meningkatkan kegunaan kembali suatu barang.

Melanjutkan ke anggota berikutnya, anggota

akan melakukan hal yang persis sama dengan

anggota utama dengan kontras, namun spesialis

dalam hal apa pun dapat menahan unsur-unsur

tersebut, setiap individu memiliki cara yang

berbeda. Saat mulai masuk member 3, sedikit

data akan didapat karena tingkat kontras antara

member 1 dan 2 mulai sedikit. Dengan cara ini,

5 (lima) anggota cukup untuk menguji

kegunaan kembali suatu item (Nielsen, 2000).

4.1 Pengujian Awal

4.1.1 Hasil Pengujian Efficiency

Jumlah sentuhan Selama Pelaksanaan

Kulminasi adalah sudut pandang yang

digunakan untuk menemukan jumlah kontak

yang harus dimiliki responden untuk

menyelesaikan suatu tugas. Jumlah "kontak"

yang ekstrim pada tugas 2, 3, dan 4 karena

responden menekan beberapa komponen yang

tidak dapat diterima untuk menyusun kode pada

tugas 4, tugas 2 dan 3 secara keliru

mengerjakan materi. Rata-rata sentuhan

lengkap paling sedikit adalah 2 karena tugas

situasi umumnya sederhana. Kemudian, rata-

rata sentuhan lengkap terbesar ditemukan di

tugas 2 dengan nilai 6.4. Dengan semua nilai

rata-rata semua sentuhan dari semua tugas, nilai

rata-rata dunia pada tahap ini diperoleh, lebih

spesifiknya sampai pada nilai 3,7

Penghitungan keefektifan relatif umum

ditentukan dengan menggunakan informasi

pencapaian anggota dalam menyelesaikan tugas

yang ditampilkan pada Tabel 4.7. Geo Mean

yang paling penting diperoleh di tugas 5,

khususnya 21.51, karena diperlukan investasi

untuk melakukan tugas tersebut. Rata-rata Geo

yang paling berkurang di Tugas 9

membutuhkan 3,53. Dengan setiap nilai Geo

Mean yang telah diperoleh dari semua tugas,

nilai Rata-rata Geo Sedunia menjadi senilai

10,81.



4.1.2 Hasil Pengujian Effectiveness

Menurut hasil pengukuran aspek

effectiveness tersebut didapatkan bahwa tugas

yang diberikan kepada lima orang partisipan

berhasil menyelesaikan tugas yang diberikan

oleh peneIiti, meskipun ada beberapa partisipan

dengan partial succes. Tingkat nilai effektitas

tertinggi didapatkan oleh partisipan 2 dengan

nilai 100%. Sedangkan partisipan yang lain

memiliki nilai tingkat efektifitas yang sama

yaitu 88%.

4.1.3 Hasil Pengujian Kuisioner Pedagogical

Usability

Berdasarkan hasiI dari penyebaran kuisioner

Pedagogical Usability terhadap partisipan,

dalam kode FL1 "Tidak mengizinkan saya

untuk memilih bagian mana dari topik yang

bisa didapat, sesuai dengan kemampuan belajar

saya", anggota tersebut mengatakan bahwa dia

tidak dapat memilih materi yang ideal sebelum

menyelesaikan materi sebelumnya. Kode P3

dalam kuisioner pedagogical usability

partsipan partsipan juga berkomentar tidak ada

pilihan bahasa Indonesia

4.1.4 Hasil Pengujian Kuisioner System

Usability Scale (SUS)

Menunjukkan hasil akhirnya pada jajak

pendapat aplikasi SUS Learn C ++.

Mendapatkan SUS Score normal 67.

Berdasarkan hasil tersebut maka SUS score

untuk aplikasi Learn C ++ masih dibawah 68,

dimana menurut N. Thomas, jika SUS score

suatu item dibawah 68 berarti ada masalah

kenyamanan asli dengan item tersebut, dan

dengan asumsi skor SUS untuk item di atas 68,

Anda dapat beristirahat sedikit untuk masalah

kemudahan penggunaan pada item tersebut.

4.1.5 Hasil Wawancara

Dari hasil wawancara kepada partisipan

setelah mengerjakan task scenario, didapatkan

permasalahan yang sama. Terdapat beberapa

fitur yang dirasa membuat bingung partisipan,

seperti fitur play yang ternyata harus

menginstall aplikasi lain untuk dapat

digunakan, fitur code yang tidak ada pada

tampilan awal, partisipan juga berpendapat

lebih baik meletakan fitur code di tampilan

awal untuk memudahkan.

4.2 Analisis Permasalahan

Analisis permasalahan tingkah laku yang

didapatkan dari task scenario pertama,

partisipan merasa tidak membutuhkan fitur

login karena fitur ini dirasa tidak dibutuhkan,

dan memakan waktu. Dari hasil wawancara

yang didapatkan saran partisipan cukup mengisi

nama saja. Permasalahan kedua dari tingkah

laku yang didapatkan dari task scenario 2,

partisipan merasa membutuhkan fitur Code

untuk diletakkan pada halaman depan.

Analisis permasalahan ke 3, dari task

scenario 4 Fitur play yang membingungkan,

terdapat pada halawan depan. Meskipun berada

pada halaman depan, tetapi fitur play tidak

dapat digunakan, partisipan tidak membutuhkan

fitur ini, dan dirasa tidak perlu ada fitur ini pada

halaman depan. Analisis permasalahan ke 4 dari

task 3, banyaknya materi yang tersedia, namun

tidak semuanya dapat dibuka oleh partisipan.

Permasalahan 5 dari task scenario 8

melakukan Q&A discussions partisipan merasa

sama saja dengan comments pada materi.

Comments pada materi dianggap lebih efisien

karena langsung diskusi pada materi yang

terkait. Permasalahan ke 6 dari task scenario 3

iklan yang sedikit menganggu partisipan. Iklan

aplikasi itu sendiri berada pada halaman materi,

yang diharapkan partisipan iklan cukup sekali

pada awal membuka aplikasi Learn C++.

Permasalahan dari task scenario 3 partisipan

terkadang tidak mengerti apa arti dari bahasa

Inggris. Partisipan merasa butuh waktu untuk

menerjemahkan kedalam bahasa Indonesia.

Partisipan merekomendasikan untuk ada

tambahan bahasa Indonesia guna

mempermudah.

4.2 Rekomendasi Perbaikan

Pada perbaikan masalah 1 dapat dilihat

dilakukan penambahan fitur Guest pada

halaman login depan. Untuk mempermudah

partisipan untuk masuk kedalam aplikasi. Login

yang dirasa lama, atau tidak dibutuhkan oleh

partisipan, maka ditambahkan fitur guest untuk

mempersingkat waktu masuk kedalam aplikasi.

Pada perbaikan masalah 2, dapat dilihat bahwa

fitur ”code” sekarang berada pada halaman

depan, untuk mempermudah pengguna untuk

menemukan fitur. Mengurangi beberapa

langkah untuk menulis code, mengingat

partisipan lebih sering menggunakan fitur untuk

menulis code.

Pada perbaikan masalah 3, fitur play

dihilangkan dan diganti dengan fitur code.

Partisipan merasa tidak membutuhkan fitur ini,

dan lebih membutuhkan fitur untuk menulis

code. Rekomendasi perbaikan pada masalah ini,



maka fitur play dihapus dan digantikan fitur

untuk menulis code, sesuai yang dibutuhkan

oleh partisipan. Pada perbaikan masalah 4,

membuka materi yang sebelumnya dikunci.

Partisipan tidak perlu menyelesaikan materi

sebelumnya, karena juga membutuhkan waktu.

Rekomendasi perbaikan sesuai yang diinginkan

partisipan maka materi dapat dibuka guna

mempercepat waktu hendak membuka materi

yang dikunci.

Pada perbaikan masalah 5, dilakukan

pemindahan letak fitur Q&A Discussions ke

comments pada materi. Jika partisipan merasa

kesulitan atau ingin melakukan pertanyaan

maka langsung dapat bertanya atau diskusi di

dalam materi terkait. Sebelumnya fitur Q&A

Discussions berada pada halaman lain. Untuk

memudahkan partisipan dalam bertanya dan

diskusi. Pada perbaikan masalah 6, iklan yang

dirasa menganggu oleh partisipan. Dari hasil

wawancara sebaiknya iklan cukup pada

halaman awal ketika login saja. Iklan ketika

pada halaman materiPada perbaikan masalah 7,

menambahkan bahasa Indonesia, sesuai dari

rekomendasi partisipan. Partisipan berkomentar

untuk dapat menambahkan bahasa Indonesia,

untuk memudahkan penggunaan aplikasi Learn

C++. Penambahan bahasa berada pada menu

setting language, yang sebelumnya hanya

tersedia 3 pilihan Bahasa

4.1 Pengujian Kedua

4.1.1 Hasil Pengujian Efficiency

Tidak ada partisipan yang memiliki nilai

touch berlebih. Seluruh partisipan memiliki

nilai touch yang sama, sehingga mendapatakan

nilai mean yang sama dari tugas 1 sampai tugas

9. Nilai global mean pada tahap ini yaitu 3,22

Estimasi kemampuan umum ditentukan

dengan memanfaatkan informasi pencapaian

anggota dalam menyelesaikan tugas. Geo Mean

yang paling tinggi terdapat pada tugas 5,

tepatnya 21.48, karena membutuhkan investasi

untuk melakukan pekerjaan tersebut.

Setidaknya Geo Mean pada tugas 4

membutuhkan 02.48. Dengan setiap nilai Geo

Mean yang telah diperoleh dari semua tugas,

nilai Rata-rata Geo menjadi senilai 10,01.

4.1.2 Hasil Pengujian Effectiveness

Mengingat konsekuensi dari estimasi sudut

pandang kelangsungan hidup, diketahui bahwa

tugas yang diberikan kepada lima anggota telah

secara efektif menyelesaikan tugas yang

diberikan oleh analis. Ditujukan dengan

presentase 100%, berbeda dengan pengujian

pertama ada beberapa partisipan dengan partial

succes, pada pengujian kedua partisipan

berhasil mengerjakan dengan sempurna.

4.1.2 Hasil Pengujian Kuisioner Pedagogical

Usability

Berdasarkan hasiI dari penyebaran kuisioner

Pedagogical Usability terhadap partisipan,

sudah cukup baik materi yang dikunci kini

sudah dapat dibuka tanpa menyelesaikan materi

sebelumnya dan penambahan bahasa Indonesia

yang dirasa guna memudahkan partsipan dalam

menggunakan aplikasi Learn C++.

4.1.3 Hasil Pengujian Kuisioner System

Usability Scale (SUS)

Menunjukan hasil akhir pada kuisioner

SUS aplikasi Learn C++. Anggota memberikan

variasi skor SUS yang signifikan. Dapatkan

SUS Score normal 76. Dari hasil polling,

diketahui bahwa hasil normal dari pemenuhan

klien dalam aplikasi ini adalah 76, yang

menunjukkan bahwa hasil ini memiliki harga B

dan lebih dari nilai SUS normal untuk

pemrograman, yaitu 68 (Sauro, 2018).

Berdasarkan hasil ini, sangat baik dapat

dinyatakan bahwa klien normal sangat senang

dengan rencana aplikasi Learn C ++, meskipun

ada banyak sudut pandang yang dapat

ditingkatkan.

4.3 Perbandingan Evaluasi 1 dan Evaluasi 2

4.3.1 Perbandingan Efficiency

Gambar 2. Perbandingan Efficiency

Dapat ditemukan dengan sangat baik pada

Gambar 2 bahwa rata-rata jumlah sentuhan

pada penilaian utama mendapatkan nilai 3,7

sedangkan pada penilaian kedua mendapatkan

nilai 3,02, dengan demikian dapat dilihat

dengan sangat baik bahwa ada berkurangnya

0,68, yang menyiratkan bahwa proposal untuk

peningkatan antarmuka yang diberikan

memberikan tingkat kelayakan penggunaan

yang superior dari masa lalu.



Gambar 3. Perbandingan Efficiency

Terlihat pada gambar 3 bahwa mean Time

Completed Task pada evaluasi pertama

mendapatkan waktu 10.81 s sedangkan pada

evaluasi kedua mendapatkan 10.01 s, maka oleh

itu, dapat dilihat terjadinya penurunan waktu

pengerjaan task sebesar 0.80 detik, saran

perbaikan antarmuka memberikan tingkat

kelayakan penggunaan yang superior.

4.3.1 Perbandingan Effectiveness

Gambar 4. Perbandingan Effectiveness

Dapat dilihat pada gambar 4 Terjadi

peningkatan nilai effectiveness. Evaluasi

pertama mendapatkan 90.4% dan pada evaluasi

kedua mendapatkan nilai 100%, Terjadi

peningkatan sebesar 9.6%. Saran perbaikan

antarmuka memberikan tingkat kelayakan

penggunaan yang superior.

4.3.1 Perbandingan Satisfaction

Gambar 5. Perbandingan Satisfaction

Berdasarkan Gambar 5, terlihat dengan

sangat baik bahwa nilai metrik pemenuhan yang

diperoleh melalui penilaian kepala sekolah

mendapatkan nilai 67%, sedangkan penilaian

selanjutnya mendapatkan nilai 76%. Dilihat

dari bagan ini, terjadi peningkatan nilai metrik

pemenuhan sebesar 18%, yang berarti bahwa

responden lebih senang dengan saran perbaikan

antarmuka yang diberikan daripada sebelum

dilakukan pemeliharaan.

5. KESIMPULAN DAN SARAN

5.1 Kesimpulan

Berdasarkan pengujian yang telah dilakukan

oleh para analis, maka tujuan yang dapat ditarik

dari Convenience Assessment ON LEARN C

++ APPLICATION Memanfaatkan Strategi

USABILTY TESTING Investigasi kontekstual

SMKN 3 MALANG sebagai berikut:

1. Batasan efektivitas merupakan proporsi

kecepatan klien / responden dalam menjalankan

aplikasi. Batasan insentif untuk kuantitas

sentuhan selama puncak tugas dalam aplikasi

Learn C ++, yang menyiratkan jumlah kontak

dari situasi pertama hingga kesembilan yang

dilakukan oleh responden 1 hingga 5 adalah 3,7

kontak. Sementara itu, nilai waktu per selesai

melakukan eksekusi, yang berarti peluang

selesai untuk menyelesaikan tugas dari situasi 1

hingga 9, adalah 10,81 detik. Batas efektivitas

mendapat nilai normal 90,4%. Hasil survei

Framework Convenience ScaIe (SUS)

mendapatkan penghargaan sudut pemenuhan

tergantung pada "67", yang sejauh mungkin

dalam penilaian jajak pendapat SUS.

2. Konsekuensi pertemuan dengan anggota

menemukan 7 masalah. Memasukkan masalah

terkait sorotan yang tidak dapat digunakan,

termasuk posisi, dan ide yang dapat

dipertimbangkan untuk memudahkan klien

dalam memanfaatkan aplikasi

3. Investigasi ini memberikan 7 proposal untuk

jawaban perbaikan untuk mengurus masalah

kenyamanan yang ditemukan. Proposal untuk

pengaturan penyembuhan diberikan sesuai

aturan. Pengaturan yang ditawarkan berbicara

tentang proposal untuk area sorotan yang dapat

mempermudah klien untuk memanfaatkan

aplikasi.

4. Setelah membuat proposal untuk peningkatan

gagasan klien, hal itu dapat mengurangi

masalah masa lalu yang dikonfirmasi oleh

tingkat kecukupan, efektivitas, pemenuhan yang

diperluas. Dimana pada antarmuka lama tingkat

viabilitasnya adalah 90,4%, kemudian pada

antarmuka baru itu berkembang menjadi 100%.

Tingkat kemahiran rerata jumlah sentuhan pada



penilaian kepala sekolah mendapat nilai 3,7

sedangkan pada penilaian kedua mendapat nilai

3,02, oleh karena itu terlihat sangat baik terjadi

penurunan sebesar 0,68 yang mengimplikasikan

bahwa sugesti tersebut untuk peningkatan

antarmuka yang diberikan memberikan

efektivitas aplikasi yang lebih baik. Pemenuhan

yang diperoleh melalui penilaian prinsipal

memperoleh nilai 67%, sedangkan penilaian

selanjutnya mendapatkan nilai 76%.

Menemukan peningkatan senilai 18%, yang

menyiratkan bahwa responden lebih senang

dengan saran untuk peningkatan antarmuka

yang diberikan.

5.2 Saran

Ujian lebih lanjut yang dapat

direkomendasikan oleh analis dengan subjek

penilaian kemudahan penggunaan pada aplikasi

Learn C ++ adalah:

1. Riset penilaian kenyamanan langsung pada

aplikasi Learn C ++ dengan menggunakan

teknik yang berbeda, misalnya, spesialis yang

menggunakan penilaian.

2. Memimpin riset penilaian penggunaan

dengan informasi yang ditujukan kepada klien

aplikasi Learn C ++, misalnya, menyebarkan

jajak pendapat.

3. Eksplorasi langsung untuk memikirkan efek

samping dari penilaian kemudahan penggunaan

aplikasi Learn C ++ dengan aplikasi

pembelajaran kode lainnya untuk memperoleh

kemudahan pengujian penggunaan setiap

aplikasi pembelajaran kode.

6. DAFTAR PUSTAKA

Arifin, Z., 2009. Evaluasi Pembelajaran. Bumi

Siliwangi: PT REMAJA ROSDAKARYA.

Betram, D., 2016. Likert Scale. [Online]

Available at:

http://poincare.matf.bg.ac.rs/~kristina/topic

-dane-likert.pdf

[Accessed 3 10 2020].

Bevan, N. & Petrie, H., 2009. The evaluation of

accessibility, usability and User

Experience. The Universal Access

Handbook, pp. 299 - 315.

Chrum, T., 2019. An Introduction To Website

Usability Testing. [Online]

Available at: https://usabilitygeek.com/an-

introduction-to-website-usabilitytesting

[Accessed 3 10 2020].

Dix, A., FInlay, J., Abowd , G. D. & Beale, R.,

2004. Human-Computer Interaction. 3rd.

Harlow: Pearson Education Limited.

Joshi, A., Kale, S., Chandel, S. & Pal, D. K.,

2015. Likert Scale: Explored and

Explained. [Online]

Available at:

https://www.researchgate.net/publication/2

76394797_Likert_Scale_Explo

[Accessed 3 10 2020].

J, R. & D, C., 2008. Handbook of Usability

Testing. s.l.:Indianapolis, IN: Wiley

Publishing.

Macefield, R., 2009. How To Specify the

Participant Group Size for Usability

Studies. [Online]

Available at: https://uxpajournal.org/how-

to-specify-the-participant-group-size-

forusability-studies-a-practitioners-guide

[Accessed 3 10 2020].

M, A., R, I. R. & H, M. A.-z., 2018. Analisis

Aspek Usability dan User Experience

Website dan Aplikasi Mobile Radio

Streaming ( Studi Pada Website dan

Aplikasi Mobile Radio Prambors ). Jurnal

Pengembangan Teknologi Informasi dan

Ilmu Komputer (J-PTIIK) Universitas

Brawijaya, 2(12).

Masadesh, M. A., 2012. Focus Group: Review

and Practices. International Journal of

Applied Science and Technology, Volume

2, pp. 63 - 68.

Moran, K., 2019. Usability Testing 101..

[Online]

Available at:

https://www.nngroup.com/articles/usability

-testing-101

[Accessed 3 10 2020].

Documents

Evaluasi Usability Pada Aplikasi Learn C++ Menggunakan