Metode Evaluasi

Usability Testing

Usability testing adalah metode pengujian yang digunakan untuk mengevaluasi sejauh mana pengguna dapat menggunakan sebuah produk dengan efektif, efisien, dan memuaskan. Dalam pengujian ini, para peserta diundang untuk menggunakan produk atau sistem dan memberikan umpan balik tentang pengalaman penggunaannya.

Tujuan dari usability testing adalah untuk mengidentifikasi masalah yang mungkin dihadapi pengguna dalam menggunakan produk atau sistem. Masalah tersebut dapat berupa kesulitan dalam menemukan informasi yang dibutuhkan, navigasi yang tidak jelas, atau masalah dalam memahami instruksi atau tampilan. Dengan mengidentifikasi masalah ini, pengembang dapat memperbaiki produk atau sistem sehingga lebih mudah digunakan oleh pengguna.

Usability testing dapat dilakukan dalam berbagai bentuk, mulai dari pengujian produk sederhana dengan pengguna tunggal hingga pengujian yang melibatkan ratusan pengguna yang berbeda. Namun, pada dasarnya, pengujian ini melibatkan tiga langkah utama, yaitu perencanaan, pelaksanaan, dan analisis. Selama fase perencanaan, tujuan pengujian ditentukan, peserta pengujian dipilih, dan skenario pengujian disusun. Pada fase pelaksanaan, peserta mengikuti skenario pengujian dan memberikan umpan balik tentang pengalaman penggunaannya. Pada fase analisis, data umpan balik dianalisis dan masalah yang ditemukan diidentifikasi.

Hasil dari usability testing dapat sangat berharga dalam mengembangkan produk atau sistem yang lebih baik. Dengan memperbaiki masalah yang ditemukan selama pengujian, pengembang dapat meningkatkan pengalaman pengguna dan memastikan bahwa produk atau sistem mereka lebih mudah digunakan dan lebih memuaskan bagi pengguna.

Dengan melakukan usability testing, beberapa hal yang dapat diuji meliputi:

  1. Navigasi: Bagaimana kemudahan pengguna dalam menavigasi produk atau sistem, termasuk dalam menemukan informasi yang dibutuhkan, menu navigasi, tampilan halaman, dll.
  2. Fungsi: Bagaimana efektivitas fitur atau fungsi produk atau sistem dalam menjalankan tugas atau fungsi yang diinginkan pengguna.
  3. Responsif: Seberapa cepat atau responsif produk atau sistem dalam merespon interaksi pengguna, seperti mengklik tombol atau memuat halaman.
  4. Keterbacaan: Seberapa mudah pengguna dapat membaca atau memahami konten yang ada di dalam produk atau sistem.
  5. Tampilan visual: Bagaimana kesesuaian tampilan visual produk atau sistem dengan target pengguna, serta kesesuaian dengan konten yang ditampilkan.
  6. Konsistensi: Seberapa konsisten produk atau sistem dalam hal tampilan dan fungsionalitas antara halaman satu dengan yang lainnya.
  7. Kesederhanaan: Seberapa mudah produk atau sistem untuk digunakan tanpa memerlukan pengetahuan teknis khusus.
  8. Kepuasan pengguna: Seberapa puas pengguna dengan pengalaman penggunaan produk atau sistem, termasuk dalam hal kemudahan penggunaan, fungsionalitas, dan tampilan.

Dengan menguji hal-hal di atas, dapat membantu pengembang produk atau sistem dalam meningkatkan usability dan kualitas pengalaman pengguna.

Beta Testing

Beta testing adalah jenis pengujian perangkat lunak yang dilakukan oleh pengguna akhir di luar tim pengembang perangkat lunak. Tujuan dari beta testing adalah untuk menguji perangkat lunak dalam kondisi nyata, sebelum diluncurkan ke publik secara resmi. Dalam beta testing, pengguna akan menggunakan perangkat lunak dan memberikan umpan balik tentang kinerja dan kualitas perangkat lunak tersebut.

Beta testing biasanya dilakukan setelah pengujian internal selesai dilakukan oleh tim pengembang perangkat lunak. Pada tahap ini, perangkat lunak telah memasuki tahap akhir pengembangan dan dinyatakan siap untuk dirilis ke publik. Namun, sebelum dirilis secara resmi, perangkat lunak akan diuji oleh sekelompok pengguna terpilih untuk memastikan kualitas dan kegunaannya.

Beta testing dapat dilakukan dalam dua bentuk: terbuka dan tertutup. Dalam beta testing terbuka, perangkat lunak dirilis ke publik secara terbatas dan siapa saja dapat mengunduh dan menguji perangkat lunak tersebut. Dalam beta testing tertutup, hanya sekelompok pengguna terpilih yang diundang untuk menguji perangkat lunak. Selama pengujian, pengguna diharapkan untuk melakukan tugas-tugas tertentu yang terkait dengan perangkat lunak dan memberikan umpan balik tentang pengalaman mereka.

Setelah selesai melakukan pengujian beta, tim pengembang perangkat lunak akan menganalisis umpan balik dari pengguna dan memperbaiki masalah yang ditemukan. Selanjutnya, perangkat lunak akan dirilis secara resmi ke publik. Dengan melakukan beta testing, pengembang perangkat lunak dapat memastikan bahwa perangkat lunak yang mereka rilis sudah teruji dengan baik dan siap digunakan oleh pengguna.

Perbedaan 

Usability testing dan beta testing adalah dua jenis pengujian perangkat lunak yang berbeda.

Usability testing dilakukan pada tahap awal pengembangan perangkat lunak dan fokusnya adalah pada pengujian pengalaman pengguna dalam menggunakan perangkat lunak tersebut. Pengujian dilakukan dengan cara meminta pengguna untuk melakukan tugas-tugas tertentu yang terkait dengan perangkat lunak, dan kemudian mengumpulkan umpan balik mereka tentang kemudahan penggunaan, keterbacaan, dan kenyamanan penggunaan perangkat lunak. Tujuannya adalah untuk meningkatkan kualitas dan kemudahan penggunaan perangkat lunak.

Sementara itu, beta testing dilakukan pada tahap akhir pengembangan perangkat lunak, setelah semua fitur telah selesai dikembangkan dan pengujian internal telah selesai dilakukan. Pengujian dilakukan dengan mengundang sekelompok pengguna untuk menggunakan perangkat lunak dalam kondisi nyata dan memberikan umpan balik tentang kualitas, performa, dan keandalan perangkat lunak. Tujuannya adalah untuk memastikan bahwa perangkat lunak yang akan dirilis ke publik sudah teruji dengan baik dan memenuhi standar kualitas yang diharapkan.

Perbedaan utama antara usability testing dan beta testing adalah pada waktu dan fokus pengujian. Usability testing dilakukan pada tahap awal pengembangan perangkat lunak dengan fokus pada kemudahan penggunaan, sedangkan beta testing dilakukan pada tahap akhir pengembangan perangkat lunak dengan fokus pada kualitas, performa, dan keandalan perangkat lunak.

Contoh 

Pembuatan prototype aplikasi virtual reality lebih cocok untuk diuji dengan menggunakan usability testing daripada beta testing.

Hal ini karena saat pembuatan prototype, fokusnya adalah pada pengujian fitur dan fungsionalitas dari aplikasi virtual reality itu sendiri. Dalam usability testing, pengujian dilakukan untuk memastikan bahwa aplikasi virtual reality dapat digunakan dengan mudah dan intuitif oleh pengguna. Pengujian juga dilakukan untuk mengidentifikasi masalah usability yang mungkin dihadapi oleh pengguna selama menggunakan aplikasi, seperti navigasi yang sulit, tampilan yang tidak jelas, atau fitur yang tidak berfungsi dengan baik. Dalam hal ini, pengujian usability akan membantu dalam meningkatkan kualitas dan kegunaan dari aplikasi virtual reality.

Sementara itu, beta testing lebih cocok dilakukan pada tahap akhir pengembangan aplikasi, setelah prototype selesai dibuat dan fitur-fitur utama telah diuji dengan baik. Pada tahap ini, fokusnya adalah pada pengujian kualitas dan performa dari aplikasi virtual reality. Pengujian dilakukan untuk mengidentifikasi bug dan masalah yang mungkin terjadi di aplikasi, serta untuk memastikan bahwa aplikasi dapat berjalan dengan stabil dan lancar di berbagai perangkat.

Dengan demikian, dalam pembuatan prototype aplikasi virtual reality, lebih cocok untuk menggunakan usability testing untuk memastikan kualitas dan kemudahan penggunaan aplikasi. Setelah aplikasi selesai dan telah melewati tahap pengujian usability, beta testing dapat digunakan untuk menguji kualitas dan performa aplikasi secara keseluruhan.

Skala Kuesioner

Skala Likert

Skala Likert adalah jenis skala hasil kuesioner yang menggunakan pernyataan dengan skala 5 atau 7 pilihan jawaban. Pernyataan yang diberikan pada skala Likert biasanya berupa pernyataan positif atau negatif yang berkaitan dengan variabel yang ingin diukur.

Setiap pilihan jawaban pada skala Likert diberi nilai, seperti misalnya:

  1. Sangat tidak setuju
  2. Tidak setuju
  3. Netral
  4. Setuju
  5. Sangat setuju

Atau:

  1. Sangat tidak puas
  2. Tidak puas
  3. Cukup puas
  4. Puas
  5. Sangat puas

Setelah responden membaca pernyataan, mereka diminta untuk memilih satu dari beberapa opsi jawaban yang disediakan pada skala Likert. Skala Likert sering digunakan untuk mengukur sikap atau persepsi responden terhadap suatu topik atau variabel yang diteliti.

Skala Likert dinilai cukup mudah digunakan dan memberikan fleksibilitas bagi peneliti untuk mengukur berbagai variabel. Selain itu, data yang dihasilkan dari skala Likert dapat diolah secara kuantitatif sehingga memudahkan peneliti dalam melakukan analisis data. Namun, penting untuk memperhatikan penggunaan skala Likert dengan hati-hati agar pernyataan yang diberikan dapat menghasilkan data yang akurat dan valid.

Skala Thurstone

Skala Thurstone adalah jenis skala penilaian yang menggunakan pernyataan dengan skala interval yang disusun dalam suatu rangkaian. Setiap pernyataan diberi penilaian dengan angka interval atau bobot tertentu, mulai dari yang paling positif hingga yang paling negatif.

Cara kerja Skala Thurstone adalah dengan memilih sejumlah pernyataan atau item yang berkaitan dengan variabel yang ingin diukur. Kemudian, panel penilai akan mengevaluasi masing-masing item dan memberi penilaian interval yang diberi bobot berbeda-beda, mulai dari 1 hingga 11.

Setelah itu, semua pernyataan yang sudah dinilai akan ditempatkan dalam suatu rentang atau skala, dari yang paling positif hingga yang paling negatif. Responden kemudian diminta untuk memilih pernyataan yang paling sesuai dengan pandangan mereka, sehingga hasilnya dapat memberikan gambaran tentang persepsi dan sikap responden terhadap variabel yang diteliti.

Skala Thurstone memiliki kelebihan dalam memberikan hasil yang lebih objektif karena penilaian dilakukan oleh panel penilai yang sudah ahli di bidangnya. Selain itu, skala Thurstone dapat memberikan informasi yang lebih detail tentang preferensi responden dan memungkinkan analisis data yang lebih mendalam.

Namun, penggunaan Skala Thurstone memerlukan waktu dan biaya yang lebih besar karena melibatkan panel penilai yang terdiri dari beberapa ahli. Selain itu, proses penyusunan dan evaluasi pernyataan juga memerlukan keahlian khusus untuk menghasilkan skala yang valid dan reliabel.

Skala Guttman

Skala Guttman adalah jenis skala pengukuran yang digunakan untuk mengukur tingkat keyakinan responden terhadap serangkaian pernyataan atau item. Skala ini didasarkan pada asumsi bahwa jika responden menyetujui suatu pernyataan, maka mereka juga harus menyetujui pernyataan yang lebih rendah dalam rentang tersebut.

Contoh penggunaan Skala Guttman adalah dalam penelitian tentang sikap terhadap penggunaan teknologi. Serangkaian pernyataan disusun, seperti “Saya merasa nyaman menggunakan teknologi baru”, “Saya merasa mampu mempelajari teknologi baru dengan cepat”, dan “Saya merasa teknologi membantu meningkatkan produktivitas kerja saya”. Setiap pernyataan diberi skor sesuai dengan tingkat keyakinan responden, mulai dari “sangat setuju” hingga “sangat tidak setuju”.

Setiap responden diberi skor berdasarkan pernyataan yang mereka setujui, dan dianalisis untuk mengetahui pola dan trend dalam tingkat keyakinan mereka terhadap topik yang diteliti.

Kelebihan Skala Guttman adalah dapat memberikan hasil yang objektif dan konsisten, karena responden harus menyetujui pernyataan dalam urutan yang sesuai dengan tingkat keyakinan mereka. Namun, Skala Guttman dapat memakan waktu dan biaya yang besar dalam penyusunan dan pengujian pernyataan, serta memerlukan jumlah responden yang cukup besar untuk memastikan kevalidan dan keandalannya.

Semantik Diferensial

Skala Semantik Diferensial adalah salah satu jenis skala rating scale yang digunakan untuk mengukur pandangan atau pendapat seseorang terhadap suatu topik atau pernyataan. Pada skala ini, responden diminta untuk menilai antara dua kata yang berlawanan, seperti panas-dingin, murah-mahal, dan menyenangkan-membosankan. Responden menempatkan pilihan jawaban pada titik antara dua kata tersebut yang merepresentasikan pandangan atau pendapat mereka terhadap suatu topik atau pernyataan.

Contoh penggunaan skala Semantik Diferensial adalah pada penelitian tentang preferensi makanan. Responden diminta untuk menilai makanan yang disajikan dengan memilih antara dua kata yang berlawanan seperti “asam-manis”, “pedas-tidak pedas”, dan “gurih-tidak gurih”. Skala Semantik Diferensial sering digunakan dalam penelitian pemasaran dan psikologi konsumen untuk mengukur preferensi dan persepsi konsumen terhadap produk atau layanan.

Visual Analog

Skala Visual Analog adalah jenis skala rating scale yang menggunakan gambar atau diagram untuk memperjelas penilaian responden terhadap suatu objek atau pernyataan. Biasanya, skala ini digunakan untuk mengukur intensitas atau frekuensi suatu perasaan atau keadaan seperti nyeri, stres, atau kepuasan.

Skala Visual Analog terdiri dari sebuah garis horizontal atau vertikal yang diberi label atau kata-kata untuk menggambarkan kontinum dari suatu variabel. Responden diminta untuk menandai titik pada garis yang merepresentasikan tingkat keadaan yang mereka alami atau pandangan mereka terhadap suatu pernyataan.

Kelebihan dari skala Visual Analog adalah kemampuannya untuk menghasilkan data yang presisi dan sensitif terhadap perbedaan-perbedaan kecil dalam penilaian responden. Selain itu, penggunaan gambar atau diagram juga dapat memudahkan responden dalam memberikan penilaian dan mengurangi tingkat kebingungan atau kesulitan dalam memahami pertanyaan.

Namun, kelemahan dari skala Visual Analog adalah adanya variabilitas interpretasi responden terhadap gambar atau diagram yang digunakan, yang dapat mempengaruhi hasil akhir dari penilaian. Selain itu, penggunaan gambar atau diagram juga dapat mempengaruhi respon responden terhadap pertanyaan, karena ada kemungkinan faktor emosional yang terlibat dalam penilaian.

Mengukur Usability

SUS

SUS atau System Usability Scale adalah salah satu metode pengukuran kegunaan atau usability suatu produk atau sistem. Metode ini menggunakan kuesioner yang terdiri dari 10 pertanyaan dengan skala penilaian dari 0 hingga 4.

Pertanyaan pada kuesioner SUS mencakup aspek-aspek usability seperti kesederhanaan penggunaan, ketersediaan informasi, efektivitas, dan kepuasan pengguna. Responden diminta untuk memberikan jawaban dengan menilai sejauh mana mereka setuju atau tidak setuju dengan pernyataan yang diberikan.

Skala penilaian SUS terdiri dari angka 0 hingga 4, dimana 0 merupakan penilaian terendah dan 4 adalah penilaian tertinggi. Responden diminta untuk memberikan nilai pada skala penilaian untuk setiap pertanyaan pada kuesioner SUS.

Setelah nilai dari setiap pertanyaan pada kuesioner dihitung, nilai total akan dikalikan dengan 2,5 untuk menghasilkan skor akhir dari pengukuran kegunaan atau usability suatu produk atau sistem. Skor akhir dari SUS dapat berkisar dari 0 hingga 100, dimana semakin tinggi skor maka semakin tinggi juga tingkat kegunaan atau usability suatu produk atau sistem.

Kelebihan dari metode pengukuran SUS adalah kuesioner yang relatif singkat dan mudah dipahami oleh responden, serta memberikan hasil pengukuran yang cukup akurat dan reliabel. Metode ini juga dapat digunakan pada berbagai jenis produk atau sistem, termasuk website, aplikasi mobile, dan perangkat lunak.

Namun, kelemahan dari metode pengukuran SUS adalah hanya fokus pada aspek usability yang relatif luas dan kurang detail, serta tidak memberikan informasi detail tentang masalah-masalah spesifik yang ditemukan pada produk atau sistem. Oleh karena itu, metode ini lebih cocok digunakan sebagai salah satu bagian dari pengujian usability yang lebih komprehensif.

UEQ

UEQ (User Experience Questionnaire) adalah alat pengukuran pengalaman pengguna yang dikembangkan oleh Jürgen Ziegler dan Timo Szczepanski dari Universitas Duisburg-Essen di Jerman. Alat ini digunakan untuk mengevaluasi pengalaman pengguna pada produk perangkat lunak atau layanan digital.

UEQ terdiri dari 26 pertanyaan yang terorganisir dalam lima dimensi utama, yaitu Daya Tarik Visual (Attractiveness), Kesenangan (Persuation), Efisiensi (Efficiency), Keterandalan (Dependability), dan Stimulasi (Stimulation). Setiap dimensi terdiri dari lima pertanyaan, dan responden diminta untuk menilai setiap pertanyaan pada skala tujuh poin yang terdiri dari kata-kata berlawanan, seperti “sangat tidak efisien” dan “sangat efisien”.

UEQ telah digunakan secara luas dalam pengujian pengalaman pengguna pada berbagai produk dan layanan digital, termasuk perangkat lunak, aplikasi mobile, dan situs web. Alat ini dianggap sebagai salah satu alat pengukuran pengalaman pengguna yang dapat diandalkan dan valid.

SEQ

SEQ (Single Ease Question) merupakan alat pengukuran pengalaman pengguna yang sederhana dan mudah digunakan. SEQ biasanya digunakan untuk mengukur keseluruhan kepuasan pengguna dengan produk atau layanan digital dengan satu pertanyaan sederhana:

“Seberapa mudah Anda menyelesaikan tugas menggunakan produk ini?”

Responden diminta untuk menilai tingkat kesulitan menggunakan skala Likert dengan lima atau tujuh pilihan jawaban, dengan “sangat mudah” di satu ujung dan “sangat sulit” di ujung lainnya.

Alat pengukuran pengalaman pengguna seperti SEQ memungkinkan tim pengembang dan desain untuk dengan cepat mengevaluasi keefektifan produk atau layanan digital mereka dalam memenuhi kebutuhan pengguna, dan untuk membuat perbaikan atau peningkatan yang diperlukan. Karena sederhana dan mudah digunakan, SEQ juga dapat digunakan secara luas dan efektif dalam survei pelanggan atau evaluasi pengalaman pengguna yang lebih luas. Namun, seperti halnya dengan semua alat pengukuran pengalaman pengguna, hasil SEQ harus diinterpretasikan dengan hati-hati untuk memastikan kebenaran dan relevansinya.

NPS

Net Promoter Score (NPS) adalah metode pengukuran kepuasan pelanggan yang digunakan untuk mengukur seberapa kemungkinan pelanggan merekomendasikan produk atau layanan perusahaan kepada orang lain. NPS biasanya diperoleh melalui survei dengan satu pertanyaan sederhana: “Seberapa besar kemungkinan Anda merekomendasikan produk atau layanan kami pada skala 0-10?”

Responden kemudian dikategorikan menjadi tiga kelompok berdasarkan skor yang diberikan: “detraktor” (skor 0-6), “netral” (skor 7-8), dan “promotor” (skor 9-10). NPS dihitung dengan mengurangi persentase responden detraktor dari persentase responden promotor.

NPS menjadi populer karena dianggap sebagai cara yang sederhana namun efektif untuk mengukur loyalitas pelanggan dan memahami seberapa baik perusahaan dalam memuaskan pelanggan. NPS juga dapat membantu perusahaan untuk menentukan area yang perlu ditingkatkan dalam produk atau layanan mereka dan memperbaiki kelemahan mereka.

Namun, NPS tidak sepenuhnya akurat dan dapat menjadi kurang relevan dalam beberapa kasus, seperti ketika produk atau layanan tidak memerlukan rekomendasi pelanggan untuk bertumbuh, atau ketika perusahaan mengabaikan masalah yang lebih penting dalam rangka untuk meningkatkan skor NPS mereka. Oleh karena itu, NPS sebaiknya digunakan bersama dengan metode pengukuran pengalaman pengguna lainnya untuk memberikan gambaran yang lebih lengkap tentang kinerja produk atau layanan perusahaan.

CES

Customer Effort Score (CES) adalah salah satu metode pengukuran kepuasan pelanggan yang digunakan untuk menilai seberapa mudah atau sulit pelanggan dalam menyelesaikan suatu tugas atau transaksi dengan perusahaan. Metode ini dilakukan dengan mengajukan pertanyaan kepada pelanggan, yaitu seberapa mudah atau sulit mereka menyelesaikan suatu tugas tertentu, seperti menghubungi layanan pelanggan, melakukan pemesanan, atau memperoleh bantuan teknis.

Pada umumnya, pertanyaan yang diajukan dalam Customer Effort Score (CES) adalah dalam bentuk skala Likert dengan pilihan jawaban yang berkisar dari “sangat mudah” hingga “sangat sulit”. Nilai CES dapat dihitung dengan cara mengambil rata-rata skor jawaban yang diberikan oleh pelanggan.

Metode pengukuran ini bermanfaat untuk mengidentifikasi faktor-faktor yang membuat pelanggan kesulitan dalam berinteraksi dengan perusahaan dan memberikan masukan untuk perbaikan layanan agar dapat lebih mudah digunakan oleh pelanggan. Semakin rendah skor CES, semakin baik pengalaman pelanggan dalam menyelesaikan tugas atau transaksi dengan perusahaan.

AttrakDiff

AttrakDiff merupakan salah satu metode pengukuran pengalaman pengguna yang digunakan untuk mengevaluasi atribut-atribut yang dihubungkan dengan suatu produk atau layanan, seperti kegunaan, daya tarik, estetika, kinerja, dan kualitas. Metode ini dikembangkan oleh Marc Hassenzahl dan kolaboratornya pada tahun 2003.

AttrakDiff mengajukan pertanyaan kepada pengguna dalam bentuk pernyataan yang terkait dengan produk atau layanan yang dinilai. Terdapat dua jenis pernyataan yang diajukan, yaitu pernyataan positif dan negatif. Pernyataan positif digunakan untuk mengevaluasi sejauh mana produk atau layanan memenuhi atribut-atribut yang diinginkan oleh pengguna, sementara pernyataan negatif digunakan untuk mengevaluasi sejauh mana produk atau layanan tidak memenuhi atribut-atribut yang diinginkan.

Setiap pernyataan diikuti oleh skala Likert dengan tujuh pilihan jawaban, mulai dari “sangat tidak setuju” hingga “sangat setuju”. Skor untuk setiap atribut dihitung dengan mengurangi skor rata-rata dari pernyataan positif dengan skor rata-rata dari pernyataan negatif.

Metode AttrakDiff sangat berguna dalam menilai kualitas pengalaman pengguna terhadap produk atau layanan, serta dapat memberikan masukan bagi perusahaan untuk meningkatkan kualitas produk atau layanan yang ditawarkan. Metode ini juga dapat membantu dalam memahami preferensi dan kebutuhan pengguna untuk mengembangkan produk atau layanan yang lebih baik.

error: nuricahyono.com