P12 - USER TESTING

User Testing

Capaian Pembelajaran Pertemuan 12 Mampu memahami konsep dan pengertian User Testing, aturan-aturan dasar user testing serta mampu mengevaluasi permasalahan usability. https://riyanthisianturi.com/user-centered-design/

Pembahasan Materi Pertemuan 12 12.1. Definisi User Testing 12.2. Aturan Dasar User Testing 12.3. Formative Evaluation 12.4. Latihan Soal Mandiri Pertemuan 12 Sumber: https://riyanthisianturi.com/user-testing/

“If you want a great site, you’ve got to test. After you’ve worked on a site for even a few weeks, you can’t see it freshly anymore. You know too much. The only way to find out if it really works is to test it.” “Jika Anda menginginkan situs yang bagus, Anda harus mengujinya. Setelah Anda mengerjakan sebuah situs bahkan selama beberapa minggu, Anda tidak dapat melihatnya lagi. Anda tahu terlalu banyak. Satu-satunya cara untuk mengetahui apakah itu benar-benar berfungsi adalah dengan mengujinya.” — Steve Krug, Don’t Make Me Think: A Common Sense Approach to Web Usability

12.1. Definisi User Testing User testing bukanlah pengujian terhadap user, tetapi user melakukan pengujian terhadap produk, dalam hal ini aplikasi, yang Anda bangun. Terdapat beberapa jenis test yang dilakukan oleh user, yaitu: 1. Evaluasi formatif (formative evaluation) 2. Studi lapangan (field study) 3. Eksperimen terkontrol (controlled experiment)

Formative Evaluation Tujuan formative evaluation adalah menemukan masalah usability untuk kemudian memperbaikinya dalam iterasi desain berikutnya. Formative evaluation tidak memerlukan hasil implementasi yang sudah sepenuhnya bekerja/berfungsi, tetapi dapat dilakukan pada berbagai prototipe. Jenis user test semacam ini biasanya dilakukan di lingkungan yang berada di bawah kendali, seperti kantor atau laboratorium usability. Anda bisa memilih tugas yang diberikan kepada user, yang umumnya realistis tetapi tidak palsu. Hasil formative evaluation sebagian besar adalah observasi kualitatif, biasanya daftar masalah usability.

Masalah utama dengan formative evaluation adalah Anda harus mengontrol terlalu banyak. Menjalankan tes di sebuah lingkungan lab dengan tugas-tugas yang Anda definisikan mungkin tidak cukup memberitahu Anda tentang seberapa baik sebuah interface bekerja dalam konteks nyata dengan tugas nyata.

Field Study Sebuah field study dapat menjawab pertanyaan-pertanyaan pada formative evaluation, dengan benar-benar menerapkan implementasi yang sudah berjalan untuk user nyata, dan kemudian pergi ke lingkungan nyata dari user dan meng- observasi bagaimana mereka melakukannya.

Controlled Experiment Tujuan controlled experiment adalah untuk menguji hipotesis yang terukur tentang satu atau lebih interface. Controlled experiment terjadi di bawah kondisi yang dikontrol secara hati-hati menggunakan tugas yang dirancang secara hati-hati — sering kali lebih hati-hati dari tugas-tugas pada formative evaluation. Hipotesis hanya dapat diuji dengan pengukuran usability secara kuantitatif, seperti waktu yang berlalu, jumlah error atau pemeringkatan (rating) subjektif.

Perbandingan ketiga jenis test dapat dilihat pada tabel di bawah ini. FORMATIVE EVALUATION FIELD STUDY CONTROLLED EXPERIMENT Menemukan masalah untuk Menemukan masalah dalam Menguji hipotesis iterasi desain berikutnya konteks (keadaan/ suasana (misalnya interface X lebih cepat tertentu) dari interface Y) Mengevaluasi prototipe atau Mengevaluasi implementasi yang Mengevaluasi implementasi yang implementasi sudah dijalankan sudah dijalankan Di lab, dengan tugas-tugas yang Pada konteks nyata, pada tugas Dalam lingkungan terkontrol, ditentukan nyata dengan tugas yang ditentukan Observasi kualitatif Kebanyakan berupa observasi Sebagian besar observasi (masalah usability) kualitatif kuantitatif (waktu, tingkat kesalahan, kepuasan)

12.2. Aturan Dasar User Testing Saat melaksanakan user testing, Anda harus dapat memastikan bahwa user yang melakukan test tidak berada dalam tekanan. Ada beberapa contoh tekanan yang sering terjadi saat user melakukan pengujian, misalnya: 1. Menunjukkan kecemasan 2. Merasa seperti test kecerdasan 3. Membandingkan diri dengang orang lain 4. Merasa bodoh di depan observer 5. Bersaing dengan orang lain

Hal ini alami dan wajar terjadi. User dapat dikatakan insecure (tidak merasa aman), karena pengaturan kondisi saat test bisa saja seperti ini: User duduk dalam sebuah sorotan, lalu diminta melakukan tugas-tugas yang tidak familiar pada interface yang juga tidak familiar, bahkan mungkin juga merupakan interface yang buruk. User berada di depan audiens yang asing, setidaknya ada satu experimenter, ditambah juga mungkin satu ruangan penuh observer dan ada kamera video. Sangat wajar jika seorang user merasa cemas dan demam panggung. User bisa saja berpikir “Apakah saya melakukannya dengan benar?” atau “Apakah orang-orang ini berpikir saya bodoh karena tidak dapat mengerjakannya?”. Seorang user dapat menganggap user testing tersebut sebagai test psikologi atau lebih tepatnya test IQ, yang mungkin membuat user kuatir mendapatkan skor buruk. Kemudian harga diri mereka mungkin terluka, terutama jika mereka menyalahkan diri sendiri terhadap masalah yang dihadapi, bukan menyalahkan interface.

Aturan dasar etika dalam user testing adalah menghormati user sebagai orang cerdas dengan kebebasan kemauan dan perasaan.

Anda harus bisa memperlakukan user dengar hormat. Perlakuan ini dapat dilaksanakan dengan 5 cara, yaitu: 1. Time: Pengaturan waktu jangan sia-siakan waktu user 2. Comfort: Buatlah user merasa nyaman sepanjang pelaksanaan user teting 3. Informed consent: User harus diberi tahu semua informasi yang harus diketahuinya 4. Privacy: Privasi user harus dirahasiakan 5. Control: User berhak untuk berhenti kapan saja sepanjang pelaksanaan user testing.

Perlakuan menghormati user dalam proses user testing harus dilakukan dalam 3 tahap kegiatan, yaitu: 1. Sebelum test 2. Saat test 3. Setelah test

PERLAKUAN SEBELUM TEST Terdapat beberapa hal yang perlu dilakukan sebelum test dimulai, seperti yang dirangkum dalam tabel di bawah ini. Time Lakukan pilot test untuk semua materi dan tugas yang akan dilakukan Comfort oleh user. Privacy Information Memberikan penjelasan kepada user, misalnya Control [1] “Kami sedang menguji sistem; kami tidak sedang menguji Anda.” [2] “Kesulitan apapun yang Anda temui adalah kesalahan sistem. [3] “Kami membutuhkan bantuan Anda untuk menyelesaikan masalah ini.” Menyatakan “Hasil test yang Anda lakukan sepenuhnya adalah rahasia.” Anda harus menjelaskan tujuan Anda melakukan user testing; menginformasikan jika terdapat rekaman audio, video dan pengamatan lain. Anda juga perlu menjawab setiap pertanyaan user kecuali bisa menjadi bias terhadap proses test. Anda harus menyampaikan “Anda dapat berhenti kapan saja sepanjang test berlangsung.”

PERLAKUAN SAAT TEST Saat test berlangsung, berikut adalah hal-hal yang perlu Anda perhatikan dan lakukan. Time Hilangkan tugas-tugas yang tidak perlu Comfort [1] Ciptakan suasana tenang, santai/ rileks [2] Beristirahat ketika ada sesi panjang Privacy [3] Jangan pernah menunjukkan sikap kecewa di depan user Information [4] Berikan tugas satu per satu Control [5] Tugas pertama harus mudah untuk pengalaman sukses di awal Bos dari user seharusnya tidak menyaksikan test Jawablah pertanyaan user asalkan tidak bias [1] User dapat berhenti pada sebuah tugas dan melanjutkan ke tahap lain [2] User dapat berhenti sepenuhnya

PERLAKUAN SETELAH TEST Ketika kegiatan user testing telah selesai dilakukan, masih terdapat beberapa hal yang perlu Anda perhatikan, untuk disampaikan kepada user, yang dirangkum dalam tabel di bawah ini. Comfort Katakan apa yang telah dibantu oleh user Privacy Information [1] Jangan mempublikasikan informasi yang dapat mengidentifikasi user [2] Jangan tampilkan video atau audio tanpa izin user Jawab pertanyaan user yang sebelumnya harus Anda tunda untuk menghindarkan bias saat test berlangsung

12.3. Formative Evaluation Formative evaluation adalah evaluasi yang dapat dilakukan sepanjang pengembangan aplikasi, tidak harus saat produk sudah selesai dibangun. Jadi, Anda dapat menguji prototipe atau hasil implementasi yang sudah selesai. Tujuan dari formative evaluation adalah menemukan masalah terkait usability untuk iterasi desain berikutnya. Evaluasi ini adalah salah satu bentuk test yang dilakukan bersama dengan user.

LANGKAH-LANGKAH DASAR FORMATIVE EVALUATION Langkah-langkah untuk melakukan formative evaluation adalah: 1. Temukan beberapa user, yang harus mewakili kelas target user 2. Beri beberapa tugas untuk setiap user dan harus mewakili tugas-tugas penting 3. Lihat bagaimana user melakukan tugas-tugas tersebut.

PERAN DALAM FORMATIVE EVALUATION Peran-peran yang perlu ada saat pelaksanaan formative evaluation adalah: 1. User 2. Fasilitator 3. Observer

Peran utama user adalah melakukan tugas untuk menggunakan interface. Ketika user melakukan tugas, mereka juga harus berusaha untuk THINK ALOUD: mengungkapkan secara verbal apa yang mereka pikirkan saat menggunakan interface. Anda harus mendorong user untuk mengatakan hal- hal seperti “Oke, sekarang saya sedang mencari tempat untuk mengatur ukuran font, biasanya ada di toolbar, oh tidak, hmm, mungkin di menu Format…” Fasilitator (disebut juga experimenter) adalah pemimpin user test. Fasilitator melakukan pengarahan, memberikan tugas kepada user dan umumnya berfungsi sebagai suara tim development selama test, karena developer mungkin mengamati test, tetapi harus selalu dalam keadaan tutup mulut. Sementara user melakukan think aloud dan fasilitator melatih user untuk think aloud, setiap observer di ruangan harus DIAM. Jangan menawarkan bantuan apapun dan jangan mencoba menjelaskan tentang interface. Duduk saja, gigit lidah Anda dan tonton/ lihat saja. Anda mencoba untuk melihat bagaimana user biasa akan berinteraksi dengan interface.

Kesimpulan 1. Formative user testing mencoba mengungkap usability problem untuk diperbaiki dan disempurnakan pada iterasi berikutnya. 2. Perlakukan user dengan hormat. 3. Fasilitator dan observer harus menjalankan perannya dengan benar untuk memaksimalkan nilai dari test.

Latihan Analissis Website Bertujuan untuk melihat sejauh mana tingkat usabilitas dari fungsi-fungsi pada website ini, serta melihat desain antar mukanya, dan juga beberapa saran perbaikan fungsi-fungsi dan antar muka yang baik untuk meningkatkan usabilitas dari website tersebut. Diharapkan disiplin ilmu Dalam pembelajaran Interaksi Manusia dan komputer , dapat mempelajari Perancangan, Implementasi dan Evaluasi.

Contoh Analisa dan hasil analisa

Bagian Kiri 1. Navigasi yang Membingungkan dan Tidak Efisien 2. Menu-menu Tidak Tersusun Rapi

Bagian Tengah 1. Kontrol yang Kurang Lengkap 2. Inkonsistensi Penggunaan Bahasa 3. Inkonsistensi Desain Link 4. Inkonsistensi Desain Penulisan (dalam penggunaan font) 5. Tampilan tidak tersusun rapi 6. Grouping tanpa dasar pengelompokan yang jelas Inkonsistensi Desain Link 7. Tampilan yang tidak tersusun dan kurang rapi 8. Ketidakkonsistenan Desain Penulisan dan Ketidakjelasan Informasi

Bagian Kanan 1. Page scroling yang tidak efisien 2. Desain yang kurang rapi dan tidak konsisten 3. Ketidak jelasan dalam penggunaan fungsi sebagai pemenuhan kebutuhan pengguna. 4. Tampilan tidak tersusun rapi dan fungsi serta control yang membingungkan 5. Derajad Kepentingan dalam Desain Tampilan Informasi

Analisis WEB Bagian Kanan

Analisis WEB Bagian Tengah

12.4. Tugas Mandiri Pertemuan 12 1. User Testing bukanlah pengujian terhadap ... a. produk b. user c. aplikasi d. security e. modul

2. Jenis tes untuk menemukan masalah usability dan kemudian memperbaikinya dalam iterasi desain berikutnya disebut ... a. Evaluasi Formatif b. Studi Lapangan c. Eksperimen terkontrol d. User testing e. Evaluasi Interface

3. Contoh Aturan dasar user testing yang memastikan bahwa user tidak berada dalam tekanan kecuali .. a. menunjukkan kecemasan b. merasa seperti test kecerdasan c. membandingkan diri dengan orang lain d. evaluasi formatif e. bersaing dengan orang lain

4. user harus diberitahu semua informasi lengkap dalam proses test disebut cara perlakuan dari .... a. comfort b. time c. informed consent d. privacy e. control

5. evaluasi yang dapat dilakukan sepanjang pengembangan aplikasi, tidak harus saat produk sudah selesai dibangun merupakan definisi dari... a. Evaluasi non formal b. Formative Evaluation c. Fasiliator dan observer d. User Testing e. Eksperiman terkontrol