4. Pengujian Alpha-Beta & Confusion Matrix

4TH COFFEE Abdi Pandu Kusuma, S.Kom., M.T Alpha & Beta TESTING

4TH COFFEE Alpha Testing Alpha Testing → salah satu strategi pengujian perangkat lunak yang paling umum digunakan dalam pengembangan perangkat lunak Tujuannya agar sistem yang dikembangkan terlindung dari cacat atau kegagalan penggunaan aplikasi Pengujian alfa dilakukan di situs pengembang oleh tim internal, sebelum dirilis ke pelanggan eksternal. Tujuannya agar nantinya ketika pelanggan menggunakan sistem ini tidak kecewa karena masalah cacat atau kegagalan aplikasi. Pengujian alpha biasanya dilakukan oleh kelompok yang independen terhadap tim desain, tim pengembang umumnya masih dalam perusahaan.

4TH COFFEE Alpha Testing Pengujian alfa memiliki 2 tahap sebelum perangkat lunak ini diluncurkan untuk pengguna, diantaranya: • Pertama, perangkat lunak tersebut diuji oleh pengembang di lingkungan internal pengembang. Tujuannya adalah memperoleh bugs dengan cepat. • Kedua, perangkat lunak diserahkan ke staf perangkat lunak QA, untuk pengujian tambahan di lingkungan yang mirip dengan penggunaan yang dimaksudkan.

Alpha Testing Alpha Testing dalam SDLC: 4TH COFFEE

4TH COFFEE Beta Testing Beta testing dilakukan di lokasi pengguna akhir untuk memvalidasi kegunaan, fungsionalitas, kompatibilitas, dan pengujian keandalan perangkat lunak yang dibuat. Aktifitas Beta testing menambah nilai pada siklus hidup pengembangan perangkat lunak karena memungkinkan pelanggan memberikan masukan ke dalam desain, fungsi, dan kegunaan produk. Tujuan of beta testing adalah menempatkan aplikasi di tangan pengguna nyata yang berada di luar tim teknis untuk menemukan kekurangan atau masalah apa pun dari sudut pandang pengguna akhir.

4TH COFFEE Beta Testing Developers mengembangkan beta testing dalam bentuk close ataupun open beta: • Pengujian Closed beta dirilis untuk grup yang memilih individu untuk menguji pengguna dan hanya berdasarkan undangan. • Pengujian Open beta berasal dari kelompok yang lebih besar dari masyarakat umum dan siapa pun yang tertarik. Ada sejumlah faktor yang bergantung pada pengujian beta yang berhasil, diantaranya: • Biaya pengujian • Jumlah partisipan yang diuji • Pengiriman • Durasi waktu • Cakupan demografis

Beta Testing Beta Testing pada SDLC: 4TH COFFEE

Confusion Matrix Testing Abdi Pandu Kusuma, S.Kom., M.T

Pengantar Pernahkah anda dihadapkan pada hasil dari suatu prediksi, dimana hasil yang diperoleh sesuai prediksi atau tidak? Solusi ? Confusion Matrix Testing. ➔Suatu metode yang biasanya digunakan untuk melakukan perhitungan akurasi pada konsep data mining atau Sistem Pendukung Keputusan. Terdapat 4 (empat) pengukuran kinerja menggunakan confusion matrix istilah sebagai representasi hasil proses klasifikasi, diantaranya True Positive (TP), True Negative (TN), False Positive (FP) dan False Negative (FN).

Klasifikasi  True Positive (TP). Confision Jika hasil prediksi positif yang benar, ternyata benar. Matrix  True Negatif (TN). Jika hasil prediksi negatif yang salah, ternyata benar.  False Positive (FP) – Error tipe 1. Jika hasil prediksi positif yang benar, ternyata salah.  False Negatif (FN) – Error tipe 2. Jika hasil prediksi negatif yang salah, ternyata salah.

Confusion Pada confusion matrix testing dapat ditentukan 3 proses pengujian, Matrix diantaranya:  Accuraccy Untuk menentukan tingkat akurasi model dalam mengklasifikasikan dengan benar.  Precision Untuk menentukan akurasi antara data yang diminta dengan hasil prediksi yang diberikan oleh model.  Recall Untuk menentukan tingkat keberhasilan model dalam menemukan kembali sebuah informasi.  F1-Score Untuk menentukan perbandingan rata-rata precision dan recall yang dibobotkan.

Contoh Kasus 1 Kesimpulan:  True Positive (TP) : Nilai Prediksi adalah keluaran dari program dimana nilainya Diprediksikan bahwa seorang wanita hamil dan wanita tsb memang Positif dan Negatif benar hamil. Nilai Aktual adalah nilai  True Negative (TN): sebenarnya dimana nilainya Diprediksikan bahwa seorang pria tidak hamil dan benar ya pria kan True dan False tidak mungkin hamil.  False Positive (FP): (Kesalahan Tipe 1) Diprediksikan bahwa seorang pria hamil tetapi tidak mungkin pria bisa hamil.  False Negative (FN): (Kesalahan Tipe 2, kesalahan tipe 2 ini sangat berbahaya) Diprediksikan bahwa seorang wanita tidak hamil tetapi sebenarnya wanita tsb hamil.

Contoh Kasus 2 Suatu perusahaan membuat sebuah model yang dilatih untuk memprediksi apakah seorang karyawan di perusahaan tsb terkena covid-19 atau tidak. Dengan asumsi perusahaan tsb mempunyai 175 karyawan. Dari model classifier memprediksi karyawan positif covid-19 sebanyak 145 dan karyawan negatif covid-19 sebanyak 30 tetapi pada kenyataannya, karyawan positif covid-19 sebanyak 150 dan karyawan negatif covid-19 sebanyak 25 Penyelesaian: n = 175 Actual Positif (1) Actual Negatif (0) Prediksi Positif (1) 125 20 Prediksi Negatif (0) 25 5 total 150 25

 Accuraccy.  Precision.  F1-score. Contoh Kasus 2  Recall. (lanjutan)

ADA PERTANYAAN? PENGUJIAN PERANGKAT LUNAK

4TH COFFEE Tugas 3 (Kelompok) • Tugas dikerjakan secara tim sesuai dengan yang sudah dibentuk oleh dosen pengampu sebelumnya. • Cari artikel penelitian di jurnal Internasional (maks 5 tahun terakhir) dengan catatan setiap kelompok harus berbeda temanya. • Review artikel penelitian yang anda dapat untuk mengamati metode pengujiannya dengan menjelaskan proses pengujiannya (alpha/ beta testing atau confusion matrix). • Kelompok genap me-review artikel penelitian menggunakan alpha/ beta testing, sedangkan kelompok ganjil me-review artikel penelitian menggunakan confusion matrix Testing • Buat video presentasi dari hasil review tugas ke-3 ini dengan durasi maksimal 15 menit dan ukuran file tidak lebih dari 30MB. • Upload video tersebut menggunakan google drive berisi file jurnal, file review jurnal bentuk doc, dan video presentasi bentuk mp4 semuanya dikompress bentuk rar. Format nama file RAR “Tugas3_Kelompok…_PPL_P2K_TI”. • Video presentasi direkam menggunakan aplikasi daring zoom/ google meet/ live. • Tugas dikirimkan via Edlink melalui KETUA kelompok masing-masing terakhir pada tanggal 25 Desember 2022 pukul 18.00.