8.Pengujian Confusion Matrix

Confusion Matrix Testing Abdi Pandu Kusuma, S.Kom., M.T

Pengantar Pernahkah anda dihadapkan pada hasil dari suatu prediksi, dimana hasil yang diperoleh sesuai prediksi atau tidak? Solusi ? Confusion Matrix Testing. ➔Suatu metode yang biasanya digunakan untuk melakukan perhitungan akurasi pada konsep data mining atau Sistem Pendukung Keputusan. Terdapat 4 (empat) pengukuran kinerja menggunakan confusion matrix istilah sebagai representasi hasil proses klasifikasi, diantaranya True Positive (TP), True Negative (TN), False Positive (FP) dan False Negative (FN).

Klasifikasi  True Positive (TP). Confision Jika hasil prediksi positif yang benar, ternyata benar. Matrix  True Negatif (TN). Jika hasil prediksi negatif yang salah, ternyata benar.  False Positive (FP) – Error tipe 1. Jika hasil prediksi positif yang benar, ternyata salah.  False Negatif (FN) – Error tipe 2. Jika hasil prediksi negatif yang salah, ternyata salah.

Confusion Pada confusion matrix testing dapat ditentukan 3 proses pengujian, Matrix diantaranya:  Accuraccy Untuk menentukan tingkat akurasi model dalam mengklasifikasikan dengan benar.  Precision Untuk menentukan akurasi antara data yang diminta dengan hasil prediksi yang diberikan oleh model.  Recall Untuk menentukan tingkat keberhasilan model dalam menemukan kembali sebuah informasi.  F1-Score Untuk menentukan perbandingan rata-rata precision dan recall yang dibobotkan.

Contoh Kasus 1 Kesimpulan:  True Positive (TP) : Nilai Prediksi adalah keluaran dari program dimana nilainya Diprediksikan bahwa seorang wanita hamil dan wanita tsb memang Positif dan Negatif benar hamil. Nilai Aktual adalah nilai  True Negative (TN): sebenarnya dimana nilainya Diprediksikan bahwa seorang pria tidak hamil dan benar ya pria kan True dan False tidak mungkin hamil.  False Positive (FP): (Kesalahan Tipe 1) Diprediksikan bahwa seorang pria hamil tetapi tidak mungkin pria bisa hamil.  False Negative (FN): (Kesalahan Tipe 2, kesalahan tipe 2 ini sangat berbahaya) Diprediksikan bahwa seorang wanita tidak hamil tetapi sebenarnya wanita tsb hamil.

Contoh Kasus 2 Suatu perusahaan membuat sebuah model yang dilatih untuk memprediksi apakah seorang karyawan di perusahaan tsb terkena covid-19 atau tidak. Dengan asumsi perusahaan tsb mempunyai 175 karyawan. Dari model classifier memprediksi karyawan positif covid-19 sebanyak 145 dan karyawan negatif covid-19 sebanyak 30 tetapi pada kenyataannya, karyawan positif covid-19 sebanyak 150 dan karyawan negatif covid-19 sebanyak 25 Penyelesaian: n = 175 Actual Positif (1) Actual Negatif (0) Prediksi Positif (1) 125 20 Prediksi Negatif (0) 25 5 total 150 25

 Accuraccy.  Precision.  F1-score. Contoh Kasus 2  Recall. (lanjutan)

Tugas 5  Tugas dikerjakan secara tim sesuai dengan yang sudah dibentuk oleh dosen pengampu sebelumnya.  Cari artikel penelitian di jurnal Internasional (maks 5 tahun terakhir) dengan catatan setiap kelompok harus berbeda temanya.  Review artikel penelitian yang anda dapat untuk mengamati metode pengujiannya dengan menjelaskan proses pengujian confusion matrix  Buat PPT untuk merepresentasikan hasil review kelompok anda pada tanggal 11 Januari 2023.  Kirimkan file PPT, Hasil review kelompok anda (bentuk doc), dan file artikel penelitian bentuk pdf, dan pembahasan terkait pengujian confusion matrix via Edlink melalui ketua kelompok masing-masing terakhir pada tanggal 10 Januari 2023 jam 18.00.

Thank you PENGUJIAN PERANGKAT LUNAK