Embed Size (px)
Citation preview
Pertemuan 12 : uji SensitivitasSpesifisitas dan akurasi
Pengujian Software dan Sistem
M Najamuddin Dwi Miharja, S.Kom, M.Kom
Teknik Informatika
Fakultas Teknik
Universitas Pelita Bangsa 2020
Tujuan
• Mahasiswa meddefinisikan uji Sensitivitas Spesifisitas danakurasi
• Mahasiswa mampu mengevaluasi sistem dengan uji SensitivitasSpesifisitas dan akurasi
Sistem Pendukung Keputusan
• Sistem Pendukung Keputusan atau yang biasa disebut Decision Support System (DSS)adalah sebuah sistem yang ditujukan untuk mendukung para pengambil keputusanmanajerial untuk masalah semistruktural. Istilah SPK mengacu pada suatu sistemyang memanfaatkan dukungan komputer dalam proses pengambilan keputusan.
• SPK sebagai sebuah sistem berbasis komputer yang membantu dalam prosespengambilan keputusan. SPK sebagai sistem informasi berbasis komputer yangadaptif, interaktif, fleksibel, yang secara khusus dikembangkan untuk mendukungsolusi dari permasalahan manajemen untuk meningkatkan kualitas pengambilankeputusan.
Sistem Pendukung Keputusan
Sistem Pendukung Keputusan
Contoh
https://elib.unikom.ac.id/files/disk1/664/jbptunikompp-gdl-cecepsupri-33165-12-unikom_c-v.pdf
Sensitivitas
Spesifisitas
Spesifisitas
Error rate
Accuracy, Precision, Recall dan Specificitydalam Machine Learning
Machine Learning (Supervised)
Confusion Matrix
Studi Kasus Prediksi Mahasiswa DO• Dalam sebuah project yang menggunakan algoritma ML, memprediksi apakah
mahasiswa berpotensi DO atau tidak. Setelah algoritma tersebut dijalankan(dalam bentuk program), hasilnya adalah seperti berikut ini:
Studi Kasus Prediksi Mahasiswa DO• Dari hasil prediksi di atas, hanya ada kemungkinan 4 kasus yang terjadi:
• True Positive (TP) : kasus dimana mahasiswa diprediksi (Positif) DO, memangbenar(True) DO. Dalam contoh di atas adalah 4 mahasiswa dengan NIM 007, 008, 009, 010. Jadi nilai TP nya adalah 4
• True Negative (TN) : kasus dimana mahasiswa diprediksi tidak(Negatif) DO dansebenarnya mahasiswa tersebut memang (True) tidak DO. Dalam contoh di atasterjadi pada mahasiswa 001, 002, dan 003. Jadi TN nya adalah 3
• False Positve (FP) : kasus dimana mahasiswa yang diprediksi positif DO, ternyatatidak DO. Prediksinya salah (False). Dalam contoh di atas terjadi pada mahasiswa004 dan 005. Jadi nilai FP adalah 2
• False Negatif (FN): kasus dimana mahasiswa yang diprediksi tidak DO (Negatif), tetapi ternyata sebenarnya(TRUE) DO. Dalam contoh kasus di atas terjadi padamahasiswa 010. jadi FN = 1
Studi Kasus Prediksi Mahasiswa DO• Cara mudah untuk mengingatnya adalah :
• Jika diawali dengan TRUE maka prediksinya benar, entah diprediksi terjadi atautidak terjadi. Dalam kasus di atas, entah diprediksi DO atau Tidak DO, data sebenarnya adalah seperti itu.
• Jika diawali dengan FALSE maka menyatakan prediksinya salah
• Positif dan Negatif merupakan hasil prediksi dari program.
Pengukuran Performance• Accuracy• Merupakan rasio prediksi Benar (positif dan negatif) dengan keseluruhan
data. Akurasi menjawab pertanyaan “Berapa persen mahasiswa yang benar diprediksi DO dan Tidak DO dari kesuluruhan mahasiswa”Akurasi = (TP + TN ) / (TP+FP+FN+TN)pada contoh kasus di atas, Akurasi = (4+3) / (4+2+1+3) = 7/10 = 70%
• PrecissionMerupakan rasio prediksi benar positif dibandingkan dengankeseluruhan hasil yang diprediksi positf. Precission menjawabpertanyaan “Berapa persen mahasiswa yang benar DO dari keseluruhanmahasiswa yang diprediksi DO?”Precission = (TP) / (TP+FP)
pada contoh kasus di atas, Precission = 4 / (4+2) = 4/6 = 67%.
Pengukuran Performance• Recall (Sensitifitas)
• Merupakan rasio prediksi benar positif dibandingkan dengan keseluruhandata yang benar positif. Recall menjawab pertanyaan “Berapa persenmahasiswa yang diprediksi DO dibandingkan keseluruhan mahasiswa yang sebenarnya DO”.
Recall = (TP) / (TP + FN)
pada contoh kasus di atas Recall = 4/(4+1) = 4/5 =80%.
• Specificity
Merupakan kebenaran memprediksi negatif dibandingkan dengankeseluruhan data negatif. Specificity menjawab pertanyaan “Berapa persenmahasiswa yang benar diprediksi tidak DO dibandingkan dengankeseluruhan mahasiswa yang sebenarnya tidak DO”.
Specificity = (TN)/ (TN + FP)
Pengukuran Performance• F1 Score
• F1 Score merupakan perbandingan rata-rata presisi dan recall yang dibobotkan
• F1 Score = 2 * (Recall*Precission) / (Recall + Precission)
• dalam kasus di atas, F1 Score = 2* (80%*67%) / ( 80% + 67%) = 72,93%
•
