1.1. Evaluasi Hasil Ringkasan

Metode evaluasi hasil ringkasan merupakan topik yang cukup sulit, baik

evaluasi terhadap ringkasan yang dihasilkan dari mesin peringkas otomatis

ataupun ringkasan yang manual dibuat oleh abstraktor yang professional,

dikarenakan tidak terdapat definisi ringkasan yang ideal. Evaluasi ringkasan

memiliki dua metode diantaranya adalah (Hassel, 2004) :

1. Ekstrinsik

Kualitas ringkasan diukur bedasarkan bagaimana ini membantu tugas user.

2. Intrinsik

Hanya diukur dari kualitas hasil ringkasan yang dihasilkan.

Evaluasi sistem peringkasan yang ada saat ini adalah intrinsik.

Pengevaluasian menciptakan sekumpulan ringkasan yang ideal, masing-masing

satu untuk menguji teks. Kemudian membandingkan hasil ringkasan sistem

dengan ringkasan ideal. Yang diukur adalah overlap dari isi, seringkali disebut

dengan recall dan precision kalimat atau frase, tapi terkadang dengan overlap

kata tunggal.

Recall=kalimat ringkasan sistem∩ ringkasanideal

∑ kalimat ringkasanideal

Precision= kalimat ringkasan sistem ∩ringkasan ideal

∑ kalimat ringkasan sistem

Kombinasi nilai recall dan precision kemudian menghasilkan f-measure :

f −measure=2∗precision∗recallrecall+ precission

Selain itu, dapat juga dilakukan perhitungan persentase akurasi dengan persamaan

berikut:

A=( 2∗precision∗recallrecall+ precission ) x100 %

(2.11)

(2.12)

(2.13)

(2.13)

Precision dan recall digunakan untuk mengukur kualitas sebuah rngkasan.

Pengukuran precision dan recall ini sangat dipengaruhi oleh panjang ringkasan

ideal dan juga panjang ringkasan yang akan dievaluasi. Akurasi menurun sejalan

dengan bertambahnya panjang ringkasan. Sulit untuk mengambil kesimpulan

terhadap performa sistem nilai precision dan recall. Untuk standarisasi proses

evaluasi belum dieksplorasi. Masalah utama dari evaluasi ini adalah sangat nyata,

yaitu tidak ada satupu ringkasan yang benar (Hassel, 2004).