Automatic scoring approach for Arabic short answers essay questions

Abstract

There are different types of questions produced by the students in their exams, such as multiple-choice questions, true/false questions, and essay questions which require free text answers. Evaluation and scoring these types of exams traditionally are an exhausting process that takes from the instructors a lot of efforts, time and activities. In this regard, applying automated approaches to evaluate and score exams are essentially required to reduce time and efforts. Although there are many commercial tools for scoring multiple-choice and true/false questions, yet there is lack of approaches and tools for evaluating and scoring essay questions, especially for the Arabic language. In this research, the aim is to propose an automated scoring approach for short answers to Arabic essay questions. The scoring process is based on the similarity between the student's answer and model answer which is provided by the instructor. Cosine similarity measures will be used for this purpose. Cosine similarity is a heuristic evolutionary measure that has succeeded to solve text to text similarity problems. In this research, we will use the word root for each keyword in the student's answer and the model answer in order to achieve accurate results. The proposed approach will be tested on a data set proposed and will be compared to other approaches.

Sınavlarda öğrenciler tarafından verilen, çoktan seçmeli sorular, doğru / yanlış soruları ve cevaplanması gereken yazılı soruları gibi farklı türde soru tipleri vardır. Bu tür sınavların değerlendirilmesi ve puanlanması geleneksel olarak eğitmenlerden çaba, zaman ve aktivite gerektiren uzun yorucu bir süreçtir. Bu bağlamda, sınavları değerlendirmek ve puanlandırmak için otomatik yaklaşımlar uygulamak, aslında harcanan zamanı ve çabaları azaltmak için gereklidir. Çoktan seçmeli soruların ve doğru / yanlış sorularının puanlandırılması için pek çok ticari araç olmasına rağmen, özellikle Arapça dili için yazılı sorularını değerlendirmek ve puanlandırmak için uygulanan yaklaşımlarda ve araçlarda eksiklikler vardır. Bu araştırmada; amaç, Arapça yazılı sorularına kısa cevaplar için bir otomatik puanlama yaklaşımı önermektir. Puanlama süreci, öğrencinin cevabı ile öğretmen tarafından verilen model cevabı arasındaki benzerliğe dayanmaktadır. Bu amaçla kosinüs benzerlik ölçümleri kullanılacaktır. Kosinüs benzerliği, eğitmen cevap anahtarı ile öğrenci sınav kâğıdını karşılaştıran buluşsal evrimsel bir ölçümdür. Bu araştırmada, doğru sonuçları elde etmek için öğrencinin cevabının ve model cevap içerisindeki her bir anahtar kelimeyi kullanacağız. Bu araştırmada ileri sürülen yaklaşım, önerilen bir veri seti üzerinde test edilecek ve diğer yaklaşımlarla karşılaştırılacaktır.