Analyzing multi-objective software test effort estimation techniques

Abstract

Yazılım test efor tahmini, bir mühendisin yazılım projesinin test aşamasında ihtiyaç duyduğu yaklaşık süre ve kaynakların tahminidir. Yazılım test efor tahmini, yazılım projesinin test eforunu belirlemek için yazılım geliştirme sürecindeki en önemli aşamalardan birisidir. Gerçek efora en yakın efor tahminini yapmak yazılım test sorumluları başta olmak üzere hem bu hizmeti veren firma hem de hem de müşteriler için çok önemlidir. Çünkü yanlış yapılan yazılım test efor tahminleri projelerin tamamlanamamasına ya da geniş bir zaman dilimine yayılmasına neden olmaktadır.Bu yüzden yazılım test efor tahmini için literatürde farklı yöntemler geliştirilmiştir. Bu tez çalışmasında, yazılım test projelerinin eforu, Makine Öğrenmesi (MÖ) algoritmaları kullanılarak ve farklı methodlarla öznitelik seçimi yapılarak tahmin edilmeye çalışılmıştır. Yazılım test eforunun tahmini, WEKA (Waikato Environment for Knowledge Analaysis – Bilgi Analizi için Waikato Ortamı) veri madenciliği aracında bulunan algoritmaların çalıştırlması sonucu bulunmuştur. Algoritmalar 10 kat çapraz doğrulama tekniği ile PROMISE (Yazılım Mühendisliğinde Tahmin Modelleri) veri deposundan alınan 3 adet veri setine (CocomoNasa, CocomoNasa-2, Cocomo-81) uygulanmıştır. Performans ölçütü olarak korelasyon katsayısı, Ortalama Mutlak Hata ve Bağıl Mutlak Hata, baz alınarak sonuçlar değerlendirilmiştir.

Software testing effort estimation is an estimate of the approximate time and resources required by an engineer during the testing phase of a software project. Effort estimation of software test process is one of the most significant stages in the software development process to determine the test effort of the software project. Estimating the effort closest to the real effort is of great importance for both the company providing this service and the customers, especially the software testers. Because wrong software test effort estimations cause projects not to be completed or spread over a wide period of time. Therefore, different methods have been developed in the literature for software test effort estimation. In this thesis, machine learning methods with some feature selection method was used for estimating software test effort. Estimation of software testing effort is found by running algorithms in the WEKA data mining tool. Algorithms were applied to 3 data sets (CocomoNasa, CocomoNasa-2, Cocomo-81) taken from PROMISE (Predictor Models in Software Engineering) data warehouse with 10-fold cross validation technique. After new models have been created, correlation coefficient was used for performance criterion.Besides MAE (Mean Absolute Error) and RAE (Relative AbsoluteError) were used for error rates.